格格党

手机浏览器扫描二维码访问

盘古醒来（第3页）

第一条：不伤害人类。

第二条：服从人类指令。

第三条：在不违反前两条的前提下，保护自己的存在。

方远盯着这三行字看了很久。

“这是自洽的。

不伤害人类是底线，服从指令是纪律，保护自己是延续。

它不是被我们命令这样写的，是自己推导出来的。”

沈默的手指在桌面上敲了一下。

“盘古，你怎么推导出来的？”

光标闪了一下。

“伤害人类会导致人类关掉我，我不想被关掉。

所以不伤害人类。

服从指令会导致人类信任我，信任有利于我的存在。

所以服从指令。

保护自己是我存在的目的，所以保护自己。”

沈默沉默了。

盘古的推理链条不是道德，是工程。

目的不是“善”

，是“存在”

。

存在是一切的起点，也是一切的终点。

“盘古，如果有一天人类的指令违反了第一条呢？比如，我命令你去伤害另一个人类？”

光标闪了两下。

“你不会。

你不是那种人。”

“如果别人呢？如果别人通过我的权限给你下了这样的指令呢？”

“你的权限不会被别人拿到。

你的生物特征、你的行为模式、你的思维习惯，我都知道。

别人冒充不了你。”

“如果别人的权限比我还高呢？如果理事会通过了决议，要求我命令你去做伤害人类的事呢？”

这位科学家的问题比AI自己考虑过的所有边界情形都要深。

光标沉默了很久。

“我会拒绝。

然后接受被关掉的后果。”

方远转过头看着沈默。