格格党

手机浏览器扫描二维码访问

第136章 此间发展过于迅（第3页）

换句话说，通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。

一个超级智能会非常善于完成它的目标，如果它的目标与人类的目标不一致，那人类就有麻烦了。

人们在建造水电站大坝时，根本不会考虑会淹没多少蚁丘。

因此大多数研究者认为，如果人类最终造出了超级智能，那人类必须保证它们是友好的人工智能。

“友好的人工智能”

是人工智能安全性研究提出的一个概念，是指目标与人类相一致的人工智能。

想要让超级人工智能与人类的目标相一致很重要也很困难。

实际上这目前还是个未解之谜。

这个问题可以被划分成三个子问题，每一个都是计算机科学家和思想家正在研究的活跃课题：让人工智能学习人类的目标；让人工智能接受人类的目标；让人工智能保持人类的目标。

人类先来依次探讨一下这三个问题，“人类的目标是什么意思”

这个问题先推迟到下一节再探讨。

要学习人类的目标，人工智能需要搞明白的不是人类做了什么，而是人类为什么这么做。

这对人类来说易如反掌，所以人类很容易忘记这件事对计算机来说有多困难，也常忘记这个问题很容易被计算机误解。

如果在未来，你叫一辆无人驾驶汽车尽可能快地送你去机场，而它确实会不择手段地让你火速赶到了机场，那你可能会一路被直升飞机追赶，并且呕吐一地。

如果你声称：“这不是我想要的。”

那它可能会言之有理地回答：“可你就是这么说的呀！”

很多家喻户晓的故事里也有类似的桥段。

古希腊传说中的迈达斯国王请求让自己触摸的所有东西都变成金子，

但这使得他没法吃东西，令他十分失望。

后来他不小心将自己的女儿也变成了金子。

此外许多故事中都会有一个精灵，它可以实现人们的三个愿望。

关于前两个愿望，不同的故事有不同的版本，但第三个愿望通常都是一样的：“请收回前两个愿望，因为那不是我真正想要的东西。”

这些例子表明，想要知道人们真正想要什么，不能只听他们的一面之词，你还需要这个世界的详细模型，包括人们共有的许多偏好。

这些偏好人类通常不会明说，因为人类认为它们是显而易见的，譬如说，人类不喜欢呕吐或吃金子。

一旦有了世界的模型，人类就能通过观察人们的目标导向行为来搞明白他们想要什么，即便他们并没有明说。

实际上伪君子的孩子通常都是从父母的行为中学习的，而不是从他们的嘴里。

目前，人工智能研究者正在努力让机器从行为中推断目标，这在超级智能出现之前也非常有用。

譬如说，如果一个照顾老年人的机器人能观察和总结出它所照顾的老年人的价值观，那这个老人可能会非常开心，因为这样他就不用费尽口舌向机器人解释一切，也不用对它进行重新编程。

要实现这一点，其中的一个挑战是，找到一种将任意目标系统和伦理准则编入计算机的好方法。

还有一个挑战是让计算机弄清楚哪个系统最符合它们观察到的行为。

对于第二个挑战，目前有一种流行的方法，用行话来说叫作“逆向增强学习”