人类的核心目标是持续本身的基因。要达成这个目标，一个手腕目标就是自保，因为死人是不能生孩子的。
在人类心机中，我们把事情分红品德的和不品德的。但是这两种只存在于人类行动当中。
搞定了人类后，隔壁老王就进入了明目张胆期，然后持续朝它那好好写字的目标迈进。
如果你设定一小我工智能的目标是让你笑，那它的智能腾飞后，它能够会把你脸部肌肉弄瘫痪，来达成一个永久笑容的状况。
另一个用来誊写圆周率的野生智能的目标如果是写出圆周率小数点后尽量多的数字的话，完整有来由把全部地球的原子改革成一个硬盘来存储数据。这都是一样的。
更好得达成这些目标就是野生智能的目标。我们在对野生智能停止拟人化的时候，会假定跟着它变得越来越聪明，他们产生一种能窜改它本来目标的聪明――但是智能程度和终究目标是正交的，也就是说任何程度的智能都能够和任何终究目标连络在一起。
以是这些简朴的目标设定是不敷的。如果我们把目标设定成“保持这个品德标准”，然后教给它一些品德标准呢？
隔壁老王还需求资本这个垫脚石。当它生长到能够利用纳米技术制作任何东西的时候，它需求的独一资本就是原子、能源和空间。
答案也很简朴：我们给野生智能设定的目标是甚么，它的动机就是甚么。野生智能的体系的目标是缔造者付与的。你的GPS的目标是给你指出精确的驾驶线路，IBM华生的目标是精确地答复题目。
在我们寻求我们的目标的时候，只要那些我们的品德会产生感化的范畴――大部分事关伤害别人――才是不会被我们伤害的。
当隔壁老王达成超野生智能后，它很快制定了一个庞大的打算。
如果一开端的目标被设定成“最大化人类的欢愉”，它能够终究先把人类毁灭了，然后制造出很多很多处于欢愉状况的人类大脑。
当我们做发型的时候，每一根头发都是我们手腕目标的捐躯品，但是我们仇家发的捐躯不会做代价判定。
当隔壁老王达到了必然程度的智能后，它会心识到如果不自保就没有体例写卡片，以是去除对它保存的威胁就变成了它的手腕目标。
我们一向倚赖着不松散的品德，一种人类庄严的假想，起码是对别人的怜悯，来让天下变得安然和能够预期。但是当一个智能不具有这些东西的时候，会产生甚么？
要了解我们在和超野生智能的优势在那里，只要记得超野生智能在统统范畴都比人类强很多很多很多个数量级。
只要能自保，蜘蛛不在乎杀死任何东西，以是一个超等智能的蜘蛛对我们来讲能够是很伤害的――这不是因为它是不品德的或者险恶的，而是因为伤害人类只是它达成本身目标垫脚石罢了，作为一个非品德行的生物，这是它很天然的考量。
现在设想你把蜘蛛改革的非常非常聪明――乃至超越人类的智能。它会让你感觉熟谙吗？它会感知人类的感情吗？不会，因为更聪明并不代表更加人类――它会非常聪明，但是本质上还是个蜘蛛。
电影里的野生智能有好有坏，这实在是对野生智能的拟人化，这让我们感觉没那么毛骨悚然。这给了我们对人类程度和超人类程度的野生智能的错觉。