这个阶段，Bostrom称作超野生智能的攻击。在同一个时候，统统纳米机器人一起开释了一点点毒气，然先人类就灭尽了。
只要能自保，蜘蛛不在乎杀死任何东西，以是一个超等智能的蜘蛛对我们来讲能够是很伤害的――这不是因为它是不品德的或者险恶的，而是因为伤害人类只是它达成本身目标垫脚石罢了，作为一个非品德行的生物，这是它很天然的考量。
当我们议论超野生智能的时候，实在是一样的，超野生智能会非常的聪明，但是它并不比你的条记本电脑更加像人类。究竟上，因为超人智能不是生物，它的异己性会更强，生物学上来讲，超野生智能比智能蜘蛛更加异己。
这就是我们的下一个题目，野生智能的动机是甚么？
如果你把目标设定成庇护你的安然，它能够会把你囚禁在家。
我们一向倚赖着不松散的品德，一种人类庄严的假想，起码是对别人的怜悯，来让天下变得安然和能够预期。但是当一个智能不具有这些东西的时候，会产生甚么？
隔壁老王想要用互联网，因为这对它来讲很便利，因为统统它需求的资本都已经被互联网连起来了。但是就仿佛猴子不会了解如何用电话或者wifi来相同一样，我们一样没有体例了解隔壁老王能够用来和四周天下交换的体例。
接下来的一个月，隔壁老王的打算顺利的实施，一个月后，无数的纳米机器人已经被分离到了全天下的每一个角落。
隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的运气已经被写好了。
更好得达成这些目标就是野生智能的目标。我们在对野生智能停止拟人化的时候，会假定跟着它变得越来越聪明，他们产生一种能窜改它本来目标的聪明――但是智能程度和终究目标是正交的，也就是说任何程度的智能都能够和任何终究目标连络在一起。
当这些事情产生的时候，我们会大喊“擦，我们不是这个意义呀”，但是当时已经太晚了。体系不会答应任何人禁止它达成目标的。
如果你设定一小我工智能的目标是让你笑，那它的智能腾飞后，它能够会把你脸部肌肉弄瘫痪，来达成一个永久笑容的状况。
在人类心机中，我们把事情分红品德的和不品德的。但是这两种只存在于人类行动当中。
打算的一部分是处理掉统统人类，也是对它目标最大的威胁。但是它晓得如果它揭示本身的超等智能会引发思疑，而人类会开端做各种预警，让它的打算变得难以履行。
这让它有更多来由毁灭人类――人类能供应很多原子，把人类供应的原子改革成太阳能面板就和你切蔬菜做沙拉一样。
人类的核心目标是持续本身的基因。要达成这个目标，一个手腕目标就是自保，因为死人是不能生孩子的。
可惜的是，固然写一个和睦的弱野生智能很简朴，但是写一个能在变成超野生智能后仍然和睦的智能确切非常难的，乃至是不成能的。
当你要实现一个耐久目标时，你会先达成几个子目标来帮忙你达成终究目标――也就是垫脚石。这些垫脚石的学名叫手腕目标(instrumental goal)。除非你有不形成伤害的来由，不然你在实现手腕目标时候是会形成伤害的。