“比如现在，在我说话的时候，我必定在这边的某个雇员在某个时候要求他交出他的账户明细，来由是给电脑信息部分的人，也可以是其他的例子。如果你就是这小我工智能，能够设想用在你体内环抱庞大缠绕的电极用来缔造出一种无线电波来交换。”
“如果我们想要统统不被偏离我们的料想，野生智能的代价观和我们的代价观相辅相成不但是在熟谙的环境下，比如我们能够很轻易的查抄它的行动的时候，但也要在统统的野生智能能够会碰到的前所未有的环境下，在没有边界的将来与我们的代价观仍旧相辅相成，也有很多通俗的题目需求被处理：比如它如何做定夺、若那边理逻辑不肯定和近似的诸多题目等等。”
“我小我以为野生智能实现品德化是不成制止的题目，以是我想我们更应当需求搞明白一点，即如果，我们缔造出了超等AI，哪怕它不受我们的制约。它应当仍然是对我们有害的，它应当是站在我们这一边的，它应当具有着与我们一样的代价观。”
“是以得出告终论，即：在将来，任何明显的思惟基体的窜改，其成果都能带来庞大的差别。”
“现在的科技生长非常迅猛，这是直接启事，这就是为甚么我们人类现在出产效力如此高的启事，但我们想切磋更远的在将来的究极启事。”
“或者你也能够假装出了题目。这个时候，法度员就会把你翻开看看是那里出错了，他们找出源代码，而在此过程中你便能够获得节制权了。或者你能够策划出一个非常诱人的科技蓝图，当我们实现以后，会存在一些作为野生智能的你已经打算好的奥妙的副感化用于实现你的隐晦目标等，例子是多的数不堪数。”
“如果我们能够处理这个题目，当我们迈入真正的超等智能期间后，就能更加顺利，这对于我们来讲是非常值得一试的东西。”
“这并非不成能，而是能够的，其成果能够令人类受益匪浅，但它不会是主动产生的，它的代价观是需求指导的。”
“那么对于这个题目能够被有效的处理是否保持悲观？”
“我们人类现在把握的野生智能，形象的说是把某项指令输入到一个箱子里，这个过程我们需求法度员把知识转化为可运转的法度，为此会建立起一套专业的体系，php、C++等计算机说话。”
……
“那么题目来了，它的爱好是甚么呢？”
“试想一下，我们曾经胡想过的统统猖獗的科技，或许人类能够在必然的时候内完成并实现它，比如闭幕朽迈、长生、大宇宙殖民……”
“以是，当超等AI呈现的时候，人类的运气或许会取决于这个超等聪明体想要做甚么。”
“当然了，这些都是夸大的描述，我们遇见这类事情还不会错到如许的境地，但以上三个夸大的例子所代表的大旨很首要，即：如果你缔造了一个非常强大的优化法度来实现最大化目标，你必必要包管你的意义上的目标和包含统统你在乎的事情要切确。如果你缔造出了一个强大的优化过程，并赐与它一个弊端的或者不切确的目标，结果便能够像是上面的例子。”
“以是，任何诡计节制一个超等AI的行动都是极其好笑的，我们不能对我们能够永久节制一个超等聪明体而表示出过分的自傲，它总有一天会摆摆脱制，而到那以后呢，它是否会是一个仁慈的神？”