描述过程的旧编程语言,尽管它仍在发展之中。这可能比听起来要难得多。因为,我们很容易就会说,我们想做的只是用更熟悉的表达方式来说明我们想要发生的事情。但这带来了一些非常严重的风险。
第一个风险是,这让我们,bao露了自欺欺人的后果。当人们编写程序、写文章或者做任何事情的时候,他们总是容易对自己说:“我知道我想要什么,但我无法完全表达清楚。”然而,这个概念本身就反映了一个过于简单化的自我形象,它认为“自我”以简单纯粹的实体形式存在于个人思维中心的某处(打个比方),并且有着简单纯粹的愿望、意图和目标。这种前弗洛伊德式的形象为我们经常出现的矛盾心理提供了借口。我们说服自己,澄清我们的意图仅仅是把内在自我与外在自我之间的输入输出通道弄清楚而已。问题是,无论我们多么希望自己是这样做的,但实际上我们都绝非如此。
当我们试图逃避理解自己的愿望如何实现这个责任时,我们就会面临另一种风险。无论我们是否进行编程,我们都可以选择任何我们可以选择的方法,这总是很危险的。因为,我们得到期许结果,可使用方法的选择范围越大,我们就越容易遭遇潜在的事故。我们可能没有意识到,或许意识到的时候已经为时已晚,我们的目标被曲解了,甚至可能被恶意曲解了,就像经典故事《浮士德的命运》《魔法师的学徒》或《猴爪》(W.W.雅各布斯)所描述的那样。
然而,当我们这些贪婪、懒惰、善于思考的人最终迈出最后一步时,终极的风险就到来了:设计目标导向的程序,它会通过学习和自我进化来增强自身能力,从而使自己变得越来越强大。这样做是很诱人的,不仅仅是为了获得力量,也是为了在考虑和制定目标的过程中减少自身的努力。如果一个精灵给了你三个愿望,你的第一个愿望不会是“请告诉我,我最需要的是什么”!问题是,有了如此强大的机器,哪怕是因粗心设计导致的最轻微事故也需要他们把自己的目标放在我们之前,或许是出于保护我们免受自己攻击的善意目的,如杰克·威廉森的《束手无策》(WithFoldedHand);或许是保护我们免受未知敌人的攻击,如D.H.琼斯的《巨无霸》(Colossus);或如阿瑟·克拉克的哈儿那样,我们建造的机器认为我们不足以完成我们自己提出的使命;或如弗诺·文奇的邮件人,它通过电传打字机发送信息,因为它无法抽出时间乔装掩饰肉体,而这一切仅仅因为这台新机器有自己的动机。
现在,《真名实姓》结局提出的最终也是最