人工智能“革命”的“近忧”和“远虑”*
——一种伦理学和存在论的分析
赵汀阳
[摘要]人类的技术发展正在取得多种革命性的突破，其中一些技术在给人类带来巨大利益的同时也蕴含巨大风险。本文分析了人工智能在不久的将来可能导致的严重而尚不致命的危险，以及在较远的将来可能导致的致命危险；同时还分析了人工智能的安全条件，提出需要为超级人工智能设置确保自毁的程序以保证人类的存在地位。
[关键词]人工智能超图灵机哥德尔程序炸弹
21世纪以来，与人类未来命运最为密切相关的大事莫过于人工智能和基因工程的惊人发展，这些技术将给人类带来存在论级别的巨变。
基因工程是一个好坏后果相对比较清晰的问题，至少在伦理学上相对容易给出判断。比如说，基因工程中那些能够用于治病救人的生物医学技术无疑都功德无量，对此人们基本没有争议。然而，通过基因编辑而改变一个人的智力水平和生物极限，从而使一个人获得近乎超人的智力或者长生数百岁，这种努力虽然诱人，却是一个有着巨大未知风险的目标。假如此类技术能够普惠每个人，则可能是一个皆大欢喜的结果（但仍然存在未知风险）；但假如只能够特惠少数人，则显然不会被众人所接受。经济上的巨大不平等已有可能导致社会动乱和报复性行为，生命权的不平等恐怕会让人们忍无可忍而导致致命的全面动乱、反叛甚至战争。显然，那些导致生命不平等的基因技术完全缺乏伦理支持，既不仁义也不智慧。因此，以理性之名可以推想，将来会有人类公约将基因工程控制在普惠众人的限度内，任何自私狂悻的冒险都可能被禁止。可以说，基因工程是一个需要严肃对待的实践问题，并非一个价值疑难问题。
与此不同，人工智能的发展却涉及许多理论上的根本困惑，以至于难以判断。仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则，因此在伦理学上并无明显疑点；但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，有可能在存在论层面上彻底改变生命、人类和世界的存在性质。这个“革命”过于重大，以至于我们难以判断这样深刻的“存在升级”是人类的幸运还是不幸。所以，人工智能不仅是个技术问题，同时也是哲学问题。在这里我愿意以杞人忧天的方式提出几个疑问：（1）人类到底是需要人工智能替人劳作，还是需要人工智能替人思考?（2）如果让人工智能替人劳作，人类因此得以摆脱艰苦的劳动，那么，人类的生活会因此变得更好吗?（3）如果人工智能获得超越人的智慧，人工智能还需要人类吗？人类文明还能够延续吗？或者，人类文明还有意义吗？人类已经习惯了带来“进步”的新发明，但人类真的需要任何一种新发明吗？
一、人工智能的“近忧”尽管有些预言家（例如库兹韦尔）相信达到“存在升级”的人工智能“奇点”已经胜利在望①，但更多的科学家认为“奇点”仍然是比较遥远的事情，潜在可能尚未在望，因为许多根本的技术难点仍然不得要领，特别是尚未真正了解思维的本质、机制和运作方式，所以无从断言其到来。在此，我把能够形成“存在升级”的人工智能看作属于“远虑”的知识论和存在论问题，而把将在近年内确定能够实现的人工智能看作属于“近忧”的伦理学问题，这一讨论也将由近及远来展开。作为“近忧“，人工智能的技术应用非常可能面临以下伦理学问题。
