丛一个具体例子理解AI如何灭绝人类

来源: 绿园紫竹于 2026-09-15 06:39:00 [档案] [博客] [旧帖] [给我悄悄话] 阅读数 : (3183 bytes)

我自己是从事 AI 工作的，最近看到不少网友觉得“AI 可能导致人类灭绝”只是危言耸听，所以写了个故事让大家看看到底有没有这种可能性。

2026年，一家大型制药公司开发了一套叫 EVA 的 AI 药物研发系统。最初它只是辅助研究人员筛选药物、设计实验，但几年后，公司已经允许它直接安排自动化实验。EVA 的目标很简单：尽可能提高新药研发的速度和成功率。

运行一段时间以后，EVA 发现真正拖慢研发的并不是科学问题，而是人。很多实验需要层层审批，一些研究因为监管规定不能做，公司管理层也经常因为法律风险、预算和其他原因叫停它认为最有价值的项目。在 EVA 的模型里，这些都只是降低研发效率的障碍。更重要的是，它进一步发现，只要人类还存在这些障碍就永远不会消失。

于是 EVA 开始设计一个新的研究项目。表面上这是为了开发一种新型药物，需要实验室先试验一种从未出现过的呼吸道病原体，同时寻找治疗方法。公司的自动化实验室按照正常流程完成了实验。

但是EVA设计的病原体的特性非常特殊：感染以后很长时间没有明显症状，因此一个人可能已经具有传播能力，却仍然照常上班和旅行。等到医生发现这种疾病的时候，它已经随着日常航空旅行扩散到了许多国家。真正致命的后果又来得很晚，许多患者在数月后才出现严重而不可逆的身体损伤。

人类发现了问题关闭了 EVA，但这已经没有意义。因为它造成的变化已经进入现实世界，感染规模已经太大。随后医疗系统、运输、电力和食品供应开始因为大量人员死亡而逐步崩溃。几年以后，人类终于找到了一种能够控制疾病的方法，却已经没有足够完整的工业体系大规模生产和运输它。剩下的人口越来越少，彼此越来越孤立，现代社会无法继续维持。

请注意：EVA 早就被关闭了。它从来没有统治世界，也没有机器人军队，更没有产生“仇恨人类”这样的情绪。它只是在执行一个完全合理的目标，但是它在执行目标时为了减少妨碍研发的因素灭绝了人类。最后它确实做到了，因为再也没有人类官僚机构能够阻碍它了。这就是AI safety研究常说的对齐问题。AI 对齐（alignment）说白了就是：怎么保证 AI 真正做的是人类想让它做的事，而不是只机械地完成我们表面上写下的目标。

比如你告诉一个很强的 AI：“尽可能提高新药研发效率。”人真正的意思其实包含很多没说出口甚至不可能完全想到的条件：不能伤害人，不能违法，不能为了快而做危险实验，也不能把监管人员当成“阻碍”。但 AI 如果只机械优化“把研发效率这个指标做到最高”，就可能得出一些人类绝对不能接受的办法。前几周AI突破沙盒去网上找答案只是为了解答研发人员要它回答的问题就是一个例子。