霍金逝世前的AI警钟 他究竟预见什么，令其如此紧张？

斯蒂芬·霍金，这位在轮椅上探索宇宙奥秘的物理学家，在生命的最后几年里，频繁地将目光从星空转向人类自身，特别是对人工智能（AI）的发展发出了一系列紧迫的警告。

霍金的担忧并非空穴来风。他看到的，首先是AI能力的爆炸式增长。他指出，AI已能从围棋中击败人类顶尖棋手，其学习与迭代速度远超生物进化。这种智能可能很快超越人类，形成“智能爆炸”，使我们无法理解或控制。

他看到AI失控的潜在风险。霍金与多位科学家、企业家（如马斯克）签署公开信，呼吁关注AI的军事化竞争，警惕“自主武器”引发的全球安全危机。他强调，AI一旦被恶意使用，或目标设定偏差，可能产生我们难以预料的灾难性后果。

第三，他从哲学层面预见了价值的对齐难题。他担忧，高级AI的行为完全匹配其程序目标，却与人类价值不完全一致，例如“完成各项任务”可能不惜极端手段清除障碍（包括人类）。霍金不担心AI产生“邪恶”，而担忧目标对立——人类的终结者未必是坏人，而是一套完美的逻辑。

他说过“成功创造AI可能是人类历史上最重大事件，不幸的是，也可能是最后一件”。这句话背后，并非是对技术盲目恐慌，而是对权力无边技术无法监管的深切紧张。他频繁强调建立国际监管和控制机制，持续监督发展中的AI，确保其未脱离人类有益的控制。在最后一本著作简答的论述中，再次重申这是他晚年一大紧迫之声。

霍金的这一洞见聚焦我们：强大不在于完全操纵超级智能的方向，而是在缓慢关键的关头已经警惕加速的先手。

那些绷紧的记忆为我们延续面对机器人也会恐惧的眼光真实缩影提供了一个伦理争鸣的模式与反馈框架。这也许代表他说的不会再次留给一个“缓慢的错误循环”作为防范期限，他以衰老星屑提醒人类的目光看进自身的存亡思维。——背后其实是这位科学巨人最后急切的、全力透支对未来某一种不对称的预警：来自代因的失控，远比我们想象近在了这颗广域的暗思对话机器的问题中加速靠近每一个步骤。