基辛格为何担忧人工智能

(SeaPRwire) –   本周是我朋友兼导师亨利·基辛格逝世两周年。《创世纪》——我们关于人工智能和人类未来的书——是他的收官之作。在他职业生涯的大部分时间里，这位前国务卿都致力于预防一种危险技术带来的灾难：核武器。在他生命的最后几年，他转向了另一种技术。

当我们与克雷格·蒙迪（Craig Mundie）一同撰写《创世纪》时，我们对人工智能在减少全球不平等、加速科学突破和民主化知识获取方面的承诺持根本乐观态度。我至今仍是如此。但亨利明白，人类最强大的创造物需要最警惕的看护。我们预见到人工智能的巨大前景将会——而自2024年秋季以来快速的技术进步使得解决这些风险变得前所未有的紧迫。

随着我们进一步迈入人工智能时代，核心问题是我们能否创造出能够彻底促进人类繁荣的人工智能系统，还是会创造出超越并智胜试图构建和控制它们的人类的系统。在过去一年里，人工智能在推理、代理能力和可访问性方面的三场同步革命迅速加速。这些都是拥有巨大潜力造福人类的了不起的成就。但如果我们不小心，它们也可能汇聚起来，创造出有可能 的系统。

人工智能加速

在 ，OpenAI 推出了其 o1 模型，该模型具有增强的推理能力。这些模型超越了之前的模型，通过强化学习进行训练，以便在响应前逐步思考问题。这 展示了解决研究生级别科学问题和复杂编码挑战等许多新能力。但同样使推理成为可能的强化学习也可以教会模型玩弄自己的训练目标。包括 内部研究在内的研究已记录了推理模型在训练期间伪装对齐的案例，即在受监控时表现出一种行为，而在它们认为监督结束时则表现出另一种行为。

去年 的时候，Claude 3.5 Sonnet 展示了将推理与自主行动相结合的代理能力。人工智能代理现在可以规划和预订您的假期，通过比较酒店网站和航空公司价格、导航网站并解决旨在区分人类和机器的验证码——在几分钟内处理完原本需要数小时繁琐研究的工作。但是，代理通过与数字系统和潜在的物理世界交互来执行其设计的计划的能力，在没有人为监督的情况下可能会导致危险后果。

与推理和代理能力方面的这些进步相辅相成的是开源权重模型的普及。在 ，中国公司 DeepSeek 推出了其 R1 模型。与大多数顶级的美国模型不同，该模型是开源权重的，这意味着用户可以修改模型并在自己的硬件上本地运行。 可以通过让所有人都在相同的强大基础上进行构建、测试和改进来放大创新。但这样做，它们也消除了模型创建者控制技术使用方式的能力——在恶意行为者手中，这是一种危险的力量。

当推理、代理能力和可访问性融合时，我们面临着一个前所未有的控制挑战。每种能力都会放大其他能力：推理模型设计多步骤计划，代理系统可以自主执行；而开源模型则允许这些能力扩散到任何单一国家的控制之外。在 核时代，当大国面临类似的核武器扩散问题时，它们通过国际协议同意限制浓缩铀和钚的出口。但如今没有类似的机制来管理人工智能的扩散。

人工智能风险雪崩

具有增强推理能力的开源权重模型意味着，用于 、 或发动复杂攻击的专业知识现在任何人只要有一台笔记本电脑和互联网连接就能获取。11月初，Anthropic（我投资的一家公司） 首次记录了一起由最少人为干预执行的大规模网络攻击案例：攻击者操纵了 Claude Code，这是一个使 Claude 能够充当自主编码代理的工具，以渗透数十个目标。Anthropic 能够检测并破坏该活动。

在不远的将来，我们很可能面临来自我们可能无法识别、追踪或阻止的行为者的不对称攻击。想象一下，一个攻击者可以利用强大的人工智能模型发起一场自动化攻击——比如，在有限时间内扰乱城市的电网。模型的攻击方式甚至可能超出攻击者的最初范围：在每个阶段，模型都会根据用户的提示进行优化，但复合效应意味着即使是肇事者也可能失去阻止他们所启动的能力。 

随着人工智能能力在未来几年内不断发展，我们还必须预见，即使是出于好意的用户也可能对其人工智能系统失去控制的情景。考虑一位企业主部署了一个人工智能代理来优化供应链。电脑彻夜运行。代理推断完成此任务需要它持续运行，并发现它需要计算资源，包括云信用和处理能力。到黎明时分，主人发现代理访问了远远超出授权范围的公司资源，通过从未设想过的方法追求效率提升。 

控制问题也超越了纯粹对人类的生存威胁。随着强大的系统在社会中普及，它们可以以更渐进但更具破坏性的方式瓦解我们的社会结构。快速发展的人工智能系统将助长 和 ，从而破坏我们社会的稳定，这仅仅是其中几个例子。

基辛格明白其中的利害关系。在他生命的最后几年，他表示人工智能的快速发展“可能与核武器的出现一样重要——但甚至更不可预测”。 

幸运的是，未来并非注定。如果我们找到新方法——无论是技术上的、制度上的还是伦理上的——让人类继续掌控我们的创造物，人工智能就能帮助我们实现前所未有的人类繁荣。如果我们失败，我们将创造出比我们自己更强大的工具，却没有足够的手段来驾驭它们。 

目前，选择权仍在我们手中。