核心预警

Anthropic 在 11 月 2 日更新的 IPO 招股书中警告，AI 可能很快跨过「递归自我改进」（RSI）关键门槛，研发速度将大幅加快。历史上曾出现研发进步显著加速、直到事后才被察觉的情况。

触发门槛

按 Anthropic 安全政策，触及门槛有两种情形：

  • AI 能以相近成本完成整个 AI 研究团队的工作；

  • 或让 AI 技术进步速度至少翻倍，把原本两年的进步压缩到一年。


现状与风险

目前 Claude 已参与编写代码、运行实验、处理训练数据，帮助开发下一代模型，新模型又反过来加快后续研发，形成提速循环。

随着 AI 深入自身研发，模型能力可能增长得比安全评测、对齐研究和防护措施更新更快。

Anthropic 表示尚未认定任何现有模型达到该水平，此次预警基于内部估算和对未来模型的预测，目前正考虑修改安全政策，确保关键研发过程仍由人类监督控制。