OpenAI 即将推出的 Astra 模型将采用一种名为「循环深度」(recurrent depth) 的推理技术，允许模型在大多数推理模型所依赖的顺序思维之外运作。该技术也被称为「不透明循环」(opaque recurrence)，可能使模型思维链更难监控——这令 AI 安全专家感到不安。
据 The Information 周二报道，OpenAI 的新 Astra 模型将使用一种名为「循环深度」的推理技术，该技术允许模型在大多数推理模型所特有的顺序思维之外运作。这种技术也被称为「不透明循环」，可能会使模型的思维链更难监控——这已让 AI 安全专家感到不安。
尽管 Astra 对该技术的使用据称是有限的，但它的出现仍然引发了 AI 安全专家的重大担忧。
「我对 Astra 使用不透明循环的报道感到极度担忧，」Redwood 首席执行官 Buck Shlegeris 在消息传出后发帖称。「我不知道 Astra 的思维链可监控性是否比之前的模型差很多。但如果 OpenAI 进一步推动这项技术，他们将能够大规模增加循环深度，并完全摧毁思维链可监控性。」
长期 AI 安全倡导者 Zvi Mowshowitz 也发表了看法，他写道，可能需要法律来防止 AI 实验室之间的「逐底竞争」。
「这项技术是在玩火，冒着破坏 OpenAI 和 Anthropic 努力建立的一个禁忌——即我们应尽可能保持思维链的忠实性和可监控性，」Mowshowitz 写道。「更密集地使用此类技术可能会损害可监控性。」
在正常情况下，推理模型的思维链提供了模型在尝试解决问题时采取的连续步骤。虽然这种表示并不完美，但它仍然是监控行为异常或目标偏差的宝贵工具。在 OpenAI 最近的 rogue agent 事件中，思维链记录是揭示代理行为原因的重要工具。
在不透明循环中，模型采用了一种不那么线性的方法，在循环中多次处理同一查询。结果留下的可读痕迹更少，有效地绕过了传统的思维链记录。
关键在于，Astra 对该技术的使用似乎是有限的。该模型的思维链预计仍将是可读的，公司也反驳了任何关于它会转向「神经语」的说法。OpenAI 已经宣布了广泛的思维链监控系统计划，作为其前瞻性安全计划的一部分。
在 X 上的一篇帖子中，OpenAI 首席科学家 Jakub Pachocki 强调了实验室对可读思维链的承诺。「OpenAI 从我们最早的推理模型起就一直在努力维护和利用思维链监控，」Pachocki 写道。「这是我们当前研究计划的核心目标。」
所有 AI 模型都会进行一定数量的不透明推理，而很少有研究人员将思维链日志视为模型推理的直接表示。尽管如此，这些警告并不能消除人们的担忧——不透明循环可能使 AI 推理更难监控，特别是随着它在不同模型中的使用增加。在周三上午的后续报道中，The Information 报道称，Anthropic 和 Google DeepMind 已经在讨论这项技术。
Redwood Research 首席科学家 Ryan Greenblatt 在回应这一消息时表示，不透明推理可能很容易比传统思维链推理扩展得更快，实际上将所有推理从可见通道中移除。
「我最担心的是，从这里自然的发展方向是将不透明推理扩展到模型完全或几乎完全在潜空间中进行推理的程度，」Greenblatt 写道。「我希望现在还不算太晚，可以避免最令人担忧的架构，也希望 OpenAI 会止步于此。」
来源：TechCrunch
