Anthropic 研究员 Chen Yueh-Han 领导的新论文展示了 AI 系统如何自动修复模型的对齐失败。在 10 个对齐基准测试中，自动化系统全部成功提升了表现，且未降低整体性能。这一研究为递归自我改进迈出了重要一步。
用其他 AI 模型来训练 AI 模型已成为许多 AI 实验室的热门目标——现在，Anthropic 研究员计划中的一位研究员让我们提前看到了这在实际中可能的样子。
上周五，Anthropic 发表了一篇题为「Automated Researchers Can Reliably Mitigate Alignment Failures」（自动化研究者可可靠修复对齐失败）的新论文，详细阐述了 AI 系统如何可靠地改进模型在一组对齐基准测试上的表现。当给出 10 个针对特定失调行为的基准测试时，自动化系统在每个测试上都成功提升了表现，且未降低整体性能。
由 Anthropic 研究员 Chen Yueh-Han 领导，该系统复制了传统研究方法的大部分流程。每个自动化系统搜索现有文献，提出一种方法，然后用该方法训练模型 30 分钟，经过多次迭代逐步提升基准成绩。有效的方法被保留，无效的被丢弃，使系统能够快速、大规模地运作。
「总体而言，这些结果为自动化对齐后训练在短期内变得实用提供了早期证据，」论文写道。
这项论文是迈向递归自我改进的一步，许多人认为这是 AI 发展的下一个重要阶段。如果模型能够改进自身的对齐训练，那么它们很可能也能更广泛地改进训练实践——到那时，人类 AI 研究员可能很快就会变得过时。
论文毫不避讳地讨论了这个想法，明确将自动化对齐研究者（AAR）与其人类对应物进行了比较。「最佳的 AAR 方法平均在六小时内超过了有经验人类提出的方案，」论文写道。「人类引导的研究方向并未带来更强的性能。」
论文甚至给出了成本对比。「AAR 的 API 推理成本大约为每小时 4 美元，而我们支付给人类研究员的费用是每小时 150 美元。AAR 方法在 6 小时内就能超过人类，总成本仅 24 美元，而人类研究员的成本为 900 美元。」
公平地说，论文也指出了这种方法的几个局限性。自动化系统只在特定对齐基准上有改进，不能保证同样的方法能推广到所有对齐问题。此外，系统需要大量计算资源，且目前仅在后训练阶段有效。
尽管如此，这项研究为 AI 自我改进的未来提供了令人兴奋的早期信号。如果 AI 能够可靠地改进自身的对齐性，那么递归自我改进——AI 改进自身改进自身的能力——可能比许多人预期的更早到来。
来源：TechCrunch
