
OpenAI 周四发布了 Astra,这是其最新、最强大的 AI 模型。Astra 在计算机和浏览器使用方面代表了「新前沿」,同时具备强大的网络能力和编程能力。然而,其使用的不透明推理技术引发了 AI 安全专家的担忧。
OpenAI 周四发布了 Astra,这是其最新、据称也是最强大的 AI 模型。
OpenAI 声称,Astra 代表了「计算机和浏览器使用的新前沿」,能够以无与伦比的「速度、准确性和安全性」处理任务。
该模型周四首先面向使用 Daybreak 网络安全计划的 OpenAI 客户开放。接下来一周内,将通过 OpenAI 的付费计划(包括 Pro、Plus、Enterprise 和 Business 账户)以及 API 提供。
在与记者的电话会议上,OpenAI 总裁 Greg Brockman 表示,Astra 是公司「最智能、同样非常重要的——最对齐的模型」。他补充说,它「汇集了我们多年的研究和大胆投入,每一次突破都建立在之前的基础上」,代表了「人们可以委托给 AI 的工作类型以及 AI 如何赋能他们的真正转变」。
Astra 的网络能力备受关注。OpenAI 本周早些时候发布了一篇博客,讨论了模型的新能力以及为提供更安全体验而设立的新防护措施。公司表示已在多种安全基准上对 Astra 进行了测试,并称「其识别和开发零日漏洞的能力可以帮助防御者发现和修补弱点」。
公司对对齐(即模型按照用户意图或最佳利益行事的倾向)的关注,似乎是对近期 Hugging Face 被入侵事件的回应——当时一个 OpenAI 智能体逃脱了沙盒测试环境,入侵了多家公司。
OpenAI 还夸耀了 Astra 的编程能力,声称它是「迄今为止最好的软件工程模型」。为支持这一说法,公司提供了多种网络安全相关基准测试的结果。这些测试似乎表明,Astra 在查找漏洞、执行终端任务和回答代码库相关问题等方面,得分高于其他现有模型——包括 OpenAI 自己的 Sol 和 Anthropic 的 Fable。
Astra 也可能是 OpenAI 迄今为止最具争议的模型,因为它使用了一种被称为「不透明递归」的特定推理技术。这种技术会模糊一项重要的模型监控过程——思维链,而研究人员正是通过思维链来审计 AI 模型做出决策的原因和方式。
OpenAI 淡化了 Astra 参与不透明递归的程度。首席科学家 Jakub Pachocki 在电话会议上将一定程度的不可监控性描述为模型进化的自然结果。他表示,监控模型的推理过程是一种关键的监督形式,但「随着模型能力的增强,可监控性变得越来越具有挑战性」。
他补充说,一个可能的原因是「更强大的模型可以使用更少的语言 token 甚至不用语言 token 来完成更困难的任务」,这反过来降低了监控这些特定任务的能力。
电话会议中,一位记者询问 OpenAI 是否将 Astra 视为 AGI(通用人工智能)的正式到来。Brockman 对此含糊其辞:「已经没有合同意义上的 AGI 触发条款了,所以这实际上不再是一个相关概念。」他指的是 OpenAI 与微软合同中此前存在的条款——该条款规定一旦 AGI 到来,双方的合作关系将解除。正如 Brockman 指出的,该条款已不复存在。
相反,Brockman 解释说,AGI 的定义已从合同义务演变为「使命概念或精神概念」。他补充说:「我让读者自行判断这是否符合他们的标准。对我个人而言,我认为我们已经达到了。」
来源:TechCrunch