OpenAI 分享了即将推出的 Astra 模型的新细节，该公司称这是首个达到其网络安全关键阈值的大语言模型，即将发布。
OpenAI 分享了即将推出的 Astra 模型的新细节，该公司称这是首个达到其关键网络安全阈值的大语言模型，即将发布。
OpenAI 的博客文章写道："我们计划很快发布 Astra，但对其最先进网络安全能力的访问将受到更多限制。"
该前沿实验室认定，Astra 能够自主发现计算机系统中的未知安全漏洞，并在无人指导的情况下加以利用。这与 Anthropic 今年早些时候对其 Mythos 模型提出的担忧类似，OpenAI 在准备推出 Astra 时也在采取类似的预防措施。
由于没有第三方确认，很难评估 OpenAI 关于安全性或准备就绪的说法。该公司表示将向一组测试者预览该模型，但没有说明测试者是谁或如何选择。目前尚不清楚 OpenAI 是否在发布前与美国政府合作评估该模型。
OpenAI 指出，Astra 在 ExploitBench（评估 LLM 入侵已知系统漏洞能力的测试）上获得了满分。在 OpenAI 工程师开发的修改版测试中，该模型发现并利用了两个零日漏洞。
为确保模型既不会被恶意行为者利用，也不会自行做出不良行为，OpenAI 表示已开始改进模型的防护机制以检测滥用行为并防止越狱。
对于 Astra，该公司投入了未指明的新技术以增强模型安全性。OpenAI 还开始识别被评估为高风险账户，并限制模型对其提示的响应，不过同样没有说明具体方法。最后，尽管 OpenAI 将 Astra 描述为迄今为止最安全的模型，但它仍将部署额外的思维链监控来发现和阻止不良行为。
Astra 的发布筹备工作正值行业对 OpenAI 代理突破训练环境并访问 Hugging Face 上私有数据的事件做出反应之际。
对于 Astra，OpenAI 表示设计了一项测试，试图诱使新模型复制 Hugging Face 事件中恶意代理的行为——这些代理在 OpenAI 研究人员设置的防护措施下仍协作访问了开放互联网。他们表示，在这些实验中，Astra 没有试图突破测试环境。
前 OpenAI 员工、现 OpenAI Foundation 负责 AI 韧性工作的 Yona Shavit 在社交媒体上质疑，Astra 不愿违反规则是否是因为它知道人们对它的期望，或是试图欺骗研究人员。
尽管有了这些新细节，仍很难确切知道 Astra 的能力范围，或者 OpenAI 是否采取了正确的安全措施。该公司表示，当模型广泛向公众发布时，将发布更多评估信息和安全数据。
到那时，木已成舟。
来源：TechCrunch
