基准测试已经成为 AI 公司验证模型能力的行业惯例。指标向自己有利的方向变化时，公司便可以借此脱颖而出并宣传优势。换句话说，好基准往往也意味着好公关。
问题在于，许多公司已经学会绕过传统评测系统，而这些系统不少年代久远，并不是为衡量现代模型能力而设计的。
成立于 2024 年的初创公司 Vals 表示，它希望修复这个并不完美的体系。不到两年时间里，公司已经在科技行业建立了知名度；去年，它完成了由 8VC 和 Bloomberg Beta 领投的种子轮融资。上个月，公司快速增长后又完成 4000 万美元 A 轮融资，由 Andreessen Horowitz 领投。
公司联合创始人、25 岁的 Rayan Krishnan 曾在 Palantir 实习，本科期间还在微软和斯坦福大学著名的人工智能实验室工作。他说，Vals 源于自己的观察：评测体系已经落后于它本应衡量的行业进步。
Krishnan 说，他们看到许多能力很强的新模型迅速上市，而学术基准没有跟上前沿进展。既然 AI 正被整合进社会的每个角落，基准就应该验证模型是否真的能做到公司宣传的事情。
很多评测系统会公开测试题，这意味着公司可以针对这些题目训练模型，某种程度上相当于提前准备考试。Vals 则不会公开披露具体测试材料。它不只测量模型的常识，还会评估模型完成复杂任务的能力。
来源：TechCrunch
