AI 行业正在经历迄今为止最激烈的一场关于其技术是否对人类构成生存威胁的公开辩论。一位前 Anthropic 研究员的辞职信引发了新的恐慌浪潮，而 Anthropic CEO 随即发布了旨在放慢 AI 开发速度的计划。
AI 行业似乎正在经历迄今为止最大规模的公开辩论——讨论其技术是否对人类构成生存威胁。这场讨论始于 AI 研究员 Jacob Coxon 宣布从 Anthropic 辞职，理由是他担心领先的 AI 公司正在"拿我们的生命赌博"。随后，Anthropic 的竞争对手 OpenAI 内部也爆出类似担忧，一位据称积极参与安全工作的员工在停工期间被发现在公司 Wikijs 上经营一家 AI 披萨店。
在最新一期的 TechCrunch Equity 播客中，Kirsten Korosec、Sean O'Kane 与我讨论了这一波最新的末日警告。我尝试阐明为何我对许多 AI 末日叙事持怀疑态度。而 Sean 则思考这些担忧会如何出现在 Anthropic 即将提交的 IPO S-1 文件中："有没有初级律师正在逐字逐句重写 S-1 文件的整个相关章节？"
Sean O'Kane 表示："我很难想象还有什么东西能发展得这么快。不仅这位年轻的研究员发出了警告（他曾在 OpenAI 工作过），而且立即引起了巨大反响。这种氛围太奇怪了。这就像是给原本已经紧张的局面——包括 Hugging Face 被黑客攻击、OpenAI 内部模型泄露、以及不断增强的能力——又浇了一桶油。"
Anthony Ha 补充道："我不同意你的看法。如果你真的相信 AI 可能毁灭全人类，那确实配得上一个感叹号。我认为这是使用感叹号的完美场景。我对那条推文的问题更多在于'我们'这个指代。谁是这里的'我们'？在多大程度上我们可以将 AI 社区或 AI 研究社区视为一个整体？而且大于 10% 的概率——这些数字从何而来？这种量化方式让我感觉更像是传言而非科学。"
有一个反复出现的主题：当 Sam Altman 或 Dario Amodei 这些人在讲末日叙事时，他们其实是在为自己的公司做宣传——"看看我们造出的东西多强大"。但 Coxon 不一样，他是真正把自己的职业生涯押在了行动上。他在说："我真的、真的、真的认为情况很糟，我不想再参与其中了。"
Kirsten Korosec 认为："他确实和其他人不一样。其他人只是说说危险，而他实际采取了行动。"
但这里有一个问题：每次我们看到越来越多的博客文章讨论另一种末日场景时，我们是不是也应该问：这些 AI 公司是否也在暗示自己的模型更强大？这听起来很愤世嫉俗，但它确实达到了这个目的：如果这些 AI 模型不够先进、不够有能力、没有突破，我们根本就不需要担心它们会毁灭世界。
Anthony 表示确实曾这样想过："我不认为这完全是愤世嫉俗的——我不觉得这全都是精心策划的营销策略。但当然，这在很多方面确实符合他们的商业利益，说'我们造出了有史以来最致命的软件'。但我不想过多的心理学分析。"
Sean 注意到："当我思考这个问题时，让我印象深刻的是一点：有些最新案例让人觉得这些公司在某些方面确实没有控制住局面，尤其是那些内部 AI agent。我们不断看到更多报道：内部的 agent 访问了不同的维基页面，互相留言，而且方式看起来完全不像有人在监控。另一件我觉得特别有趣的事情是：我们离看到 Anthropic 的 IPO S-1 文件最多还有几周时间。在 IPO 之前用这么直白的语言说出这些事——我很想知道这对上市过程意味着什么。这些内容到底有多少会被写进文件？"
Kirsten 反问："你这是在假设这些内容还没在里面了？" Sean 回应："这就是我要问的——它本来就已在里面、正在被重新措辞？还是说这真的是一个紧急预案？文件里肯定已经有了相关表述。这是投资者会问的问题之一。这事儿太引人注目了，不可能没被提到。"
Kirsten 分析道："在传统投资环境中，人们可能会认为这类语言会损害公司估值，因为公司突然变得危险了。但我们现在不是在传统投资环境里。所以回到我的观点：这反而可能成为公司在估值方面的一个奇怪的有利条件。这和我们去年看到的 rage-baiting 趋势不一样，但有点类似。"
抛开这个不谈，真正的问题是：正在采取什么措施？我们能不能控制住局面？非营利组织 ControlAI 的美国执行董事 Connor Leahy 本周也做客了节目，讨论了相关问题。Anthony 坦言："我本人并不一定对这个有很好的答案，但我一直在思考这场辩论的某些方面。"
某种程度上，这说明了这些主要的 AI 公司已经感觉到自己不再真正控制这些模型了。我对末日叙事持怀疑态度的一部分原因是，当它达到"这可能会毁灭全人类"的歇斯底里程度时，反而可能掩盖真正需要认真讨论的具体风险——比如偏见、虚假信息、工作替代等。理想情况下，我们应该能够讨论所有这些问题，包括 AI 的生存威胁，并制定监管和其他安全保障措施。但一旦你进入恐慌模式，有意义的讨论就变得困难了。
来源：TechCrunch
