法国 AI 推理优化创企 Kog 正在通过底层 GPU 逆向工程和软件优化，实现单个请求 3,000 token/s 的推理速度，目标将 LLM 推理速度提升 30 倍。
更快 AI 推理的竞赛正在升温。Cerebras 及其专用推理芯片在 5 月 IPO 首日受到市场热捧，但法国初创公司 Kog 选择了一条不同的路径——不造芯片，而是通过深度软件优化来压榨现有 GPU 的推理性能。
这家初创公司曾在 5 月登上 Hacker News 首页，其技术预览版旨在证明「在 GPU 上实现极速单请求解码是可行的」。尽管一些人失望地发现这并不适用于笔记本电脑中的消费级 GPU，但另一些人看到了其中的潜力。随着推理速度和成本成为 AI 应用普及的关键瓶颈，Kog 的方向正吸引越来越多的关注。
基于早期反馈，这位单人创始人预计软件工程将成为首个杀手级应用场景。资深 Claude Code 用户深知，他们在等待代码分析或生成结果时常常要耗费数秒甚至数十秒——如果推理速度提升 30 倍，这些等待将几乎消失。
Kog 希望瞄准那些被推理延迟困扰的客户，通常是因为他们依赖 AI 工作流完成专业任务。但这家初创公司也有着更大的雄心——其底层技术最终可能服务于更广泛的 AI 应用场景。
然而，公司也意识到这个市场尚未完全成熟。在观察需求的过程中，Kog 发现潜在客户还没有准备好进行微调或定制化部署——他们更想要「开箱即用」的加速方案。这给 Kog 带来了不小的挑战：要在不要求客户做任何额外工作的情况下，兑现「30 倍 LLM 推理加速」的承诺。
Kog 的演示显示，其技术已实现每个请求约 3,000 token/s 的惊人速度，远超常规 GPU 推理性能。CEO Gael Dellalleau 对质疑者充满信心，认为同样的方法也适用于 LLM——尽管大模型对推理芯片来说是一个挑战。「GPU 的原始算力远超我们目前所利用的，只是我们需要以正确的方式去调度。」
Kog 并非唯一认为软件优化可以让 GPU 发挥更大潜力的公司。同样来自法国的 ZML 发布了硬件无关的推理引擎；美国初创公司 Groq 则在开发自己的 LPU（语言处理单元）。但 Kog 的不同之处在于其「深度逆向工程」的方法——不依赖任何现成的推理框架，而是直接从底层硬件出发进行优化。
Dellalleau 本人并非 AI 研究员出身。他的第一家公司 Stribe 是 TechCrunch50 2009 年的校友，与 AI 毫无关系。他曾在法国巴黎综合理工学院学习固态物理，之后从事进攻性网络安全（即白帽黑客）工作。作为 DEFCON CTF 的四届决赛选手，他表示黑客经历教会了他「在非常底层逆向工程事物——一直到汇编语言级别」。
这种方法的缺点是极其耗时。「对于每一款新的 GPU，我们需要花费数周甚至数月的时间来重新优化适配。」Dellalleau 坦言。长期来看，Kog 希望将其方法论输入到基于智能体的自动化管线中，从而支持更多的芯片和模型。随着欧洲寻求构建自己的 AI 基础设施，像 Kog 这样的本土优化方案具有战略意义。
不过眼下，Kog 需要向世界证明其方法在 LLM 上真正有效。这也是获得更多融资的关键。「一旦我们实现了对主流大模型的 30 倍推理加速，市场自然会认可我们的价值。」
来源：TechCrunch
