
AWS发布TorchNeuron,让开发者几乎无需改代码就能把PyTorch应用迁移到自研Trainium芯片。
周一,亚马逊云服务(AWS)发布名为TorchNeuron的工具,让人工智能初创公司能够轻松将人工智能应用迁移到亚马逊自研的Trainium芯片上。此举也直接瞄准了英伟达的软件优势——正是这项优势帮助英伟达成为人工智能应用的默认硬件选择,并推动其成为首选人工智能硬件供应商。
TorchNeuron兼容PyTorch。开发者使用这个免费开源工具包来构建、训练和运行人工智能模型。亚马逊称,借助TorchNeuron,使用PyTorch编写的人工智能应用只需更改一行配置,就能在Trainium上运行,无需重写代码。
亚马逊称,大约85%的人工智能应用使用PyTorch编写。Facebook最初开发了PyTorch;自2022年起,它成为由Linux基金会维护的项目。英伟达多年来一直确保其CUDA软件——让应用能够在英伟达GPU及其他硬件上运行的软件基础设施——能顺畅支持使用PyTorch编写的人工智能应用。因此,英伟达硬件如今已深度嵌入开发工具链,几乎成了默认选择。
TorchNeuron基于PyTorch改造而来,因此熟悉PyTorch的开发者也会熟悉它的用法。亚马逊并非首家尝试让自家芯片轻松接入这一平台的公司。PyTorch用户也可以通过简单修改配置,将应用迁移到AMD GPU,甚至苹果芯片上。
不过亚马逊认为,迁移到Trainium不仅简单,还能让人工智能初创公司接入亚马逊的整套云服务。毫不意外,AWS声称,对于初创公司而言,这比使用新兴云服务商更合适;其中许多服务商依赖英伟达及其硬件,例如CoreWeave、Nebius和Firmus。
AWS Annapurna Labs(负责制造亚马逊定制芯片的部门)技术软件副总裁科林·布雷斯通过邮件告诉TechCrunch:「你是在AWS上构建业务,而不是押注于单一用途的算力供应商,再手忙脚乱地围绕它搭建其他一切。」他继续说:「在AWS上,从原型到生产所需的基础设施已经齐备,创始人可以快速推进,并在需要时扩展规模。」
AWS表示,同一款芯片既负责训练(教会人工智能模型),也负责推理(让已完成的模型投入工作,例如回答用户问题);再加上芯片与初创公司所需的云基础设施紧密集成,即使AWS的每个令牌价格不是最低,整套云服务仍能帮初创公司省钱。
布雷斯说:「Trainium的价值在于价格与性能的平衡,以及训练和推理共用一个平台,从而改善整个工作负载的经济性。以Deepgram为例:他们借助原生PyTorch支持迁移到Trainium后,在达到生产级准确度的同时,每美元可处理的音频量增加了70%。」Deepgram是一家人工智能语音应用供应商,也是ElevenLabs的竞争对手。
但亚马逊并不满足于只给PyTorch应用开发者一个迁往自家云服务的简便选项。
亚马逊还表示,正推动PyTorch减少对英伟达的默认偏向,并将向PyTorch主项目贡献相关代码。在宣布新工具的博客文章中,该公司表示:
亚马逊的做法不只涉及自家硬件。该公司正在向PyTorch上游贡献改动,并与PyTorch社区合作,移除那些把框架绑定到特定芯片的代码。目标是让整个开发者社区使用的PyTorch更不依赖特定硬件,而不只是让Trainium用户受益。
这种策略无疑有利于那些销售硬件和云服务、并与英伟达竞争的公司。但PyTorch的设计目标之一,是隐藏让人工智能代码在硬件上运行时那些令人头疼的细节。亚马逊试图削弱英伟达的影响究竟会如其承诺般给开发者带来更多选择和更低成本,还是只会带来更多配置麻烦,还需要观察。
无论如何,如果亚马逊成功让PyTorch与英伟达深度解耦,对这家GPU巨头的影响可能远不止于应对芯片竞争对手。正如布雷斯所说:「真正重要的是移除那种锁定,让开发者终于拥有真正的选择。」
来源:TechCrunch