
由加州理工学院研究员创立的AI Lab PrismML(顾问包括UC Berkeley的Ion Stoica)开发了一版超小型语言模型,可以在高通驱动的智能眼镜上本地运行。
周三,在高通Snapdragon峰会上,这家芯片制造商展示了PrismML的1-bit Bonsai LLM。该模型仅占用几MB存储空间,可以在智能眼镜等边缘设备上本地运行AI推理,无需联网。
PrismML的更大目标是打造「开源权重」的AI,让模型直接运行在设备上,更好地利用已有的计算能力,同时保护用户隐私。
与云端AI相比,本地运行的优势在于无延迟、无网络依赖,以及数据不出设备。这对于智能眼镜等可穿戴设备尤为重要。
高通表示,未来将把PrismML的模型集成到其Snapdragon AR/XR平台中,为下一代智能眼镜提供AI能力。
来源:TechCrunch