Yandex研发人员开发压缩大型语言模型新方法，将AI部署成本降低8倍

Yandex Research、IST Austria（奥地利科学技术研究所）、Neural Magic 和 KAUST 开发并开源了两种大型语言模型（LLM）压缩方法，即 AQLM 和 PV-Tuning。这两种方法能够将模型大小减少多达 8 倍，同时能保留 95%的响应质量。新方法大幅降低了 AI 部署的进入门槛，将设备成本降低最多 8 倍。压缩后的模型...