Yandex推出用于训练大型语言模型llm的开源方法Yafsdp

2024年6月11日，跨国科技公司Yandex推出了用于训练大型语言模型（LLM）的开源方法YaFSDP。

YaFSDP具有一系列显著优势。它能够用于增强GPU通信并减少LLM训练中的内存使用量。与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数量。在预训练、对齐和微调等通信密集型任务中，YaFSDP展现出卓越的性能提升，尤其在训练参数规模达到300亿至700亿时表现最为出色。

以训练一个含700亿参数模型为例，采用YaFSDP可节省约150台GPU的资源，相当于每月节省50万至150万美元的算力成本。这一开源工具目前已可以在Github上免费访问。

Yandex高级开发专家、YaFSDP团队成员MikhailKhruschev表示：“YaFSDP最适合基于LLaMA架构的广泛使用开源模型。我们仍在持续优化，扩展其在不同模型架构和参数大小上的多功能性，以期在更广泛的场景中提升训练效率。”YaFSDP是FSDP的增强版，在LLM训练中最耗通信的阶段表现优于FSDP方法。例如，在Llama270B和Llama370B上分别达到21%和26%的效率提升。

YaFSDP的性能优势

Yandex推出的YaFSDP具有显著的性能优势。它能够消除GPU通信效率低下的问题，优化网络使用率并减少内存负载。通过确保训练时只需要必要的处理器内存，并使GPU交互不间断，从而促进进一步的优化，例如最大限度地减少处理器通信时间。这一系列的优化措施显著提高了性能和内存效率。与传统的FSDP方法相比，YaFSDP训练速度提升最高可达26%，具体取决于架构和参数量。在预训练、对齐和微调等通信密集型任务中，YaFSDP展现出卓越的性能提升，尤其在训练参数规模达到300亿至700亿时表现最为出色。例如，对具有700亿参数的Llama2可以实现21%的效率提升，对具有同级参数的Llama3实现了26%的效率提升。

YaFSDP节省的算力成本

YaFSDP在节省算力成本方面表现出色。以训练一个含700亿参数模型为例，采用YaFSDP可节省约150台GPU的资源，相当于每月节省50万至150万美元的算力成本。这一巨大的成本节约使得自主LLM训练对于中小企业和个人开发者更加可行，降低了大型语言模型训练的门槛。

YaFSDP适用的模型架构

YaFSDP最适合基于LLaMA架构的广泛使用开源模型。同时，Yandex正在持续优化，扩展其在不同模型架构和参数大小上的多功能性，以期在更广泛的场景中提升训练效率。目前已知在诸如Llama2和Llama3等模型上，YaFSDP都有显著的效果。

YaFSDP的优化方向

Yandex正在积极尝试各种模型架构和参数大小，以扩展YaFSDP的通用性。例如，探索如何更好地适应不同规模和类型的模型，进一步优化其在高内存压力条件下的表现，以及提升在更多复杂场景中的应用效果。同时，也在不断改进GPU通信效率和内存使用的优化策略，以实现更高效的大型语言模型训练。

YaFSDP与FSDP的对比

YaFSDP是FSDP的增强版。在LLM训练中最耗通信的阶段，如预训练、对齐和微调阶段，YaFSDP表现优于FSDP方法。在训练速度方面，YaFSDP比FSDP最高可提升26%。同时，YaFSDP在处理高内存压力和大规模参数模型时，具有更出色的性能和效率。

Yandex推出的YaFSDP为大型语言模型的训练带来了重大突破和创新，其在性能提升、算力成本节省、适用模型架构扩展以及优化方向探索等方面的成果，有望推动整个行业的发展，让更多的开发者和企业能够更高效、更经济地进行大型语言模型的训练和应用。