Arctic – Snowflake开源的企业级AI大模型

AI工具4个月前发布 AI小集
0

Arctic是什么

Arctic是由云计算巨头Snowflake的AI研究团队开发的一款高效、开源的企业级大型语言模型,该大模型是一个拥有480亿(480B)的参数规模,由128个细粒度的专家构成的混合专家模型(MoE)模型。在成本效益、训练效率和推理效率方面具有显著优势,特别适合执行企业任务,如SQL生成、编程和指令遵循。Arctic采用Apache 2.0许可,提供对模型权重和代码的开放访问,并开源了数据集和研究洞察。

Snowflake Arctic

Arctic的主要特点

  • 参数规模:Arctic拥有480亿参数,但在推理时仅激活170亿参数,以提高效率。
  • 技术架构:采用混合架构,结合了密集变换器(Dense Transformer)和128个专家的MoE模型,每个专家有3.66亿参数。
  • 上下文窗口:模型训练时使用4K的注意力上下文窗口,并计划扩展至32K,以支持更长序列的处理。
  • 训练成本:Arctic的训练计算预算大约在200万美元以下(即少于3000个GPU周)即可达到顶级大模型的能力
  • 模型许可:Arctic在开放的Apache 2.0许可下发布,允许自由使用和修改。
  • 主要用途:专为企业设计,擅长执行SQL生成、编程和指令遵循等任务,适合创建定制企业模型。
Arctic的训练效率

Arctic的模型架构

  • 架构组成:Arctic采用了Dense-MoE Hybrid Transformer架构,这种架构结合了密集变换器(Dense Transformer)和混合专家模型(MoE)的特点。
  • 密集变换器规模:模型包含一个具有10B(10 billion,即10亿)参数的密集变换器模型。
  • MoE架构规模:在MoE部分,Arctic设计了128个细粒度的专家,每个专家拥有3.66B(3.66 billion,即36.6亿)参数。因此,MoE部分的总参数量为128×3.66B,即约470B(470 billion,即4700亿)参数。
  • 总参数量:结合密集变换器和MoE部分,Arctic的总参数量达到了480B(480 billion,即4.8万亿)参数。
  • 活跃参数选择:在推理过程中,Arctic使用top-2门控机制从128个专家中选择两个最合适的专家,这意味着在任何给定时间,大约有17B(17 billion,即170亿)的参数是活跃的。
  • 通信与计算重叠:为了提高训练效率,Arctic的架构设计允许在训练过程中将专家间的通信开销与计算任务重叠,从而隐藏了通信开销。
  • 推理效率:在小批量(如批量大小为1)的交互式推理中,Arctic模型的内存读取次数比Code-Llama 70B少4倍,比Mixtral 8x22B少2.5倍,这有助于提高推理性能。
  • 系统优化:Arctic与NVIDIA合作,利用TensorRT-LLM和vLLM团队的技术,为Arctic提供了初步的推理实现,并通过FP8量化技术,使得Arctic可以在单个GPU节点上运行。
  • 注意力上下文窗口:Arctic训练时使用的注意力上下文窗口为4K,团队正在开发基于attention-sinks的滑动窗口实现,以支持无限序列生成能力,未来计划扩展到32K注意力窗口。

Arctic的性能表现

Snowflake将Arctic与DBRX、Llama、Mixtral等模型在企业指标和学术指标方面的基准测试进行了对比,Arctic在企业智能指标上表现更好,在如MMLU等通用知识基准上的性能可能略低于一些最新模型,但它在这些基准上仍然保持了竞争力。

Snowflake基准测试得分

企业指标:与所有其他开源模型相比,Arctic 都表现出顶级性能,这些任务包括:

  • 编码(Coding):通过HumanEval+ 和 MBPP+ 基准测试编码能力。
  • SQL生成(SQL Generation):使用Spider基准测试SQL查询生成能力。
  • 指令遵循(Instruction Following):IFEval基准测试遵循复杂指令的能力。

如何使用Arctic

Snowflake Arctic 现已可从 Hugging Face、Replicate 等平台使用,后续将在包括 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 和 Together 等在内的平台陆续上线。

© 版权声明

相关文章

暂无评论

暂无评论...