Gemma 2 – 谷歌DeepMind推出的新一代开源人工智能模型

AI工具2个月前更新 AI小集
0

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型,包含90亿和270亿参数版本。该模型以卓越的性能、高效的推理速度和广泛的硬件兼容性为特点,能够与参数量更大的模型(如Llama 3、Claude 3 Sonnet)相媲美。Gemma 2设计易于集成到开发者的工作流程中,支持多种AI框架,并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2

Gemma 2的特点

  • 参数规模:Gemma 2目前提供两种参数规模的模型,分别是90亿(9B)和270亿(27B)参数版本,以适应不同的应用需求和资源限制。后续还会发布26亿参数(2.6B)模型。
  • 性能优化:27B版本的Gemma 2在性能上能够与参数量超过其两倍的模型相媲美,显示出极高的性能效率比,在LMSYS Chatbot Arena中,270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3,并超过Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型,在所有开源权重的模型中位列第一。
    Gemma 2的性能
  • 推理效率:Gemma 2特别优化了推理过程,能够在单个高端GPU或TPU上以全精度运行,无需额外的硬件资源,从而大幅降低了使用成本。
  • 硬件兼容性:Gemma 2能够在多种硬件平台上快速运行,包括个人电脑、工作站、游戏笔记本以及云服务器等。
  • 开放许可:Gemma 2采用商业友好的许可协议,允许开发者和研究人员自由地分享、使用和商业化他们的应用。
  • 框架支持:Gemma 2与多个主流AI框架兼容,包括Hugging Face Transformers、JAX、PyTorch和TensorFlow,使得开发者可以根据自己的偏好选择合适的工具。
  • 部署工具:谷歌提供了Gemma Cookbook,这是一个包含实用示例和指南的资源库,帮助用户构建应用程序和微调Gemma 2模型。
  • 负责任的AI:谷歌提供了一系列工具和资源,如Responsible Generative AI Toolkit和LLM Comparator,以支持开发者和研究人员负责任地构建和部署AI。

如何使用Gemma 2

Gemma 2可与用户常用的工具和工作流程轻松配合使用,与Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 等主流 AI 框架兼容,可通过原生 Keras 3.0、vLLM、Gemma.cppLlama.cppOllama实现。此外,Gemma 还通过NVIDIA TensorRT-LLM进行了优化,可在 NVIDIA 加速基础设施上运行或作为NVIDIA NIM推理微服务运行,并将针对NVIDIA 的 NeMo进行优化。

Gemma 2现已在Google AI Studio中推出,用户可以在无需硬件要求的情况下以 27B 的速度测试其全部性能。开发人员还可以从KaggleHugging Face Models下载Gemma 2的模型权重,Vertex AI Model Garden即将推出。

为了便于研究和开发,Gemma 2 还可通过Kaggle或 Colab 笔记本免费使用。首次使用 Google Cloud 的客户有资格获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划,以获得 Google Cloud 信用额度,以加速他们使用 Gemma 2 的研究。申请开放时间为即日起至 8 月 9 日。

© 版权声明

相关文章

暂无评论

暂无评论...