ai模型Gemma介绍，Gemma下载地址

ai文章 1 年前 0 60

谷歌Gemma

本次发布包含两种权重规模的模型：Gemma 2B 和 Gemma 7B。每种规模都有预训练和指令微调版本。想使用的人可以通过 Kaggle、谷歌的 Colab Notebook 或通过 Google Cloud 访问。

当然，Gemma 也第一时间上线了 HuggingFace 和 HuggingChat，每个人都能试一下它的生成能力：

新的 Responsible Generative AI Toolkit 为使用 Gemma 创建更安全的 AI 应用程序提供指导和必备工具。谷歌还通过原生 Keras 3.0 兼容所有主流框架（JAX、PyTorch 和 TensorFlow），为 Gemma 提供推理和监督微调（SFT）的工具链。

在各家大厂和人工智能研究机构探索千亿级多模态大模型的同时，很多创业公司也正在致力于构建体量在数十亿级别的语言模型。而 Meta 去年推出的 Llama 系列震动了行业，并引发了人们对于生成式 AI 开源和闭源路线的讨论。

谷歌表示，Gemma 采用了与构建 Gemini 模型相同的研究和技术。不过，Gemma 直接打入开源生态系统的出场方式，与 Gemini 截然不同。谷歌也并未遵守在去年定下的「不再开放核心技术」的策略。

虽然开发者可以在 Gemini 的基础上进行开发，但要么通过 API，要么在谷歌的 Vertex AI 平台上进行开发，被认为是一种封闭的模式。与同为闭源路线的 OpenAI 相比，未见优势。

谷歌发布了两个版本的 Gemma 模型，分别是 20 亿参数和 70 亿参数，并提供了预训练以及针对对话、指令遵循、有用性和安全性微调的 checkpoint。其中 70 亿参数的模型用于 GPU 和 TPU 上的高效部署和开发，20 亿参数的模型用于 CPU 和端侧应用程序。不同的尺寸满足不同的计算限制、应用程序和开发人员要求。

Gemma 在 18 个基于文本的任务中的 11 个上优于相似参数规模的开放模型，例如问答、常识推理、数学和科学、编码等任务。

下图 1 为 Gemma（7B）与 LLaMA 2（7B）、LLaMA 2（13B）和 Mistral（7B）在问答、推理、数学和科学、编码等任务上的性能比较。可以看到，Gemma（7B）表现出了优势（除了在问答任务上弱于 LLaMA 2（13B））。

接下来看 Gemma 的模型架构、训练基础设施、预训练和微调方法。

模型架构

Gemma 模型架构基于 Transformer 解码器，表 1 总结了该架构的核心参数。模型训练的上下文长度为 8192 个 token。

此外，谷歌还在原始 transformer 论文的基础上进行了改进，改进的部分包括：

多查询注意力：7B 模型使用多头注意力，而 2B 检查点使用多查询注意力；
RoPE 嵌入：Gemma 在每一层中使用旋转位置嵌入，而不是使用绝对位置嵌入；此外，Gemma 还在输入和输出之间共享嵌入，以减少模型大小；
GeGLU 激活：标准 ReLU 非线性被 GeGLU 激活函数取代；
Normalizer Location：Gemma 对每个 transformer 子层的输入和输出进行归一化，这与仅对其中一个或另一个进行归一化的标准做法有所不同，RMSNorm 作为归一化层。

自Gemini发布至今，谷歌持续在 AI 方面“狂飙”。

2023年12月，谷歌推出全球最强大、最通用的多模态通用大模型：Gemini，中文称“双子座”，共包括三个不同尺寸版本：Ultra（超大杯）、Pro（大杯）和Nano（中杯），全面内置最新、最强大的自研 AI 超算芯片Cloud TPU v5p。

谷歌表示，在六项基准测试中，Gemini Pro性能表现优于GPT-3.5；而在30项性能基准测试中，Gemini Ultra超越了目前最强模型GPT-4，甚至在数学、物理、法律等57个领域测试中成为全球第一个超越人类专家水平的 AI 模型。

如此强大的 AI 技术，谷歌必然要持续推进。

所以，谷歌不仅统一了 AI 人才和算力资源，而且全力投资Gemini。今年1月，谷歌宣布全球一项大模型基准测试中Gemini超越GPT-4；2月，谷歌宣布对标ChatGPT的 AI 聊天机器人平台Google Bard更名为Gemini，并推出安卓版本的独立App，以及发布史上性能和功能最强大的Gemini Ultra 1.0模型等。

然而，2月中旬Gemini 1.5发布的同时，OpenAI全新视频生成模型Sora突然亮相，一经面世瞬间成为顶流，话题热度只增不减。所有人都在讨论Sora为行业带来的改变，但这让谷歌在 AI 领域的努力一下子“黯然失色”。

扫码领红包

微信赞赏支付宝扫码领红包