大模型

更小、更安全、更透明 | Gemma 促进负责任的 AI

Ne0inhk

13 Feb 2025 — 10 min read

www.zeeklog.com - 更小、更安全、更透明 | Gemma 促进负责任的 AI

作者 / 研究工程师 Neel Nanda、Tom Lieberum、Kathleen Kenealy, 产品经理 Ludovic Peran

我们在 6 月发布了全新的一流开放模型，该模型拥有 270 亿 (27B) 和 90 亿 (9B) 两种参数版本。自首次亮相以来，Gemma 27B 模型迅速成为 LMSYS 聊天机器人竞技场排行榜上排名最高的开放模型之一，在实际对话中的表现甚至优于一些规模为其两倍以上的热门模型。

LMSYS 聊天机器人竞技场排行榜

https://chat.lmsys.org/?leaderboard

Gemma 不仅关注性能，还在负责任的 AI 基础之上，优先考虑安全性和可访问性。为了支持这一承诺，我们很高兴地为您推出 Gemma 2 系列的三个新模型:

Gemma 2 2B: 热门模型--20 亿 (2B) 参数的全新版本，具有内置的安全改进功能，并在高性能和高效率之间实现了平衡。
ShieldGemma: 基于 Gemma 2 构建的安全内容分类器模型套件，用于过滤 AI 模型的输入和输出，确保用户安全。
Gemma Scope: 全新的模型可解释性工具，能够以前所未有的深度揭示模型内部是如何运行的。

Gemma 2 2B

https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

ShieldGemma

https://huggingface.co/collections/google/shieldgemma-release-66a20efe3c10ef2bd5808c79

Gemma Scope

https://huggingface.co/collections/google/gemma-scope-release-66a4271f6f0b4d4a9d5e04e2

通过这些新增模型，研究人员和开发者现在可以创建更安全的用户体验，以前所未有的深度分析模型，同时自信地在设备上负责任地部署强大的 AI，开启创新的无限可能。

Gemma 2 2B: 体验新一代性能，现已上线设备端

我们很高兴地推出 Gemma 2 2B 模型，这是 Gemma 2 系列备受期待的新成员。这款轻量级模型通过模型蒸馏向更大的模型学习，产生了超出预期的效果。事实上，Gemma 2 2B 在聊天机器人竞技场上超越了所有 GPT-3.5 模型，展示了其卓越的对话式 AI 能力。

△ 2024 年 7 月 30 日的 LMSYS 聊天机器人竞技场排行榜得分。Gemma 2 2B 的得分 +/- 10。

Gemma 2 2B 模型

https://huggingface.co/google/gemma-2-2b

Gemma 2 2B 具备以下特点:

性能卓越: 在同等规模中提供同类最佳的性能，表现超越同类别中的其他开放模型。
灵活且经济高效的部署: Gemma 2 2B 可以在各种硬件上高效运行，从边缘设备和笔记本电脑到使用 Vertex AI 和 Google Kubernetes Engine (GKE) 的强大云部署。为了进一步提升速度，该模型采用 NVIDIA TensorRT-LLM 库进行优化，并作为 NVIDIA NIM 提供。这种优化针对各种部署环境，包括数据中心、云、本地工作站、PC 和边缘设备——使用 NVIDIA RTX、NVIDIA GeForce RTX GPU 或用于边缘 AI 的 NVIDIA Jetson 模块。此外，Gemma 2 2B 还与 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及即将推出的 MediaPipe 无缝集成，简化开发流程。
开放且可访问: 该模型可根据商业友好型 Gemma 条款供研究和商业使用。其规格足够小，可以在 Google Colab 的 T4 GPU 免费层上运行，使实验和开发变得比以往任何时候都更容易。

NVIDIA TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM

NVIDIA NIM

https://build.nvidia.com/google/gemma-2-2b-it

NVIDIA RTX

https://www.nvidia.com/en-us/design-visualization/technologies/rtx/

NVIDIA GeForce RTX

https://www.nvidia.com/en-us/geforce/rtx/

NVIDIA Jetson

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/

Gemma 条款

https://www.kaggle.com/models/google/gemma/license/consent

在 Google Colab 的 T4 GPU 免费层上运行

https://ai.google.dev/gemma/docs/keras_inference

您可以即刻在 Kaggle、Hugging Face、Vertex AI Model Garden 中下载 Gemma 2 的模型权重。也欢迎您在 Google AI Studio 中试用其功能。

Kaggle

https://www.kaggle.com/models/google/gemma-2

Hugging Face

https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

Vertex AI Model Garden

https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma2

Google AI Studio

https://aistudio.google.com/app/prompts/new_chat?model=gemma-2-2b-it

ShieldGemma: 使用最前沿的安全分类器保护用户

负责任地部署开放模型以确保 AI 输出既吸引人、又安全且具有包容性的内容，需要开发者和研究人员需要投入大量的精力。为了帮助开发者完成这一过程，我们推出了 ShieldGemma，包含一系列最前沿的安全分类器，旨在检测和减轻 AI 模型输入和输出中的不当内容。ShieldGemma 特别针对以下四个关键的领域:

仇恨言论
骚扰
色情内容
危险内容

这些开放式分类器是对 Responsible AI Toolkit 中现有安全分类器套件的补充，其中包括为特定策略量身定制的分类器构建方法，这种方法即使在数据点数量有限的情况下也能实现；以及通过 API 提供的 Google Cloud 现有分类器。

Responsible AI Toolkit

https://ai.google.dev/responsible#protect

ShieldGemma 具备以下特点，以帮助您创建更安全、更出色的 AI 应用:

SOTA 性能: 基于 Gemma 2 构建，已是业界领先的安全分类器。
灵活的规模: ShieldGemma 提供多种模型规模以满足不同的需求。2B 模型非常适合在线分类任务，而 9B 和 27B 模型则为受延迟问题影响不大的离线应用提供更高的性能。所有规模的模型均可利用 NVIDIA 的速度优化技术，实现跨硬件的高效性能。
开放和协作: ShieldGemma 的开放性推动了 AI 社区的透明度，促进了协作，为 ML 行业未来的安全标准做出了贡献。

随着 AI 的不断发展和日渐成熟，整个行业都需要聚焦于高性能安全评估器的研发。我们很高兴看到 Google 在这方面的作为，并期待他们继续支持我们的 AI 安全工作组。

ML Commons 执行董事 Rebecca Weiss

△ 评估结果基于最优 F1 值 (左)/AU-PRC (右)，数值越高越好。我们使用 𝛼=0 和 T=1 来计算概率。ShieldGemma (SG) Prompt 和 SG Response 是我们的测试数据集，而 OpenAI Mod/ToxicChat 是外部基准。基线模型在外部数据集上的性能来源于 Ghosh 等人 (2024 年) 和 Inan 等人 (2023 年) 的研究。

如需详细了解 ShieldGemma，请在技术报告中查看完整结果，并开始使用我们全面的 Responsible Generative AI Toolkit 来构建更安全的 AI 应用。

ShieldGemma

https://ai.google.dev/gemma/docs/shieldgemma

技术报告

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

Responsible Generative AI Toolkit

https://ai.google.dev/responsible#protect

Gemma Scope: 使用开放式稀疏自编码器揭示 AI 的决策过程

Gemma Scope 为研究人员和开发者提供了前所未有的透明度，让他们能够深入了解 Gemma 2 模型的决策过程，就像一台强大的显微镜。Gemma Scope 使用稀疏自编码器 (SAE) 来放大模型内的特定点，从而使模型的内部运作变得更加容易理解。

稀疏自编码器

https://arxiv.org/abs/2407.14435

此类 SAE 是专门的神经网络，可以解码 Gemma 2 处理的密集且复杂的信息，并扩展成更容易分析和理解的形式，研究人员可以借此获得宝贵的见解，了解 Gemma 2 如何识别模式、处理信息并最终做出预测。我们希望借助 Gemma Scope 帮助 AI 研究社区探索如何构建更易于理解、负责任和可靠的 AI 系统。

Gemma Scope 具有以下突破性特点: