大家好，我是 Axton。在 2025 年这个 AI 技术日新月异的时代，谷歌推出的 Gemma 模型，无疑是开源大模型领域的一匹黑马。如果你也和我一样，对 AI 大语言模型抱有浓厚兴趣，那么 Gemma 绝对值得你深入了解。今天，我将带大家全面剖析 Gemma 的核心特点，分享最简便的上手体验方法，探讨两种本地部署的途径，并聊聊我个人对于普通用户本地部署大模型的一些看法。
Gemma 的诞生：谷歌 AI 棋局中的关键一步
谷歌 Gemma 模型的问世，无疑是开源 AI 领域投下的一颗重磅炸弹，也标志着谷歌在 AI 竞赛中一次重要的战略布局。 回顾过去一年，谷歌这位号称”AI 为先”的科技巨头，在与 OpenAI 的较量中似乎总是慢半拍。比如 2023 年 3 月，谷歌刚展示了集成在工作空间中的 AI 功能，OpenAI 紧接着就甩出了 GPT-4，抢尽风头。谷歌卧薪尝胆，终于在 2024 年 2 月 15 日发布了拥有百万级上下文窗口的 Gemini 1.5，试图扳回一城，结果 OpenAI 同一天又祭出了文生视频大杀器 SORA。
然而，仅仅一周之后，谷歌便再次发力，推出了性能强劲的开源模型 Gemma。这一举动，使得开源大模型领域形成了谷歌 Gemma、微软新近注资的 Mistral 以及 Meta Llama2 三足鼎立的局面。根据 Gemma 的官方介绍，其家族系列主打”一系列轻量级、技术领先的开放式模型”，这其中蕴含了两大核心信息。首先，”一系列”表明 Gemma 并非单一模型，而是推出了 Gemma 2B（20 亿参数）和 Gemma 7B（70 亿参数）两种尺寸，并且每种尺寸都提供了预训练（pre-trained）和指令调优（instruct-tuned）两个版本。举例来说，当我们在选择模型时，会看到如 Gemma 7B（预训练版，追求原汁原味的基础能力）和 Gemma Instruct 7B（指令调优版，具备更强的任务执行能力）这样的选项。
其次，也是 Gemma 的另一大亮点，便是它”采用了与创建 Gemini 模型相同的研究和技术”。Gemini 作为谷歌当前最顶尖的闭源大语言模型，其技术实力毋庸置疑，已迭代至 Gemini 1.5 Pro 版本。谷歌将旗舰模型的技术下放到开源模型 Gemma 上，足见其诚意和对开源社区的重视。
Gemma 性能揭秘：小身材与大能量
Gemma 最引人注目的特点之一，便是其卓越的性能，尤其是在同等参数规模下表现出的竞争力。 官方提供了一份基准测试对比图，清晰地展示了 Gemma 与其他主流开源模型的较量。参与对比的包括 Meta 的 Llama2（70 亿和 130 亿参数版本）以及 Mistral 的 70 亿参数版本。
从图表中我们可以直观地看到，Gemma 7B 版本的性能不仅超越了 Mistral 7B，甚至显著优于参数量更大的 Llama2 130 亿版本。更令人惊喜的是，即便是最轻量级的 Gemma 2B 版本，其性能也几乎与 Llama2 7B 版本相当。这种”以小博大”的性能表现，无疑让 Gemma 在开源模型中占据了非常有利的位置。
轻松上手 Gemma：开箱即用的体验
对于我们非开发人员而言，最关心的莫过于如何能够轻松体验 Gemma。 幸运的是，Gemma 提供了非常便捷的”开箱即用”方式，我们至少可以通过 HuggingChat 和 PoE 这两个平台来尝鲜。
我首先打开了 HuggingChat 网站（所有相关链接我都会整理在博文中，方便大家查找）。在 HuggingChat 的模型选择列表中，很容易就能找到谷歌 Gemma 7B IT（Instruct Tuned）模型。选中之后，我便开始了我经典的”三板斧”测试。第一个是编程能力测试，我让它用 Python 编写一个贪吃蛇游戏。Gemma 迅速生成了代码，但我尝试运行时，程序直接报错了，这算是个小小的”演砸了”。
接着是经典的逻辑题：”树上有 10 只鸟，猎人开枪打死了一只，请问树上还剩几只鸟？” Gemma 的回答是 9 只，这个表现略显保守，或者说，有点”实在”。然后我又尝试了一个略有难度的推理题，关于 Andrew 安德鲁、Joanne 琼妮 和 Yana 亚娜 三人协调会议时间的问题。这个问题即便是对 GPT-3.5 也有一定挑战，不出所料，Gemma 给出的答案是错误的。
为了做个对比，我切换到 HuggingChat 上同样是 7B 参数的 Mistral Instruct 模型，让它也编写贪吃蛇代码，结果同样是直接出错。我又尝试了更强大的 Mistral 8x7B 模型，这次程序没有报错，但游戏中只出现了食物，蛇却不见踪影。最后，当我换用 Mistral Large 模型时，贪吃蛇游戏终于完美运行，没有任何问题。虽然 Gemma 在这几个简单测试中的表现不尽如人意，但必须强调，这远非严格的性能评估，不能作为评判模型能力的唯一标准。
除了 HuggingChat，我还尝试了 PoE 这个集成了众多语言模型的平台。在 PoE 中搜索并选择官方的 Gemma 模型后，我再次提出了”10 只鸟”的问题，答案依然是 9 只，看来模型特性是一致的。PoE 的好处在于它更新迅速，许多新发布的模型都能很快在这里找到并体验。
完整视频请点击观看：
本地部署 Gemma：在个人电脑上运行大模型
除了在线尝鲜，将 Gemma 这样的开源大模型部署到我们自己的电脑上运行，也成为了许多 AI 爱好者探索的路径。 我尝试了两种主流的本地部署方法：Ollama 和 LM Studio。
首先是 Ollama。我从其官网下载了适用于 macOS 的版本，安装过程非常简单，只需双击运行并根据提示安装命令行工具即可。Ollama 官方文档指出，运行 7B 参数模型至少需要 8GB 可用内存，我的电脑是 16GB 内存，运行 Gemma 7B 应该是没有问题的。在终端中，我输入了 ollama run gemma:7b 命令，等待模型文件（大约 4.8GB）下载完成后，Gemma 就在本地运行起来了。我再次用”猎人打鸟”的问题测试，得到的答案依旧是 9 只。将模型部署到本地后，更高级的玩法是通过其 API 与其他支持大语言模型的应用程序集成，Ollama 的 GitHub 页面列出了一些可供探索的集成应用。
接着，我体验了 LM Studio。它与 Ollama 类似，也是一个用于下载和本地运行大语言模型的工具。安装 LM Studio 后，我在其模型搜索框中输入 “Gemma”，很快就找到了不同版本。我选择了一个点赞数较高的 7B 模型，并下载了其中一个约 5GB 大小的量化版本。下载完成后，在 AI 对话窗口加载该模型，我依然提出了”老问题”——猎人打鸟，答案”依然是” 9 只。与 Ollama 相似，LM Studio 也可以将本地运行的模型作为 API 服务启动，供其他应用程序调用。
本地部署 Gemma 真的适合普通用户吗？我的思考
然而，对于并非开发者、也没有特定 AI 产品开发需求的普通用户来说，本地部署一个开源大语言模型，其实用场景可能并没有想象中那么广泛。 本地部署的优势显而易见：免费、无需联网、没有使用限制。但其缺点也同样突出：本地模型的性能，尤其是像 Gemma 7B 这样参数规模的模型，其能力与顶尖的商业闭源模型相比，仍有较大差距。若想流畅运行参数更高的模型，对硬件（尤其是显卡）的要求也会水涨船高，成本不菲。
回想一下之前看到的性能对比图，即便是表现优异的 Gemma 7B，在某些复杂任务上可能仍不及那些拥有数百亿甚至数千亿参数的商业模型。因此，如果你目前能够顺畅访问 ChatGPT、Gemini (通过其官方渠道)、CoPilot、PoE、Perplexity AI 或 Mistral AI 等主流大模型服务，我个人认为，花费精力去折腾本地部署的必要性并不大。以我常用的翻译场景为例，我目前主要使用 GPT-3.5 的 API，如果换成本地部署的 70 亿参数甚至 20 亿参数的 Gemma 模型进行翻译，其效果和便捷性可能还不如直接使用谷歌翻译或 DeepL 来得实在。
当然，这仅仅是我个人的看法。如果你有特定的、必须在本地环境中运行语言模型的应用场景，非常欢迎与我分享和讨论。
全局性核心要点总结
在我看来，Gemma 的出现带来了几个值得我们关注的核心要点。首先，它彰显了谷歌在 AI 领域的深厚积累和持续投入，是其 AI 战略的重要组成部分。其次，Gemma 以其轻量级设计和相对出色的性能，为开源社区注入了新的活力，让更多人有机会接触和使用先进的 AI 技术。再次，无论是通过 HuggingChat、PoE 等平台在线体验，还是通过 Ollama、LM Studio 等工具进行本地部署，Gemma 都展现了其易用性和灵活性。然而，对于普通用户而言，本地部署的实际价值仍需根据个人需求和现有条件进行权衡，尤其是在与功能更强大的云端 AI 服务对比时。最后，Gemma 的发布也预示着 AI 大模型领域的竞争将更加激烈，技术迭代速度会进一步加快。
独特深度洞见
Gemma 这类高性能开源模型的普及，不仅仅是技术层面的进步，更深远的意义在于它加速了 AI 技术的民主化进程。它使得中小型企业、研究机构乃至个人开发者，都能以更低的门槛接触和利用先进的 AI 能力，从而催生更多创新应用。然而，这种民主化也伴随着新的责任和挑战，例如如何确保模型的负责任使用、如何应对潜在的滥用风险等，这些都是整个行业需要共同思考和解决的问题。
希望今天的分享能帮助你更好地了解 Gemma。如果你希望让 AI 提升你的效率，欢迎访问我的网站 axtonliu.ai，进入 AI 精英学院，那里有我分享的免费内容和付费课程，旨在帮助大家构建坚实的 AI 应用基础能力。
