猫眼电影记者 拉林 报道w3u7903ejky2ywls

机器之心报道

机器之心编辑部

谷歌 Gemma 3 上线刚刚过去一个月，现在又出新版本了。

该版本经过量化感知训练（Quantization-Aware Training，QAT）优化，能在保持高质量的同时显著降低内存需求。

比如经过 QAT 优化后，Gemma 3 27B 的 VRAM 占用量可以从 54GB 大幅降至 14.1GB，使其完全可以在 NVIDIA RTX 3090 等消费级 GPU 上本地运行！

Chatbot Arena Elo 得分：更高的分数（最上面的数字）表明更大的用户偏好。点表示模型使用 BF16 数据类型运行时所需的 NVIDIA H100 GPU 预估数量。

机器之心在一台配备了 RTX 3070 的电脑上简单测试了其中的 12B 版本，可以看到虽然 Gemma 3 的 token 输出速度不够快，但整体来说还算可以接受。

基于量化感知训练的 Gemma 3

在 AI 模型中，研究者可以使用更少的位数例如 8 位（int8）甚至 4 位（int4）进行数据存储。

采用 int4 量化意味着每个数值仅用 4 bit 表示 —— 相比 BF16 格式，数据大小缩减至 1/4。

但是，这种量化方式通常会导致模型性能下降。

那谷歌是如何保持模型质量的？答案是采用 QAT。

与传统在模型训练完成后才进行量化的方式不同，QAT 将量化过程直接融入训练阶段 —— 通过在训练中模拟低精度运算，使模型在后续被量化为更小、更快的版本时，仍能保持准确率损失最小化。

具体实现上，谷歌基于未量化的 checkpoint 概率分布作为目标，进行了约 5,000 步的 QAT 训练。当量化至 Q4_0（一种常见的量化格式） 时，困惑度下降了 54%。

这样带来的好处之一是加载模型权重所需的 VRAM 大幅减少：

Gemma 3 27B：从 54 GB（BF16）降至仅 14.1 GB（int4）Gemma 3 12B：从 24 GB（BF16）缩减至仅 6.6 GB（int4）Gemma 3 4B：从 8 GB（BF16）精简至 2.6 GB（int4）Gemma 3 1B：从 2 GB（BF16）降至仅 0.5 GB（int4）

此图仅表示加载模型权重所需的 VRAM。运行该模型还需要额外的 VRAM 用于 KV 缓存，该缓存存储有关正在进行的对话的信息，并取决于上下文长度。

现在看来，用户在消费级设备上就能运行更大、更强的 Gemma 3 模型，其中：

Gemma 3 27B (int4)：现在可以轻松安装在单张 NVIDIA RTX 3090（24GB VRAM）或类似显卡上，本地就能运行最大的 Gemma 3 版本；Gemma 3 12B (int4)：可在 NVIDIA RTX 4060 GPU（8GB VRAM）等笔记本电脑 GPU 上高效运行，为便携式设备带来强大的 AI 功能；更小的型号（4B、1B）：为资源较为有限的系统（包括手机和烤面包机）提供更强大的可访问性。

来自 Two Minute Papers 频道的玩笑

官方 int4 和 Q4_0 非量化 QAT 模型已在 Hugging Face 和 Kaggle 上线。谷歌还与众多热门开发者工具合作，让用户无缝体验基于 QAT 的量化 checkpoint：

Ollama：从今天起，只需一个简单命令即可原生支持 Gemma 3 QAT 模型。LM Studio：通过用户友好界面，轻松下载并在桌面上运行 Gemma 3 QAT 模型。MLX：利用 MLX 在苹果芯片上对 Gemma 3 QAT 模型进行高效推理。Gemma.cpp：使用专用的 C++ 实现，直接在 CPU 上进行高效推理。llama.cpp：得益于对 GGUF 格式 QAT 模型的原生支持，可轻松集成到现有工作流程中。

激动的网友已经无法抑制内心的喜悦：「我的 4070 就能运行 Gemma 3 12B，这次谷歌终于为即将破产的开发者做了一些事情。」

「希望谷歌朝着 1bit 量化使使劲。」

这个可以本地运行的 Gemma 3 你用了吗，效果如何，欢迎大家评论区留言。

参考链接：https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/?linkId=14034718

  时事1：91扒开内给男人桶换脸

  04月22日,商务部：去年12月社会消费品零售总额同比增7.4%,

　　兽皮被金色战戈切开，一百多人爆碎，空中血雾弥漫，无头的生灵太强了，根本就无人可以与之硬撼。

,豆花18+进入账号。

  04月22日,20余件吴昌硕书法真迹在陆家嘴“百年雕花楼”展出,

　　从点滴做起吧!把安全放在第一，重视起来，因为它是生命最起码的保证。

,1042基地手金沙夫人,yeyebirdie奶牛农场主生命工坊,奶头又大又又白水网站。

  时事2：少年互摸ji出精

  04月22日,征收水资源税 居民和企业用水成本会涨吗？,

　　“没有什么误会，你是想杀我吗？”小不点很镇定，站在禁忌大阵的中心，看着前方那群人，尤其是正中的那个。

,打美女白嫩㊙️屁股,欲漫涩入口免费❤网站,tobu18HD馃憴馃憴。

  04月22日,北京公积金贷款投放超万亿,

　　穿山甲冲来，与小不点激战，它身大力猛，拥有极尽力量，每一次拍落下金色的爪子，都气息猛烈，都足以将一座小山给震裂。

,张鹤伦左手把好把右手把大梁,91♥在线播放观看竹菊,吴敏去农场让马日第几集出现的。

  时事3：崩铁花火被❌同人本子

  04月22日,河北省邢台市气象台发布大雾黄色预警信号,

　　还有就是我们区、村、部门干部共同存在的吃喝成风，玩风太盛问题。一是吃喝成风。目前我区干部中普遍存着，今天是区机关、部门干部下村吃，明天是村干部来机关吃，后天是大家上城吃，反正是变着法子吃。在吃喝问题上，我们一直主张从简，干部不能背着锅跑。区机关干部因工作下村，村里可以简单安排一顿便餐;村干部来区机关办事，一律按照区机关管理制度执行。按每人30元的标准，凭餐卷到食堂就餐。可执行中，就有那么些人，穷大方，穷热情，破坏规矩，违反制度，拿集体的钱不算帐。明明规定工作日期间，中午不准喝酒，他偏偏中午要喝酒;明明规定除特殊情况外，来人一律在食堂就餐，他偏偏要外出下饭店;明明规定外出就餐一律由党政办安排，他偏偏要自作主张。一顿吃上几百元，甚至上千元，他们眼也不眨一下，一点也不感到心寒。这里我要提醒我们党政办的同志，以后在来人招待方面，把关一定要严，程序一定要办理到位。不管是什么人，你们都不要碍于情面，怕得罪人，要严格按制度办理，该怎么办就怎么办。以后凡是出现因党政办把关不严，违反机关管理制度的，将坚决追究党政办负责人的责任。村里出现类似情况，坚决追究村主要负责同志的责任。

,苍き超戦士リオン无删减,囯产老头老太XXXⅩ,18视频在线代码。

  04月22日,超20万款产品嗨翻玩博会 现场成交及签约额达167亿元,

　　今天，是大家一生中难以忘怀的日子。三年的艰辛努力与付出即将画上一个圆满的句号。此时此刻，站在这里，在这即将分别的时刻，我的心情很是复杂，既有收获的喜悦与快乐，又有离别时的不舍与遗憾……

,女生不小心坐到了男生的头,紫彩乃,脱👙让学生C🐻-百度九幺。

  时事4：又色又爽又黄18🈲网站

  04月22日,黑龙江省齐齐哈尔市人大常委会原副主任刘锋被“双开”,

　　然而，更加遥远的地域却不宁静了。

,动漫❌c🐻黄扒衣服69-50,我的女儿小丹第2部分阅读小说,四人混战沈娜娜。

  04月22日,广西争取筹措财政资金超10亿元 打造“蓝色粮仓”,

　　这是在催动血精，他努力化形出一头巨蛟，竟是缓缓从他的脊背中挣脱出来的，盘在这片山地上，看起来景象恐怖。

,从头啪到尾全肉小黄书在线观看,美女露全胸㊙️,A片在线无限看❤️喷水。