威廉希尔WilliamHill·足球(中国)体育官方网站
搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

阿里开源 Qwen3 系列“混合”推理模型,据称全面超越 Llama 4

2025-04-30 14:34:03
来源:

猫眼电影

作者:

苏西洛

手机查看

  猫眼电影记者 特雷·多 报道w3u7903ejky2ywls

备受关注的Qwen3 终于来了。

此前就陆续有消息宣称阿里将于4 月更新其 Qwen 系列模型,终于,在四月的最后两天,阿里巴巴 Qwen Team 对外发布了其 Qwen 系列大型语言模型的新成员——Qwen3。

此次发布的Qwen3 系列涵盖了从小型到超大型的多个模型,旨在满足不同应用场景下的需求。其中,最吸引人眼球的当属旗舰模型Qwen3-235B-A22B。这是一款采用 MoE(Mixture of Experts, 混合专家)架构的大模型,拥有 2350 亿总参数量,在推理时激活其中的 220 亿参数。

除了旗舰模型,Qwen Team 还同时开源了另一款 MoE 模型Qwen3-30B-A3B。该模型总参数量约为 300 亿,激活参数量为 30 亿。官方资料显示,这款模型的激活参数量仅为 Qwen 团队另一款模型 QwQ-32B 的 10%,但在性能上却表现更优。这使得 Qwen3-30B-A3B 在需要高效推理和本地部署的场景下非常具有优势,例如本地编程。

此外,Qwen3 系列还包含六款传统的 Dense(密集)架构模型,参数规模从 0.6B 到 32B 不等,具体包括:Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B 和 Qwen3-32B。这些 Dense 模型采用了更传统的架构,所有参数在推理时都会参与计算。Qwen Team 对这些模型的权重也进行了全面开源。

图丨模型参数(来源:Qwen)

基准测试结果显示,Qwen3 系列的表现相当亮眼。

尽管参数量相对较小,但旗舰模型Qwen3-235B-A22B 在代码生成与理解、数学推理、通用能力等关键领域,与 DeepSeek-R1、o1、o3-mini、Grok-3 以及 Google 的 Gemini-2.5-Pro 等顶级模型不相上下甚至有所超越。最重要的是,在各项评估中,它都用不到一半的参数量实现了对直接竞争对手 LLaMA-4-Maverick 的全面超越。

图丨基准测试结果(来源:Qwen)

小型MoE 模型Qwen3-30B-A3B的表现同样出色。尽管其激活参数量仅为 30 亿,但在 ArenaHard、LiveCodeBench 等多项测试中,其性能不仅超越了参数量更大的 Qwen2.5-72B-Instruct 模型,还在某些项目上接近或超过了 GPT-4o。甚至参数量相当小的Qwen3-4B,也能在部分基准测试中匹敌或超越参数量远大于它的 Qwen2.5-72B-Instruct。

此外,和Gemini 2.5 Flash 一样,Qwen 3 系列最大的亮点是引入了思考/非思考这两种可切换的思考模式,这种设计允许用户根据任务需求,在推理深度(可能带来更高质量的答案)和响应速度(效率更高)之间进行权衡。官方称之为“思考预算”(Thinking Budget)控制。

Qwen 团队的数据显示,模型的性能提升与分配的计算推理预算(以 K tokens 为单位衡量)直接相关,并且展现出可扩展且平滑的性能曲线。这意味着用户可以通过调整预算,在成本效益和推理质量之间找到最佳平衡点。

(来源:Qwen)

在实际使用中,用户可以通过API 调用时的参数(如 enable_thinking=True/False)来控制默认模式。而且,Qwen3 还支持在多轮对话中通过在用户输入中添加特定指令(如 /think 或 /no_think)来动态切换当前轮次的思考模式,模型会遵循最近的指令。

Qwen3 的另一个亮点是,在多语言方面做出了重大改善,官方宣布其支持多达119 种语言和方言。这覆盖了全球主要的语系,包括:

图丨Qwen 3 支持的语言(来源:Qwen)

除了基础的语言理解和生成能力,现代大型语言模型在执行复杂任务、与外部工具交互(即Agent 能力)以及编写和理解代码方面的能力也日益受到重视。Qwen3 在这些方面也进行了重点优化。

官方表示,Qwen3 模型的 Agent 能力和代码能力得到了显著提升,并且加强了对 MCP(Model Context Protocol)的支持,使得 Qwen 3 能更有效地参与到多智能体协作的场景中。

另外值得一提的是,据 Qwen 团队研究员郑楚杰透露,Qwen3 还有一些未在模型卡中透露出的有趣特性,或许能为研究和产品开辟出一些新的空间,值得我们期待一下。

图丨相关推文(来源:X)

在训练方面,Qwen 3 使用了约 36 万亿个 token 进行预训练,几乎是 Qwen2.5(18 万亿 token)的两倍。团队不仅从网络收集数据,还从 PDF 文档中提取信息,并利用 Qwen2.5-VL(Vision Language,视觉语言)和 Qwen2.5 改善提取内容质量。为增加数学和代码数据,团队还利用 Qwen2.5-Math 和 Qwen2.5-Coder 这两个领域专家模型合成数据。

预训练过程分为三个阶段:首先在超过30 万亿个 token 上进行基础预训练;其次增加知识密集型数据比例并额外训练 5 万亿个 token;最后使用高质量长上下文数据将上下文长度扩展到 32K token。

模型架构的改进也是Qwen3 性能提升的关键因素之一。官方提到,由于模型架构的改进、训练数据的增加以及更有效的训练方法,Qwen3 的 Dense 基础模型在整体性能上已经能与参数量更多的 Qwen2.5 基础模型相媲美。例如,Qwen3 的 1.7B 到 32B 的 Dense 模型分别能达到 Qwen2.5 的 3B 到 72B Base 模型的水平。对于 MoE 模型,在仅使用约 10% 激活参数的情况下,就能达到与 Qwen2.5 Dense 基础模型相似的性能,显著节省了训练和推理成本。

图丨基准测试结果(来源:Qwen)

后训练部分,对于Qwen3-235B-A22B 等旗舰模型,训练从基础模型出发,经历了与 DeepSeek- R1 比较类似的四个步骤:

1.长思维链冷启动 (Long-CoT Cold Start):使用多样化的长思维链数据对模型进行微调,覆盖数学、代码、逻辑推理和 STEM(科学、技术、工程、数学)等领域,旨在为模型注入基础的推理能力。

2.长思维链强化学习 (Long-CoT Reasoning RL):进行大规模强化学习(Reinforcement Learning, RL),利用基于规则的奖励来增强模型的探索和钻研能力。

3.思维模式融合 (Thinking Mode Fusion):将包含长思维链数据和常用指令微调数据的混合数据集用于模型微调,目的是将非思考模式无缝整合到思考模式中,确保推理能力和快速响应能力的结合。

4.通用强化学习 (General RL):在包括指令遵循、格式遵循和 Agent 能力等在内的 20 多个通用任务领域应用强化学习,进一步增强模型的通用能力并纠正不良行为。

对于更小的轻量级模型,则是由强模型进行蒸馏。流程图显示,这种蒸馏过程利用了经过复杂四阶段训练的前沿模型作为“教师模型”,将其能力迁移到参数量较小的“学生模型”上(这也解释了轻量级模型能在相对较小规模下继承强大性能的原因)。

图丨后训练流程(来源:Qwen)

目前,模型权重已上架Hugging Face、ModelScope、Kaggle 等平台。对于生产环境部署,推荐使用 SGLang、vLLM 等框架。同时,Ollama、LMStudio、llama.cpp 等本地工具也提供了支持。官方还提供了详细的 Python 代码示例。

参考资料:

1. https://qwenlm.github.io/zh/blog/qwen3/

排版:溪树

 时事1:日本少妇人妻XXXXⅩ18漫画

  04月30日,云南镇雄山体滑坡:搜寻到10名失联人员,

  8.25教师报到,学生报名。9.1发教材,9.4正式上课。

,偷拍美女撒尿❌❌❌网站。

  04月30日,和谐共生 | 以自然之道 养万物之生,

  一、要进一步加强学习,明确职责。学生会下设主席(兼校团委副书记)1名,副主席(兼年级学生会主席)3名,文体部,纪检部,卫生部,学习部,安全部,宣传部,组织部,生活部,秘书处(各设部长1名,副部长2名),希望各部门进一步认真学习相关制度和要求,明确职责。

,一本一道加勒比无码aⅴ步兵区,打女学生白嫩㊙️光屁屁网站,无套内谢人妻A片毛片。

 时事2:中国极品媚黑合集视频

  04月30日,坚持互信互利合作,中国不仅是倡导者更是行动派,

  雨蒙暴怒,抬脚踢在了他的身上,顿时传出骨折上,管事惨叫,大口咳血,整个人横飞了起来,撞在了不远处的假山上。

,初高中打屁股♥网站,prouhnb官网免费下载,豆花18+进入账号。

  04月30日,“潭美”在越南登陆 海南继续发布海浪黄色预警,

  ~年,我们的总体目标是:继续全面实施以市场为导向的全面产品、技术、服务领先战略,继续坚持不懈的走专业化产业发展道路,保持公司健康、稳定、持续发展。使公司成为中国电子式电能表、自动抄表和电力负荷管理系统领域最具竞争力的企业。准确把握政策导向和市场趋势,快速满足市场对产品的需求,扩大市场份额和市场范围,确保实现销售收入亿,力争亿。

,芙宁娜爆乳❌自慰小说,装睡被陌生人揉到高潮,jiZZjiZZ欧美69巨大。

 时事3:刘浩存被揉到高潮下不了床

  04月30日,五缘湾片区的“厦门实践”:打造人海和谐“城市新客厅”,

  各位同僚:

,乌克兰处破女www免费,把白鹿胸罩扒了狂揉视频免费,扌喿辶畐的日本。

  04月30日,【新思想引领新征程】书写新时代黄河流域生态保护新篇章,

  标志人认为,房地产的品质在于前期的设计、中期的建设和后期的经营管理。事实证明,将房地产的开发和经营管理有机的结合将为业主创造更大的附加值。

,爆乳91女仆技女水,美女跪床❌❌被🌿,男男做爰猛烈叫床XXXⅩ图片。

 时事4:夹住朕的龙精不许流出来

  04月30日,浙江金华婺城发现中华穿山甲,

  “族长爷爷放心吧,我们不会冒险,寻找到机会时才会动手。”石昊挥了挥小手,让他不要担心。

,FreeHD18❌❌❌久久精品,羞羞漫画免费网站,闲人吧7777麻豆冰冻。

  04月30日,移动互联网十年 年轻人大厂围城,

  一群娃子急不可耐,哇哇大叫着,冲出了村落,贪婪呼吸着蕴含有草木味道的清新空气,又蹦又跳。

,免费无码又爽又刺激A片男男小说,99久久国产精品久久99蜜覆,免费白丝jk乳。

责编:孟子和

审核:雷蒙德穆迪

责编:科夫通

相关推荐 换一换