广告

阿里巴巴推出更高效的Qwen3-Next人工智能模型

发布日期:2025-09-12 06:34 阅读:
金牌财经排行榜报道,阿里巴巴旗下通义千问发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。该结构相比Qwen3的MoE模型结构,进行了以下核心改进:混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化,以及提升推理效率的多token预测机制。基于Qwen3-Next的模型结构,阿里训练了Qwen3-Next-80B-A3B-Base模型,该模型拥有800亿参数仅激活30亿参数。该Base模型实现了与Qwen3-32B dense模型相近甚至略好的性能,而它的训练成本(GPU hours) 仅为Qwen3-32B的十分之一不到,在32k以上的上下文下的推理吞吐则是Qwen3-32B的十倍以上,实现了极致的训练和推理性价比。

发表我的意见

专栏作者

2074

文章

0

提问

64万+

阅读量

0

回答

4万+

被赞

0

余额

关于我们 联系我们 加入我们 免责声明 版权声明 Sitemap 标签Tag 侵权文章删除:13607219@qq.com 微信:wenlian123com Investor Relations © 2025 金牌网 中值联认证中心(北京)有限公司版权所有 ICP备案:京ICP备20020888号 增值电信经营许可证:京B2-20201851