Mistral 正式推出开源旗舰 ML4(Mistral Large 4),这款模型整体总参数达到 1 万亿级别,依靠 MoE 混合专家架构实现高效推理,单次推理只激活 490 亿参数,在保证顶尖模型能力的同时大幅降低算力消耗,也是目前 Mistral 发布的体量最大的开源大模型。这一出色的参数配比,依托精细化的混合专家技术,只调用少量专家模块完成单次运算,不用把万亿全部参数投入计算,兼顾超大模型能力与低成本落地;同时它还是原生多模态模型,自带视觉编码器,文字、图片理解能力同步拉满,训练全程在欧洲自建算力集群完成,具备自主可控的部署条件,个人开发者与企业团队都可以自主下载权重进行部署微调。从技术落地节奏来看,先开放 API 预览体验,随后放出完整开源权重,再搭配三种推理模式灵活切换,开发者可以自由平衡性能与成本,让万亿参数大模型能够落地在本地服务器与云端环境。随着权重正式开源,这款模型会进一步拉高开源大模型的能力上限,在代码开发、网络安全、金融法律等企业场景持续发挥价值。

一、ML4 模型核心参数清单

表格

项目具体规格补充说明
模型全称Mistral Large 4(ML4)开发代号 Le Chonk
总参数量1.05 万亿整体全部专家模块总规模
单次激活参数490 亿仅调用少量专家,大幅降低推理开销
视觉编码器16 亿参数原生支持图文多模态输入
上下文窗口100 万 token支持超长文档一次性处理
模型架构精细化 MoE 混合专家路由机制选择少量专家参与运算

二、低激活参数的核心技术原理

1. 混合专家路由机制

整个模型拆分成上百个独立专家网络,每一次输入文本,系统只会自动挑选 4 个专家参与计算,其余专家保持休眠状态,所以只激活不到 5% 的总参数,不用占用全部算力资源。

2. 算力资源按需调用

万亿参数只做静态存储,推理时只加载被选中的少量专家权重,显存占用显著下降,普通企业级服务器就可以完成本地部署,不需要超大算力集群。

3. 多模态模块独立运行

16 亿视觉编码器独立于文字大模型,图片解析任务单独调用视觉模块,不会额外占用文字推理的计算资源,进一步优化整体运行效率。

三、ML4 模型落地部署操作步骤

步骤 1:获取开源模型权重

前往 Hugging Face 官方仓库下载 ML4 完整权重文件,核对模型版本与许可证协议,确认使用权限。

步骤 2:选择对应推理模式

在三种推理模式里按需选择:高性能模式优先保证输出质量,均衡模式平衡速度与成本,轻量化模式进一步降低显存占用。

步骤 3:搭建本地运行环境

搭配 vLLM 推理框架,完成模型加载,开启显存优化,把激活参数控制在 490 亿范围,避免全量参数加载浪费资源。

步骤 4:开展微调与场景定制

基于自有行业语料,对模型进行轻量化微调,适配代码生成、安全分析、文档解析等专属业务场景。

四、模型综合能力优势

  1. 综合性能:在代码、网络安全、法律金融等企业场景,位居开源模型第一梯队,多项基准测试取得领先成绩。
  2. 多语言能力:训练语料覆盖 160 余种语言,包含欧盟全部官方语种,跨境业务适配性更强。
  3. 部署自主性:全部训练在欧洲自建数据中心完成,企业可以实现完全私有化部署,数据全程不外流。

【相关 FAQ】

问题 1:Mistral 开源 ML4 模型总参数达到 1 万亿,单次推理激活参数是多少?

回答 1:Mistral 开源 ML4 模型总参数为 1.05 万亿,依靠 MoE 架构,单次推理仅激活 490 亿参数,只用少量专家模块参与运算,有效控制算力成本。

问题 2:Mistral ML4 为什么能做到万亿总参数却只激活 490 亿参数?

回答 2:ML4 采用精细化 MoE 混合专家架构,模型拆分为大量独立专家,每一轮运算只自动挑选少量专家启动,其余专家处于休眠状态,因此仅激活总参数中的一小部分。

问题 3:Mistral ML4 除了文字能力之外,是否支持多模态图文识别?

回答 3:Mistral ML4 是原生多模态大模型,额外搭载 16 亿参数的视觉编码器,既可以处理文字内容,也能够直接识别图片信息,实现图文一体化理解。

问题 4:Mistral ML4 开源之后,开发者可以在本地服务器部署运行吗?

回答 4:完全可以,ML4 开放完整模型权重,配合 vLLM 推理框架,只加载 490 亿激活参数即可运行,普通企业服务器就能完成私有化部署,同时支持自定义微调优化。

【数据来源】

[2026-10-30] Mistral 开源迄今最大模型 ML4 总参数 1 万亿激活仅 490 亿 IT 之家

[2026-10-30] Mistral Large 4 权重正式开放 混合专家架构参数配置 微博科技博主

[2026-10-29] Mistral ML4 模型技术规格与训练信息 Hugging Face 官方页面

[2026-10-06] Mistral 发布 ML4 预览版 欧美最强开源多模态大模型 网易科技

免责声明:本文内容仅为 Mistral ML4 开源大模型公开技术资讯,全部参数、架构信息均来自官方发布文件;模型实际运行效果会受硬件配置、推理框架、微调语料影响;本文内容仅用于技术交流,不构成项目采购与技术选型的最终依据。