News Mar 30, 2026 9 min read

Qwen3.5-Omni：新一代原生全模态大模型，支持 10 小时音频与 400 万帧视频

Qwen3.5-Omni 是新一代原生全模态大模型，支持文本、图像、音频、视频输入输出。采用 Thinker-Talker 架构和 Hybrid-Attention MoE，支持 256k 上下文、10 小时音频、400 万帧视频处理，在 215 个基准测试中达到 SOTA。

本文发布于 173 天前，内容可能已过时，请注意甄别。

阿里通义千问又放大招了！3 月 30 日，Qwen3.5-Omni 正式发布，这次真的是「全模态」——不仅能看图说话，还能听 10 小时音频、看 400 万帧视频，甚至能听着音乐写代码。更狠的是，在 215 个基准测试中直接拿下 SOTA，把 Gemini-3.1 Pro 按在地上摩擦。

能力炸裂：10 小时音频 + 400 万帧视频，这才叫全模态

说到全模态，很多模型都在吹，但 Qwen3.5-Omni 是真的敢「玩大的」。

技术上，阿里这次用了 Thinker-Talker 双架构 + Hybrid-Attention MoE。简单说，就是把「理解」和「表达」分开处理，一个负责看懂听懂，一个负责说话生成，配合混合注意力机制，效率直接拉满。

数据不会骗人。Qwen3.5-Omni-Plus 这次在 215 个数据集和 Benchmark 上拿下 SOTA。

这意味着什么？以前你可能需要三个模型分别处理文本、图像、音频，现在一个 Qwen3.5-Omni 全搞定，而且每项能力都是顶级水平。

最让人眼前一亮的是 Audio-Visual Vibe Coding。

简单说，就是你可以用音频指令让 AI 写代码。不是语音转文字再执行，而是模型直接理解音频中的编程意图，然后生成代码。这是全模态模型独有的「涌现能力」，单模态模型根本做不到。

另外，Qwen3.5-Omni-Plus 的音频 caption 生成也很强悍：不仅能生成详细的音频描述，还能自动标注时间戳，精确到每个声音细节。这对视频字幕生成、音频内容分析来说简直是神器。

离线能力强是一回事，实时交互才是真正考验功力的地方。Qwen3.5-Omni 的 Realtime 模式直接把体验拉满。

传统语音合成有个老毛病：要么漏字，要么重复，要么蹦出奇怪的字符，还经常卡顿。

阿里这次搞了个 ARIA（Adaptive Rate Interleave Alignment）技术，动态调整文本和音频元素的节奏。结果就是：实时性和流畅度兼得，说话不卡顿，发音自然流畅，听起来就像真人在说话。

API 类型	适用场景	典型应用
Offline API	批量处理、深度分析	分析一整天的会议录音、给电影生成详细字幕
Realtime API	实时对话、语音交互	智能客服、语音助手、实时翻译

而且可以通过 system prompt 自定义模型的说话风格、语速、情绪，想要严肃的商务风格还是轻松的聊天风格，随你调。

关键是原生多模态预训练：不是先训练文本模型再加音视频能力，而是从一开始就在文本、图像、长达 1 小时的音视频数据上一起训练。这样才能出现 Audio-Visual Vibe Coding 这种「涌现能力」。