[!Note] 本仓库包含 Hugging Face Transformers 格式的后训练模型权重和配置文件。
这些模型资源兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等。
考虑到其参数规模,预期用途包括原型验证、面向特定任务的微调,以及其他研究或开发目的。
近几个月来,我们更加专注于开发兼具卓越实用性与性能的基础模型。Qwen3.5 实现了显著跨越,整合了多模态学习、架构效率、强化学习规模与全球可及性方面的突破,为开发者和企业带来前所未有的能力与效率。
Qwen3.5 带来以下增强特性:
统一的视觉-语言基础:基于多模态 token 的早期融合训练实现了与 Qwen3 的跨代同等水平,并在推理、编码、智能体和视觉理解基准测试中超越 Qwen3-VL 模型。
高效混合架构:门控 Delta 网络与稀疏混合专家相结合,实现高吞吐推理,并将延迟与成本开销降至最低。
可扩展的强化学习泛化:强化学习在百万级智能体环境中规模化,并采用逐步复杂化的任务分布,以实现稳健的真实世界适应能力。
全球语言覆盖:扩展支持 201 种语言和方言,实现包容性的全球部署,并具备细腻的文化与地区理解。
下一代训练基础设施:相较于纯文本训练,多模态训练效率接近 100%,并配备异步 RL 框架,支持超大规模智能体脚手架与环境编排。
更多详情,请参阅我们的博客文章 Qwen3.5。
| Qwen3-4B-2507 | Qwen3-1.7B | Qwen3.5-2B | Qwen3.5-0.8B | |
|---|---|---|---|---|
| 指令(非思考)模式 | ||||
| MMLU-Pro | 69.6 | 40.2 | 55.3 | 29.7 |
| MMLU-Redux | 84.2 | 64.4 | 69.2 | 48.5 |
| C-Eval | 80.2 | 61.0 | 65.2 | 46.4 |
| SuperGPQA | 42.8 | 21.0 | 30.4 | 16.9 |
| IFEval | 83.4 | 68.2 | 61.2 | 52.1 |
| MMMLU | 64.9 | 46.7 | 56.9 | 34.1 |
| 知识与STEM(思考) | ||||
| MMLU-Pro | 74.0 | 56.5 | 66.5 | 42.3 |
| MMLU-Redux | 86.1 | 73.9 | 79.6 | 59.5 |
| C-Eval | 82.2 | 68.1 | 73.2 | 50.5 |
| SuperGPQA | 47.8 | 31.2 | 37.5 | 21.3 |
| GPQA | 65.8 | 40.1 | 51.6 | 11.9 |
| 指令跟随(思考) | ||||
| IFEval | 87.4 | 72.5 | 78.6 | 44.0 |
| IFBench | 50.4 | 26.7 | 41.3 | 21.0 |
| MultiChallenge | 41.7 | 27.2 | 33.7 | 18.9 |
| 长上下文(思考) | ||||
| AA-LCR | 32.0 | 6.7 | 25.6 | 4.7 |
| LongBench v2 | 42.8 | 26.5 | 38.7 | 26.1 |
| 推理(思考) | ||||
| HMMT Feb 25 | 57.5 | 10.2 | 22.9 | -- |
| HMMT Nov 25 | 69.6 | 8.9 | 19.6 | -- |
| 通用智能体(思考) | ||||
| BFCL-V4 | 39.9 | -- | 43.6 | 25.3 |
| TAU2-Bench | 43.2 | -- | 48.8 | 11.6 |
| 多语言(思考) | ||||
| MMMLU | 70.8 | 57.0 | 63.1 | 44.3 |
| MMLU-ProX | 62.4 | 49.4 | 52.3 | 34.6 |
| NOVA-63 | 47.1 | 40.3 | 46.4 | 42.4 |
| INCLUDE | 64.4 | 51.8 | 55.4 | 40.6 |
| Global PIQA | 73.5 | 63.1 | 69.3 | 59.4 |
| PolyMATH | 46.2 | 25.2 | 26.1 | 8.2 |
| WMT24++ | 58.9 | 39.3 | 45.8 | 27.2 |
| MAXIFE | 72.1 | 50.7 | 60.6 | 39.2 |
* TAU2-Bench: 除航空领域外,我们遵循官方设置;在航空领域,所有模型均按照 Claude Opus 4.5 系统卡中提出的修复方案进行评估。
* MMLU-ProX: 我们报告 29 种语言上的平均准确率。
* WMT24++: WMT24 在难度标注和再平衡后的更困难子集;我们使用 XCOMET-XXL 报告 55 种语言上的平均得分。
* MAXIFE: 我们报告英文 + 多语言原始提示上的准确率(共 23 种设置)。
* 实验设置:使用 top_p=0.95、top_k=20、presence_penalty=1.5 和 temperature=1.0。
* 空单元格(--)表示分数尚未可用或不适用。
| Qwen3-VL-4B | Qwen3-VL-2B | Qwen3.5-2B | Qwen3.5-0.8B | |
|---|---|---|---|---|
| STEM 与谜题 | ||||
| MMMU | 70.8 | 61.4 | 64.2/64.2 | 49/47.4 |
| MMMU-Pro | 57.0 | 42.5 | 50.3/47.7 | 31.2/31.4 |
| Mathvista(mini) | 79.5 | 73.6 | 76.7/73.9 | 62.2/58.6 |
| DynaMath | 74.4 | 66.7 | 73.6/69.6 | 49.9/46.5 |
| ZEROBench | 0.0 | 0.0 | 1/0 | 0/0 |
| ZEROBench_sub | 18.9 | 13.2 | 17.1/18.6 | 12.9/11.4 |
| VlmsAreBlind | 68.6 | 50.0 | 75.8/74.3 | 59.4/57.3 |
| 通用 VQA | ||||
| RealWorldQA | 73.2 | 69.5 | 74.5/71.2 | 63.4/61.6 |
| MMStar | 73.2 | 68.1 | 71.7/68.0 | 58.3/55.9 |
| MMBenchEN-DEV-v1.1 | 86.7 | 81.9 | 83.3/81.3 | 69.9/68.0 |
| SimpleVQA | 48.8 | 43.6 | 38.5/39.5 | 31.3/30.4 |
| HallusionBench | 64.1 | 54.9 | 58.0/51.3 | 53.1/46.7 |
| 文本识别与文档理解 | ||||
| MMLongBench-Doc | 44.4 | 33.8 | 45.4/38.8 | 33.6/28.1 |
| AI2D_TEST | 84.9 | 80.4 | 83.3/81.5 | 69.9/68.7 |
| CC-OCR | 73.8 | 68.3 | 72.9/75.8 | 63.2/66.7 |
| OmniDocBench1.5 | 80.0 | 65.9 | 79.8/80.9 | 61.0/70.6 |
| CharXiv(RQ) | 50.3 | 37.1 | 58.8/52.6 | 41.3/38.2 |
| OCRBench | 80.8 | 79.2 | 84.5/85.4 | 74.5/79.1 |
| 空间智能 | ||||
| RefCOCO(avg) | 88.2 | 84.8 | 84.8/84.3 | 79.3/77.8 |
| CountBench | 89.4 | 84.1 | 91.4/86.8 | 77.0/68.6 |
| ODInW13 | 39.4 | 36.0 | 35.9/40.5 | 31.6/33.2 |
| ERQA | 47.3 | 41.8 | 43.8/33.0 | 34.5/23.8 |
| EmbSpatialBench | 80.7 | 75.9 | 77.9/66.4 | 68.6/54.6 |
| RefSpatialBench | 45.3 | 28.9 | 32.9/30.0 | 23.5/21.7 |
| Hypersim | 11.9 | 11.2 | 12.4/12.4 | 11.9/11.0 |
| SUNRGBD | 28.0 | 28.6 | 28.7/25.6 | 26.1/23.3 |
| Nuscene | 4.9 | 4.0 | 6.9/8.5 | 5.7/7.0 |
| 视频理解 | ||||
| VideoMME(w sub.) | 76.0 | 67.9 | 75.6/-- | 63.8/-- |
| VideoMME(w/o sub.) | 68.9 | 62.1 | 69.0/-- | 57.7/-- |
| VideoMMMU | 69.4 | 54.1 | 62.1/-- | 44.3/-- |
| MLVU | 75.7 | 69.2 | 76.2/-- | 65.6/-- |
| MVBench | 69.3 | 64.5 | 64.9/-- | 55.8/-- |
| LVBench | 53.5 | 47.6 | 57.1/-- | 45.1/-- |
| MMVU | 58.6 | 48.9 | 48.6/-- | 34.3/-- |
| Visual Agent | ||||
| ScreenSpot Pro | 59.5 | 48.5 | --/54.5 | --/46.5 |
| Medical VQA | ||||
| SLAKE | 65.9 | 61.1 | 74.4/67.5 | 62.6/59.5 |
| PMC-VQA | 48.4 | 42.4 | 48.8/54.0 | 40.4/45.5 |
| MedXpertQA-MM | 26.3 | 13.0 | 26.9/19.1 | 17.1/25.3 |
* Qwen3.5 模型的得分以思考 / 非思考形式报告。
* MathVision:我们模型的得分使用固定提示词进行评估,例如:“请逐步推理,并将最终答案写在 \boxed{} 中。” 对于其他模型,我们报告在带 \boxed{} 格式与不带 \boxed{} 格式两次运行中的较高分。
* 实验设置:对于视频评测基准,我们使用 top_p=0.95、top_k=20、presence_penalty=1.5 和 temperature=1.0。其他所有评测基准采用相同的超参数配置,但在思考模式下将 temperature 设为 0.6。在非思考模式下,推理超参数设置为 top_p=0.8、top_k=20、presence_penalty=1.5 和 temperature=0.7。
* 空单元格(--)表示得分尚未提供或不适用。
[!Important] Qwen3.5 模型同时支持非思考模式和思考模式。Qwen3.5-2B 默认以非思考模式运行。 如需启用思考模式,请参考此处的示例。
为简化集成,我们建议通过 API 使用 Qwen3.5。以下是通过 OpenAI 兼容 API 使用 Qwen3.5 的指南。
可通过主流推理框架以 API 方式部署 Qwen3.5。 下面给出为 Qwen3.5 模型启动 OpenAI 兼容 API 服务器的示例命令。
[!Important] 不同推理框架在推理效率和吞吐量方面差异较大。 建议使用最新版本的框架,以确保最佳性能和兼容性。 对于生产负载或高吞吐场景,强烈推荐使用 SGLang、KTransformers 或 vLLM 等专用服务引擎。
[!Important] 该模型的默认上下文长度为 262,144 个 token。 如果遇到内存不足(OOM)错误,请考虑缩小上下文窗口。
SGLang 是一个面向大型语言模型和视觉语言模型的高性能服务框架。 Qwen3.5 需要安装开源仓库主分支的 SGLang,可在一个全新环境中使用以下命令安装:
uv pip install 'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'更多详情请参见其文档。
以下操作将在 http://localhost:8000/v1 创建 API 端点:
标准版:以下命令可用于在 8 张 GPU 上启用张量并行,创建一个最大上下文长度为 262,144 个 token 的 API 端点。
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144工具调用:如需支持工具调用,可使用以下命令。
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --tool-call-parser qwen3_coder多 Token 预测(MTP):推荐用于 MTP 的命令如下:
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 是一款面向大语言模型的高吞吐、内存高效的推理与服务引擎。 Qwen3.5 需要使用开源仓库主分支中的 vLLM,可在一个全新环境中通过以下命令进行安装:
uv pip install vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightlySee 其文档 以了解更多详情。
如需详细的 Qwen3.5 使用指南,请参阅 vLLM Qwen3.5 使用示例。
以下操作将在 http://localhost:8000/v1 创建 API 端点:
标准版本:以下命令可用于创建最大上下文长度为 262,144 个 token 的 API 端点,并在 8 块 GPU 上使用张量并行。
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 工具调用:若要支持工具使用,可使用以下命令。
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --enable-auto-tool-choice --tool-call-parser qwen3_coder 多 Token 预测(MTP):对于 MTP,推荐以下命令:
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'仅文本:以下命令会跳过视觉编码器和多模态性能分析,从而为额外的 KV 缓存释放内存:
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --language-model-onlyKTransformers 是一个灵活的框架,可用于在 CPU-GPU 异构计算中体验前沿 LLM 推理优化。 若要通过 KTransformers 运行 Qwen3.5,请参阅 KTransformers 部署指南。
Hugging Face Transformers 内置一个 轻量级 服务器,可用于快速测试和中等负载部署。
Qwen3.5 需要最新版本的 transformers:
pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"有关更多详情,请参阅其文档。同时,请确保已安装 torchvision 和 pillow。
然后,运行 transformers serve 启动一个 API 端点位于 http://localhost:8000/v1 的服务器;如有可用加速器,它会将模型放置在加速器上:
transformers serve --force-model Qwen/Qwen3.5-2B --port 8000 --continuous-batchingChat Completions API 可通过标准 HTTP 请求或 OpenAI SDK 进行访问。 下面以 OpenAI Python SDK 为例展示用法。
开始之前,请确保已安装 SDK,并配置好 API Key 和 API Base URL,例如:
pip install -U openai
# Set the following accordingly
export OPENAI_BASE_URL="http://localhost:8000/v1"
export OPENAI_API_KEY="EMPTY"[!Tip] 生成时,建议使用以下采样参数组合:
- 文本任务的非思考模式:
temperature=1.0, top_p=1.00, top_k=20, min_p=0.0, presence_penalty=2.0, repetition_penalty=1.0- VL 任务的非思考模式:
temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0- 文本任务的思考模式:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0- VL 或精确编码(例如 WebDev)任务的思考模式:
temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0请注意,不同推理框架对采样参数的支持情况可能不同。
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{"role": "user", "content": "Give me a short introduction to large language models."},
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-2B",
messages=messages,
max_tokens=32768,
temperature=1.0,
top_p=1.0,
presence_penalty=2.0,
extra_body={
"top_k": 20,
},
)
print("Chat response:", chat_response)from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
}
},
{
"type": "text",
"text": "Where is this?"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-2B",
messages=messages,
max_tokens=32768,
temperature=0.7,
top_p=0.8,
presence_penalty=1.5,
extra_body={
"top_k": 20,
},
)
print("Chat response:", chat_response)from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "video_url",
"video_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
}
},
{
"type": "text",
"text": "Summarize the video content."
}
]
}
]
# When vLLM is launched with `--media-io-kwargs '{"video": {"num_frames": -1}}'`,
# video frame sampling can be configured via `extra_body` (e.g., by setting `fps`).
# This feature is currently supported only in vLLM.
#
# By default, `fps=2` and `do_sample_frames=True`.
# With `do_sample_frames=True`, you can customize the `fps` value to set your desired video sampling rate.
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-2B",
messages=messages,
max_tokens=32768,
temperature=0.7,
top_p=0.8,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
},
)
print("Chat response:", chat_response)[!Important] Qwen3.5 并未官方支持 Qwen3 的软切换,即
/think和/nothink。
你可以通过配置 API 参数,让模型在回复前先进行思考。 例如,
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{"role": "user", "content": "Type \"I love Qwen3.5\" backwards"},
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-2B",
messages=messages,
max_tokens=81920,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"enable_thinking": True,
},
)
print("Chat response:", chat_response)from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
}
},
{
"type": "text",
"text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-2B",
messages=messages,
max_tokens=81920,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
},
)
print("Chat response:", chat_response)[!Important] 在思考模式下,我们观察到,当使用推荐采样参数时,Qwen3.5-2B 相比其他 Qwen3.5 模型更容易进入思考循环,这可能导致其无法正常终止生成。 我们建议针对具体使用场景进一步调整采样参数,并(如支持)利用 API 的流式生成模式,以便及时检测并中断此类异常生成行为。
Qwen3.5 在工具调用能力方面表现突出。
我们推荐使用 Qwen-Agent 基于 Qwen3.5 快速构建智能体应用。
要定义可用工具,你可以使用 MCP 配置文件、使用 Qwen-Agent 的内置工具,或自行集成其他工具。
import os
from qwen_agent.agents import Assistant
# Define LLM
# Using OpenAI-compatible API endpoint. The API backend should disable response parsers.
llm_cfg = {
# Use your own model service compatible with OpenAI API by vLLM/SGLang:
'model': 'Qwen/Qwen3.5-2B',
'model_type': 'qwenvl_oai',
'model_server': 'http://localhost:8000/v1', # api_base
'api_key': 'EMPTY',
'generate_cfg': {
'use_raw_api': True,
# Pass the parameter of whether to enable thinking mode in this way
# 'extra_body': {
# 'chat_template_kwargs': {'enable_thinking': True}
# },
},
}
# Define Tools
tools = [
{'mcpServers': { # You can specify the MCP configuration file
"filesystem": {
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-filesystem", "/Users/xxxx/Desktop"]
}
}
}
]
# Define Agent
bot = Assistant(llm=llm_cfg, function_list=tools)
# Streaming generation
messages = [{'role': 'user', 'content': 'Help me organize my desktop.'}]
for responses in bot.run(messages=messages):
pass
print(responses)
# Streaming generation
messages = [{'role': 'user', 'content': 'Develop a dog website and save it on the desktop'}]
for responses in bot.run(messages=messages):
pass
print(responses)Qwen Code 是一个面向终端的开源 AI 智能体,专为 Qwen 模型优化。它可以帮助你理解大型代码库、自动处理繁琐工作,并更快交付成果。
如需更多信息,请参阅 Qwen Code。
为获得最佳性能,建议采用以下设置:
采样参数:
根据模式与任务类型,建议采用以下采样参数组合:
temperature=1.0, top_p=1.00, top_k=20, min_p=0.0, presence_penalty=2.0, repetition_penalty=1.0temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0对于支持的框架,你可以在 0 到 2 之间调整 presence_penalty 参数,以减少无限重复。不过,使用较高值偶尔可能导致语言混杂,并使模型性能略有下降。
足够的输出长度:对于大多数查询,建议使用 32,768 tokens 的输出长度。针对数学、编程竞赛等高难度问题的评测,建议将最大输出长度设为 81,920 tokens。这可为模型提供充足空间,生成详尽且全面的回答,从而提升整体性能。
标准化输出格式:在评测时,建议使用提示词规范模型输出。
answer 字段中填写选项字母,例如 "answer": "C"。”历史记录不含思考内容:在多轮对话中,历史模型输出应仅包含最终输出部分,无需包含思考内容。这一点已在所提供的 Jinja2 聊天模板中实现。但对于未直接使用 Jinja2 聊天模板的框架,需由开发者确保遵循该最佳实践。
长视频理解:为优化纯文本和图像的推理效率,已发布的 video_preprocessor_config.json 中的 size 参数采用保守配置。建议将 video_preprocessor_config 文件中的 longest_edge 参数设置为 469,762,048(对应 224k 视频 tokens),以支持对小时级视频进行更高帧率采样,从而获得更优性能。例如,
{"longest_edge": 469762048, "shortest_edge": 4096}如果您觉得我们的工作有所帮助,欢迎引用我们的成果。
@misc{qwen3.5,
title = {{Qwen3.5}: Towards Native Multimodal Agents},
author = {{Qwen Team}},
month = {February},
year = {2026},
url = {https://qwen.ai/blog?id=qwen3.5}
}