Ling-3.0-tiny-base:可用于继续预训练、中期训练、领域微调、偏好优化、蒸馏研究及长上下文与 MoE 系统研究。项目提供小型基座大模型训练阶段检查点，采用稀疏 MoE 与原生混合线性注意力，单 token 仅激活约 5.1B 参数，便于验证与扩展训练策略。【此简介由AI生成】

HuggingFace镜像/Ling-3.0-tiny-base

Ling-3.0-tiny-base:可用于继续预训练、中期训练、领域微调、偏好优化、蒸馏研究及长上下文与 MoE 系统研究。项目提供小型基座大模型训练阶段检查点，采用稀疏 MoE 与原生混合线性注意力，单 token 仅激活约 5.1B 参数，便于验证与扩展训练策略。【此简介由AI生成】 - AtomGit AI社区

🤗 Hugging Face | 🤖 ModelScope | 🐙 OpenRouter

简介

我们已开源 Ling-3.0 系列，这是我们迄今最高效的语言基础模型家族。为支持科研与社区驱动的创新，我们将发布训练过程中的一组检查点，如下所示：

模型	预训练	中期训练	合并（即 WSM）
Ling-3.0-tiny	Ling-3.0-tiny-base-30T	Ling-3.0-tiny-base-midtrain	Ling-3.0-tiny-base
Ling-3.0-flash	Ling-3.0-flash-base-30T	Ling-3.0-flash-base-midtrain	Ling-3.0-flash-base

这些检查点对应训练流程的不同阶段：

预训练检查点已完成大规模预训练，但尚未进行中期训练、WSM 合并（或学习率衰减）或后训练。
中期训练检查点已完成中期训练，但尚未进行 WSM 合并（或学习率衰减）或后训练。
合并检查点基于中期训练检查点完成了 WSM 合并（或学习率衰减），但尚未进行后训练。

这些检查点旨在支持持续预训练、微调以及进一步研究。如需查看后训练模型，请参考 Ling-3.0-tiny 和 Ling-3.0-flash。

模型概览

核心特性

高度稀疏（1/64）MoE 架构：共 512 个路由专家，每个 token 仅激活 8 个路由专家和 1 个共享专家。该架构在保持广泛模型能力的同时，每个 token 仅激活 5.1B（Non-emb）参数；
原生混合线性注意力：Ling-3.0 系列从预训练初始阶段便采用原生混合线性注意力架构，通过结合 KDA 与 Gated MLA，以实现对长上下文输入的高效处理。
Warmup-Stable and Merge：我们以加权检查点合并替代常规学习率衰减。通过消除衰减阶段，我们的 Base 模型更适合持续预训练和动态数据扩展，同时支持离线探索不同的衰减调度，而无需为每种策略重新运行高成本实验。
无缝扩展：Ling-3.0-tiny-base 和 Ling-3.0-flash-base 共享同一套训练方案，便于社区先在 Ling-3.0-tiny-base 上开展实验，再将经过验证的训练策略扩展至规模更大的 Ling-3.0-flash-base。

模型属性	Base（WSM 合并的最终检查点）
架构	混合线性 MoE
参数规模	总计 7.9B，激活 1.3B
Transformer 层数	18 KDA + 6 Gated MLA (3:1)
稠密层数量	1
路由专家数量	128
共享专家数量	1
激活专家数量	8
注意力头数	16
隐藏层维度	1536
专家中间层维度	512
稠密中间层维度	4608
词表大小	157,184

基座模型评测

为系统评估基座模型的各项能力，我们采用自建的综合性基准测试套件，覆盖知识、编码、数学、推理、多语言理解与长上下文理解等多个关键领域。预训练基座检查点（即 Ling-3.0-tiny-base）的评测结果对比如下：

.benchmark-table { border-collapse: collapse; margin: 0 auto; } .benchmark-table th, .benchmark-table td { padding: 0.55rem 0.8rem; text-align: center !important; vertical-align: middle; } .benchmark-table .ling { background-color: #e7f6ff; } .benchmark-table thead .ling { color: #1677ff; } .benchmark-table thead tr:first-child .ling { border-radius: 28px 28px 0 0; } .benchmark-table tbody tr:last-child .ling { border-radius: 0 0 28px 28px; } .benchmark-table .section-start > * { border-top: 2px solid #d0d7de; } .benchmark-table ins { text-decoration-thickness: 1px; text-underline-offset: 0.12em; } .benchmark-table .table-footnote { padding-top: 0.85rem; text-align: left !important; color: #57606a; font-size: 0.9em; }

领域	基准测试	样例数配置	Ling-3.0-tiny-base	Ling-2.5-mini-base	Qwen3.5-9B-base	Qwen3.5-4B-base
领域	基准测试	样例数配置	7.9B A1.3B	16B A1.4B	9B	4B
知识	CCPM_(EM)	0-shot	84.01	80.77	88.31	81.88
	ARC-C_(EM)	0-shot	92.20	91.19	94.58	92.20
	AGIEval_(Acc)	0-shot	64.49	63.38	66.17	61.45
	SimpleQA-Verified_(Acc)	5-shot	7.20	7.10	10.40	6.40
	MMLU-Pro_(EM)	5-shot	51.83	49.89	57.76	52.06
	CEval_(EM)	5-shot	80.59	80.16	81.52	76.67
代码	HumanEval-Plus_(Pass@1)	0-shot	79.27	76.22	52.44	49.39
	CruxEval_(Pass@1)	1-shot	67.44	63.19	68.12	64.31
	MultiPL-E_(Pass@1)	1-shot	64.38	64.34	52.89	45.47
	LiveCodeBench¹_(Pass@1)	1-shot	24.23	22.91	18.06	13.88
	BigCodeBench_(Pass@1)	0-shot	42.89	42.54	29.39	24.39
	FullStackBench_(Pass@1)	3-shot	39.48	38.59	37.23	33.14
	LCBench²_(Pass@1)	3-shot	41.59	46.16	33.47	19.46
数学	MATH500_(Acc)	4-shot	65.60	68.40	55.20	49.60
	OlympiadBench_(Acc)	3-shot	25.90	24.10	21.84	17.02
	TheoremQA_(Acc)	5-shot	51.64	50.68	52.88	47.40
	OmniMath_(Acc)	3-shot	29.70	29.02	22.99	20.89
推理	CommonSenseQA_(EM)	5-shot	83.46	81.16	83.62	80.18
推理	BBH_(EM)	3-shot	80.64	77.37	84.52	80.11
长上下文	LongBench_(Acc)	0-shot	43.85	29.93	51.87	39.96
长上下文	LEval_(Acc)	0-shot	68.37	62.72	77.24	63.09
注： ¹ LiveCodeBench (2408-2505) ² LCBench (2301-2502)

预期用途

推荐用例：

继续预训练
中期训练
面向领域适配的监督微调
偏好优化、RL 后训练与蒸馏研究
长上下文与 MoE 系统研究

不建议直接用于：

直接面向终端用户的聊天部署
未进行额外对齐与评估的安全关键应用
未进行后训练与任务特定验证的生产使用

使用

有关微调示例，请参阅我们的 ling-cookbook。

常见问题

如有任何问题，欢迎随时发起讨论。

许可证

该模型基于 MIT License 发布。