一个小型的约1.1亿参数语言模型，采用DeepSeek-V4架构，针对对话/指令遵循任务进行了微调。该模型从零开始训练——未使用DeepSeek-V4的任何权重。
本模型以微型规模实现了DeepSeek-V4的关键创新：
| 组件 | 详情 |
|---|---|
| 参数规模 | 总计约1.1亿（4100万嵌入参数，6900万非嵌入参数） |
| 隐藏层维度 | 320 |
| 网络层数 | 8 |
| 注意力头数 | 8（1个键值头——MQA架构） |
| MLA | 多头潜在注意力，q_lora_rank=160 |
| MoE | 4个路由专家 + 1个共享专家，top-2路由 |
| 超连接（Hyper-Connections） | hc_mult=4，Sinkhorn路由（替代残差连接） |
| MTP | 1个下一个token预测层 |
| 词汇表 | 129,280（DeepSeek-V4分词器） |
| 上下文长度 | 2,048 tokens |
-** 数据集 ：HuggingFaceTB/smol-smoltalk（46万对话） - 步数 ：3,000 | tokens量 ：约7270万 - 批次大小 ：32（有效，8 × 4 GA）| 序列长度 ：2,048 - 学习率 ：2e-5，余弦衰减，5%预热 - 精度 **：fp32
| 指标 | 预训练模型 | 监督微调模型 |
|---|---|---|
| ** 评估损失 ** | — | 2.607 |
| ** 困惑度 **（留出集） | 13.62 | 12.90 |
| ** Token准确率 ** | 33.8% | 48.5% |
import torch
from safetensors.torch import load_file
from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer
from huggingface_hub import hf_hub_download
# Load model (recommended: manual load for reliability)
config = AutoConfig.from_pretrained("HuggingFaceTB/nanowhale-100m", trust_remote_code=True)
model = AutoModelForCausalLM.from_config(config, trust_remote_code=True).float()
# Download and load weights
weights_path = hf_hub_download("HuggingFaceTB/nanowhale-100m", "model.safetensors")
state_dict = load_file(weights_path)
model.load_state_dict(state_dict, strict=True)
model = model.cuda().eval()
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/nanowhale-100m")
# Chat
messages = [{"role": "user", "content": "What are 3 benefits of exercise?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
input_ids = tokenizer.encode(prompt, return_tensors="pt").cuda()
output = model.generate(input_ids, max_new_tokens=200, temperature=0.7, top_p=0.9,
pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0][input_ids.shape[1]:], skip_special_tokens=True))trust_remote_code=True。在1× NVIDIA H100 80GB上完成训练。
Apache-2.0