chandra-ocr-2 是 Datalab 推出的第二代文档 OCR 模型,将图像或 PDF 页面直接转换为保留版面布局的 Markdown / HTML / JSON,覆盖表格、公式、表单、图表、手写体与 90+ 语言的识别。其底层为 Qwen3.5-VL 混合线性注意力架构(Qwen3_5ForConditionalGeneration,约 5.3B 参数),在官方 olmOCR 基准上取得 85.8% 的整体得分。
本仓库基于官方权重在 昇腾 Ascend NPU 上完成部署适配,采用 vLLM-Ascend 服务化推理形态对外提供 OpenAI 兼容接口。
| 属性 | 值 |
|---|---|
| 架构 | Qwen3.5-VL(VLM,视觉编码器 + 语言骨干) |
| 语言骨干 | hidden=2560 / 32 层 / GQA(16 头,4 KV 头) |
| 注意力形态 | GatedDeltaNet 线性注意力与 full attention 按 3:1 交错 |
| 视觉编码器 | ViT depth=24 / hidden=1024 / patch=16 / merge=2 |
| 词表 / 上下文 | vocab=248320 / max_pos=262144 |
| MTP | checkpoint 含 1 层(默认不启用) |
| 权重 | model.safetensors(10,591,220,088 字节,739 张量,bf16) |
| 部署形态 | vLLM-Ascend 0.18.0 · OpenAI 兼容 /v1/chat/completions |
| License | OpenRAIL(modified) |
| 项 | 配置 |
|---|---|
| 服务器 | Atlas 800I A2(Ascend910B_9362) |
| NPU | 2 x 64GB HBM(实测部署于 chip 12,NPU0) |
| OS / Python | Linux 5.10(aarch64)/ Python 3.11.14 |
| CANN | 8.5.1 |
| PyTorch / torch-npu | 2.9.0 / 2.9.0.post1 |
| vLLM / vllm-ascend | 0.18.0 / 0.18.0 |
| transformers | 4.57.6(需注入 qwen3_5 注册补丁,见注意事项) |
# 从 GitCode 镜像拉取(含 10.6GB 单文件权重与 config/tokenizer)
git lfs clone https://ai.gitcode.com/hf_mirrors/datalab-to/chandra-ocr-2 /opt/atomgit/chandra-ocr-2
# 或逐文件下载:<mirror>/resolve/main/{config.json,tokenizer.json,model.safetensors,...}cd /opt/atomgit/chandra-ocr-2
export PYTHONPATH=/opt/atomgit/chandra-ocr-2/adapt:${PYTHONPATH} # 关键:qwen3_5 适配补丁
export ASCEND_RT_VISIBLE_DEVICES=0
export VLLM_USE_V1=1
python3 -m vllm.entrypoints.openai.api_server \
--model /opt/atomgit/chandra-ocr-2 \
--port 8100 --dtype bfloat16 \
--max-model-len 18000 --max-num-seqs 16 --max-num-batched-tokens 8192 \
--gpu-memory-utilization 0.85 --enable-prefix-caching \
--mm-processor-kwargs '{"min_pixels": 3136, "max_pixels": 6291456}' \
--served-model-name chandra-ocr-2 --trust-remote-code日志出现 Application startup complete. 即就绪。
# 就绪检查
curl -sf http://127.0.0.1:8100/v1/models
# {"object":"list","data":[{"id":"chandra-ocr-2","max_model_len":18000,...}]}
# 文本推理
curl -s http://127.0.0.1:8100/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"model":"chandra-ocr-2","messages":[{"role":"user","content":"hi"}],"temperature":0,"max_tokens":16}'
# 多模态 OCR 推理
python3 inference.py --image assets/test_document.png实测一次发票图片 OCR(1400x1900)输出布局感知 HTML:prompt_tokens=3188 / completion_tokens=988,耗时 64.56s,返回表格、标题、data-bbox 版面数据框完整。
以下为本次适配在单卡 Ascend910B(64GB HBM)上的实测数据。
| 指标 | 数值 |
|---|---|
| 权重加载后进程显存 | 约 53 GB(VLLMEngineCore) |
| 空闲 HBM | 55.7 GB / 65.5 GB |
| KV cache | 42.42 GiB(343,040 tokens) |
| 单页 OCR 延迟 | 64.56s(含首轮图编译预热) |
| decode 阶段 AICore | 约 30-35% |
| 推理功率 | 约 208-218 W |
| 推理期间 HBM 峰值 | 56.2 GB / 65.5 GB |
官方在单张 H100-80GB 上的 vLLM 参考吞吐为 1.44 pages/s(96 并发);本适配为单卡部署,侧重正确性与稳定性验证,并发吞吐可按需调高
--max-num-seqs复测。
定性验证(本次 smoke):
<table><thead>…#/Item/Qty/Unit Price/Total 三行明细、colspan 语义正确;<div data-bbox="x0 y0 x1 y1" data-label="..."> 标记,Section-Header / Table / Text 标签与图像内容对应;量化参考(来自官方 model card,供对照):
已知轻微缺陷:合成测试图中货币符号 $ 偶有丢失(如 $1,685.00 读出 ,685.00),与低分辨率合成字体相关,不影响真实扫描件质量。
transformers_version: 5.2.0,而环境 transformers 4.57.6 无法识别 model_type: qwen3_5,Qwen3VLProcessor.from_pretrained 会抛异常导致无法起服。必须通过 adapt/patch_transformers_qwen35.py(sitecustomize 注入,注册 qwen3_5 配置与 Qwen3VL 视频处理器映射)解决,不要直接升级 transformers 以免破坏 vLLM 依赖。model.safetensors 10.6GB,请确认磁盘空间充足;从镜像下载注意接口限流,必要时加重试与间隔。--mm-processor-kwargs 限制图片像素范围(min 3136 / max 6291456),可降低显存与首 token 延迟;如处理超长文档可放宽 max_pixels。ASCEND_RT_VISIBLE_DEVICES 指定;多任务部署时避免与其他进程争用同一设备。