L
Lumiire/chandra-ocr-2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

chandra-ocr-2(昇腾 NPU 适配部署版)

一、简介

chandra-ocr-2 是 Datalab 推出的第二代文档 OCR 模型,将图像或 PDF 页面直接转换为保留版面布局的 Markdown / HTML / JSON,覆盖表格、公式、表单、图表、手写体与 90+ 语言的识别。其底层为 Qwen3.5-VL 混合线性注意力架构(Qwen3_5ForConditionalGeneration,约 5.3B 参数),在官方 olmOCR 基准上取得 85.8% 的整体得分。

本仓库基于官方权重在 昇腾 Ascend NPU 上完成部署适配,采用 vLLM-Ascend 服务化推理形态对外提供 OpenAI 兼容接口。

属性值
架构Qwen3.5-VL(VLM,视觉编码器 + 语言骨干)
语言骨干hidden=2560 / 32 层 / GQA(16 头,4 KV 头)
注意力形态GatedDeltaNet 线性注意力与 full attention 按 3:1 交错
视觉编码器ViT depth=24 / hidden=1024 / patch=16 / merge=2
词表 / 上下文vocab=248320 / max_pos=262144
MTPcheckpoint 含 1 层(默认不启用)
权重model.safetensors(10,591,220,088 字节,739 张量,bf16)
部署形态vLLM-Ascend 0.18.0 · OpenAI 兼容 /v1/chat/completions
LicenseOpenRAIL(modified)

二、验证环境

项配置
服务器Atlas 800I A2(Ascend910B_9362)
NPU2 x 64GB HBM(实测部署于 chip 12,NPU0)
OS / PythonLinux 5.10(aarch64)/ Python 3.11.14
CANN8.5.1
PyTorch / torch-npu2.9.0 / 2.9.0.post1
vLLM / vllm-ascend0.18.0 / 0.18.0
transformers4.57.6(需注入 qwen3_5 注册补丁,见注意事项)

三、服务启动

3.1 权重准备

# 从 GitCode 镜像拉取(含 10.6GB 单文件权重与 config/tokenizer)
git lfs clone https://ai.gitcode.com/hf_mirrors/datalab-to/chandra-ocr-2 /opt/atomgit/chandra-ocr-2
# 或逐文件下载:<mirror>/resolve/main/{config.json,tokenizer.json,model.safetensors,...}

3.2 启动命令

cd /opt/atomgit/chandra-ocr-2
export PYTHONPATH=/opt/atomgit/chandra-ocr-2/adapt:${PYTHONPATH}   # 关键:qwen3_5 适配补丁
export ASCEND_RT_VISIBLE_DEVICES=0
export VLLM_USE_V1=1

python3 -m vllm.entrypoints.openai.api_server \
  --model /opt/atomgit/chandra-ocr-2 \
  --port 8100 --dtype bfloat16 \
  --max-model-len 18000 --max-num-seqs 16 --max-num-batched-tokens 8192 \
  --gpu-memory-utilization 0.85 --enable-prefix-caching \
  --mm-processor-kwargs '{"min_pixels": 3136, "max_pixels": 6291456}' \
  --served-model-name chandra-ocr-2 --trust-remote-code

日志出现 Application startup complete. 即就绪。

四、Smoke 验证

# 就绪检查
curl -sf http://127.0.0.1:8100/v1/models
# {"object":"list","data":[{"id":"chandra-ocr-2","max_model_len":18000,...}]}

# 文本推理
curl -s http://127.0.0.1:8100/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"model":"chandra-ocr-2","messages":[{"role":"user","content":"hi"}],"temperature":0,"max_tokens":16}'

# 多模态 OCR 推理
python3 inference.py --image assets/test_document.png

实测一次发票图片 OCR(1400x1900)输出布局感知 HTML:prompt_tokens=3188 / completion_tokens=988,耗时 64.56s,返回表格、标题、data-bbox 版面数据框完整。

五、性能参考

以下为本次适配在单卡 Ascend910B(64GB HBM)上的实测数据。

指标数值
权重加载后进程显存约 53 GB(VLLMEngineCore)
空闲 HBM55.7 GB / 65.5 GB
KV cache42.42 GiB(343,040 tokens)
单页 OCR 延迟64.56s(含首轮图编译预热)
decode 阶段 AICore约 30-35%
推理功率约 208-218 W
推理期间 HBM 峰值56.2 GB / 65.5 GB

官方在单张 H100-80GB 上的 vLLM 参考吞吐为 1.44 pages/s(96 并发);本适配为单卡部署,侧重正确性与稳定性验证,并发吞吐可按需调高 --max-num-seqs 复测。

六、精度测评

定性验证(本次 smoke):

  • 表格结构完整还原:<table><thead>…#/Item/Qty/Unit Price/Total 三行明细、colspan 语义正确;
  • 版面布局还原:每个文本块以 <div data-bbox="x0 y0 x1 y1" data-label="..."> 标记,Section-Header / Table / Text 标签与图像内容对应;
  • 语义准确:公司名、发票号、日期、地址、付款条款均逐字还原,无乱码。

量化参考(来自官方 model card,供对照):

  • olmOCR 基准整体 85.8%(ArXiv 86.9 / Tables 92.1 / Long tiny text 93.7);
  • 43 语种多语言基准平均 77.8%(中文 88.7 / 日文 86.9 / 德文 94.8)。

已知轻微缺陷:合成测试图中货币符号 $ 偶有丢失(如 $1,685.00 读出 ,685.00),与低分辨率合成字体相关,不影响真实扫描件质量。

七、注意事项

  1. transformers 版本不匹配(关键):checkpoint 声明 transformers_version: 5.2.0,而环境 transformers 4.57.6 无法识别 model_type: qwen3_5,Qwen3VLProcessor.from_pretrained 会抛异常导致无法起服。必须通过 adapt/patch_transformers_qwen35.py(sitecustomize 注入,注册 qwen3_5 配置与 Qwen3VL 视频处理器映射)解决,不要直接升级 transformers 以免破坏 vLLM 依赖。
  2. 权重为单文件:model.safetensors 10.6GB,请确认磁盘空间充足;从镜像下载注意接口限流,必要时加重试与间隔。
  3. MM 处理器参数:--mm-processor-kwargs 限制图片像素范围(min 3136 / max 6291456),可降低显存与首 token 延迟;如处理超长文档可放宽 max_pixels。
  4. MTP:checkpoint 含 MTP 权重但官方默认不启用(vLLM 下不稳定),本次未开启。
  5. 多卡隔离:NPU 设备通过 ASCEND_RT_VISIBLE_DEVICES 指定;多任务部署时避免与其他进程争用同一设备。
  6. License:模型权重使用 OpenRAIL 修改版,研究/个人使用免费,注意与 Datalab API 的竞争性商用限制。