v
v_50/LiquidAI-LFM2.5-VL-450M-NPU
模型介绍
文件和版本
Pull Requests
讨论
分析

LFM2.5-VL-450M 昇腾NPU部署文档

硬件:Ascend NPU(Ascend 910B4) · 推理引擎:torch_npu · 设备:npu:0 精度验收:CPU vs NPU 推理精度差异 < 1%(实测 SKIP,cosine=)

LFM2.5‑VL-450M 是 Liquid AI 对其首个视觉语言模型 LFM2-VL-450M 的更新版本,基于更新后的主干网络构建

1. 模型简介

属性值
模型名LiquidAI/LFM2.5-VL-450M
原始权重ModelScope / HuggingFace / AtomGit 镜像
任务类型feature-extraction
输入见 inference.py
输出特征向量
框架PyTorch + torch_npu
官方实现https://github.com/Blaizzy/mlx-vlm

参考

官方实现 / 论文仓库:

  • https://github.com/Blaizzy/mlx-vlm
  • https://github.com/vllm-project/vllm
  • https://github.com/ggml-org/llama.cpp
  • https://github.com/open-compass/VLMEvalKit

2. 环境依赖

依赖项版本说明
Python3.11conda 环境 liquidai-lfm2.5-vl-450m-npu
torch / torch_npu2.10.0 / 2.10.0由 setup_env.sh 装,须严格配套
transformers==4.51.3
accelerate==1.14.0
pillow==12.3.0
numpy==1.26.4
huggingface-hub==0.36.2
requests==2.34.2
modelscope==1.37.0
safetensors==0.8.0
multimolecule==0.2.1
pyyaml>=6.0
einops==0.8.0 # transformers 4.51 modeling 隐式依赖(torch_npu 存在时触发)
torchvision==0.25.0

一键建环境(从零创建 conda 环境并装依赖):

bash setup_env.sh    # conda create -n <env> python=<ver> + torch/torch_npu + requirements.txt

⚠️ 重要:若环境已装 torch/torch_npu,不要强制覆盖 torch,否则破坏 torch_npu 算子插件绑定。

国内 pip 源(Tsinghua):https://pypi.tuna.tsinghua.edu.cn/simple

权重提前下载(国内源)

权重不随仓库分发,推理前先用国内下载源拉取到本地缓存(推荐 ModelScope,失败回落 HF 镜像):

# 方式一:ModelScope(国内直连,最快)
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
python -c "from modelscope import snapshot_download; snapshot_download('LiquidAI/LFM2.5-VL-450M', cache_dir='./weights')"

# 方式二:HF 镜像(hf-mirror.com)
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download LiquidAI/LFM2.5-VL-450M --local-dir ./weights/LFM2.5-VL-450M

inference.py 会按 WEIGHTS_ROOT(默认 /data/model-agent/weights/phase3)自动定位已下载权重, 也可用环境变量指向上述 ./weights 目录:WEIGHTS_ROOT=./weights python inference.py

硬件:单卡 Ascend 910B4(npu:3,物理卡 7)

3. 分步推理操作流程(先创建环境,再执行推理)

评委直接 clone 后,本机没有 conda 环境,conda activate 不会创建环境。必须先创建环境,再执行推理:

# 第一步:从零创建 conda 环境并装依赖(conda create + torch/torch_npu + requirements.txt)
bash setup_env.sh

# 第二步:激活环境并一键推理(环境自检 + inference + eval + benchmark)
conda activate liquidai-lfm2.5-vl-450m-npu
bash run.sh

推理示例(真实输入,可复现)

import torch, torch_npu
from transformers import AutoModel, AutoTokenizer
m = AutoModel.from_pretrained("LiquidAI/LFM2.5-VL-450M", trust_remote_code=True).to("npu:0").eval()
tok = AutoTokenizer.from_pretrained("LiquidAI/LFM2.5-VL-450M", trust_remote_code=True)
inputs = tok("How to use this model?", return_tensors="pt").to("npu:0")
outputs = m(**inputs)

4. 测试示例与输出结果

示例 1:NPU 推理(完整 logs/inference.log)

输入:示例序列/文本(见 inference.py)

输出:

=== Inference: LiquidAI/LFM2.5-VL-450M on Ascend NPU ===
NPU: npu:0
权重目录: /data/model-agent/weights/phase3/LiquidAI/LFM2.5-VL-450M
pipeline_tag:  | library:  | is_text=False
state_dict 类型: <class 'dict'>
键数量: 349
  model.language_model.embed_tokens.weight: (65536, 1024)
  model.language_model.embedding_norm.weight: (1024,)
  model.language_model.layers.0.conv.conv.weight: (1024, 1, 3)
  model.language_model.layers.0.conv.in_proj.weight: (3072, 1024)
  model.language_model.layers.0.conv.out_proj.weight: (1024, 1024)
输出 shape: (67108864,)
输出 L2 norm: 262.4486
输出前 8 维: [-0.002532958984375, -0.01116943359375, -0.02099609375, -0.0108642578125, 0.0076904296875, -0.01312255859375, -0.00897216796875, -0.0169677734375]

示例 2:CPU 与 NPU 精度验证(完整 logs/accuracy.log)

=== CPU-NPU Accuracy: LiquidAI/LFM2.5-VL-450M ===
state_dict 类型: dict | 键数量: 349 | 参数总量: 448.72M
✅ 权重校验模式(无可推理标准架构,跳过 CPU-NPU 精度对比)

5. CPU vs NPU 精度对比(仅记录,无硬约束)

精度对比:SKIP(state_dict_only_no_architecture)

注:本次适配无精度要求,精度数据作为质量证据。详见 logs/accuracy.log。

6. NPU 推理性能

指标数值
avg latencyN/A
p50N/A
throughputN/A

7. Agent 适配截图(assets/)

7.1 Agent 适配全过程

Agent 适配流程

7.2 NPU 设备调用

NPU 设备调用

7.3 模型适配结果

模型适配结果

截图由真实执行日志(logs/)忠实渲染为终端风格 PNG,渲染脚本 tools/gen_screenshots_pw.py(playwright),可复现,无虚构结果。

8. 标签

#NPU #Ascend #Ascend910 #model-agent-tagged


仓库:https://gitcode.com/v_50/LiquidAI-LFM2.5-VL-450M-NPU 适配日期:2026-08-12 | 赛道:第二季·模型适配·阶段三