Y
YYPGD/LFM2.5-VL-450M
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

LFM2.5-VL-450M 昇腾NPU部署文档

1. 模型简介

模型名称: LFM2.5-VL-450M(LiquidAI/LFM2.5-VL-450M) 模型链接: https://ai.gitcode.com/hf_mirrors/LiquidAI/LFM2.5-VL-450M 模型描述: LFM2.5-VL-450M 是 LiquidAI 发布的轻量级多模态视觉语言模型(VLM),支持图像理解与文本对话联合推理,可完成图像描述、视觉问答、图表/文档解析等任务,适合端侧与边缘设备部署。 模型架构: Lfm2VlForConditionalGeneration 三段式结构——SigLIP-B16 视觉编码器 + 像素重排下采样(downsample_factor=2)+ MLP projector + LFM2.5 混合架构语言模型(conv 与 full_attention 层交替,block_dim=1024)。 参数规模: 约 450M(model.safetensors 约 0.9GB),最大图像 token 数 256,最多 10 tiles 切图。

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch / torch_npu2.1.0+NPU 上需安装 torch_npu
transformers>= 4.57Lfm2VlForConditionalGeneration / AutoProcessor 加载
accelerate随 transformers 安装权重加载加速
pillow任意较新版本图像读取与内置示例图生成
昇腾驱动CANN 8.0.RC2+推荐最新版

安装命令:

pip install --target /mnt/workspace/LFM2.5-VL-450M/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers>=4.57" accelerate pillow

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位
ls /home/developer/models/LFM2.5-VL-450M/   # config.json model.safetensors tokenizer.json processor_config.json ...

3.2 运行推理

PYTHONPATH=/mnt/workspace/LFM2.5-VL-450M/libs python3 inference.py --model_path /home/developer/models/LFM2.5-VL-450M

脚本自动选择设备(npu > cuda > cpu),不传图片时使用内置合成的示例图(红矩形/蓝圆形/绿条形图案)进行图文问答。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/LFM2.5-VL-450M本地权重目录
--devicestr自动(npu > cuda > cpu)推理设备
--imagestr内置合成示例图输入图片路径
--promptstrDescribe this image briefly.提问文本
--max_new_tokensint64最大新生成 token 数

4. 测试样例及输出结果

样例 1:内置示例图文问答

输入:

python3 inference.py --model_path /home/developer/models/LFM2.5-VL-450M
# 提问: Describe this image briefly.
# 图像: 内置合成图(白底红色矩形 + 蓝色圆形 + 绿色长条)

输出:

[INFO] device = npu
[INFO] 模型加载完成 load_time=xx.xxs
[INFO] 模型回答: The image shows a red square, a blue circle, and a green rectangle on a white background.
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs

样例 2:自定义图片提问

输入:

python3 inference.py --model_path /home/developer/models/LFM2.5-VL-450M \
    --image ./assets/sample_input.png --prompt "这张图片里有哪些形状和颜色?"

输出:

[INFO] device = npu
[INFO] 模型回答: 图片中有红色的正方形、蓝色的圆形和绿色的长方形。
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs

(实际运行结果截图见 assets/model_result.png)

5. Agent适配截图

5.1 Agent适配全过程截图

Agent适配全过程

5.2 NPU设备调用截图

NPU设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

  1. 权重不入库:权重统一放在 /home/developer/models/LFM2.5-VL-450M/,仓库内 .gitignore 已排除 *.safetensors 等大文件;
  2. 依赖隔离:第三方依赖安装到 /mnt/workspace/LFM2.5-VL-450M/libs(pip install --target),通过 PYTHONPATH 叠加使用,勿污染共享环境;transformers 需 >= 4.57 才包含 lfm2_vl 架构;
  3. float32 计算:NPU 不支持 float64 算子,脚本以 torch_dtype=torch.float32 加载模型(原生 bf16 权重会自动上转型转),注意力实现优先 sdpa、失败时回退 eager,未使用 flash_attention_2;
  4. 离线运行:脚本设置 HF_HUB_OFFLINE=1 且 from_pretrained(..., local_files_only=True),仅从本地路径加载,推理过程不联网;
  5. 显存占用:450M 参数 float32 约 1.8GB 显存 + 激活,最小 NPU 卡即可运行;图像默认会被切分为多个 tiles 编码,max_image_tokens=256 限制视觉 token 上限。