Y
YYPGD/enformer
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

enformer 昇腾NPU适配

1. 模型简介

enformer 是 Multimolecule 项目发布的 Enformer 模型 PyTorch 复现(HF),源自 Google DeepMind 的 Enformer 架构。它以"卷积 stem + 膨胀卷积 tower + Transformer trunk(相对位置编码含预计算 gamma 基)+ 中心裁剪尾部"对长达 196608 bp 的人类 DNA 序列建模,输出 896 个 bin(每 bin 对应 128 bp)× 5313 条基因组调控轨迹(ENCODE/FANTOM5/GTEx) 的回归预测,可应用于基因表达、染色质可及性、转录因子结合等调控信号预测与变异效应评估等任务。

项值
参数量~244M(hidden_size=1536,权重约 989MB)
架构EnformerForTokenPrediction(stem + conv tower + 11 层注意力 Transformer + 中心裁剪 tail + 回归头)
输入长度训练全长 196608 bp(预计算 gamma 基要求输入恰为该长度)
输出(1, 896, 5313) 回归值(problem_type=regression,softplus 输出)
任务类型序列 token 级回归预测(生物信息/基因组调控轨迹预测)

2. 环境依赖

依赖版本说明
Python3.10+推荐 3.11
torch>=2.0CPU/NPU 均可
torch_npu与 CANN 配套昇腾NPU支持
multimolecule==0.2.1含 DnaTokenizer 与 Enformer 实现
transformers==5.15.1multimolecule 上游依赖(5.x 系列)
numpy / matplotlib / safetensors-数据处理与绘图

依赖安装到独立目录(不污染共享环境):

pip install --target /mnt/workspace/enformer/libs \
    -i https://pypi.tuna.tsinghua.edu.cn/simple \
    "multimolecule==0.2.1" "transformers==5.15.1" safetensors numpy matplotlib

模型权重:/home/developer/models/enformer

3. 推理步骤

3.1 环境准备

确认权重与依赖就位后,脚本会自动将 /mnt/workspace/enformer/libs 与仓库目录加入 PYTHONPATH,无需手动设置。可用 npu-smi info 检查 NPU 设备状态。

3.2 运行推理

python3 inference.py --model_path /home/developer/models/enformer

脚本内置合成 DNA 示例序列(随机 ACGT,196608 bp),只传 --model_path 即可跑通;权重仅从本地路径离线加载;设备自动选择(优先 NPU,不可用回退 CUDA/CPU),执行基因组调控轨迹回归推理并打印耗时(耗时/elapsed 字段),结果图保存至 assets/model_result.png。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/enformer模型权重目录
--seq_lenint196608输入序列长度 bp(该权重启用预计算 gamma 基,必须恰为 196608)
--devicestr自动 (npu > cuda > cpu)指定推理设备
--outputstrassets/model_result.png结果图保存路径

4. 测试样例及输出结果

输入为内置合成的随机 ACGT 序列(seed=42,196608 bp),经 DnaTokenizer 编码后做 896 bin × 5313 track 的调控轨迹回归预测。NPU 实测输出示例:

[INFO] device = npu
[INFO] model_path = /home/developer/models/enformer
[INFO] 模型加载完成 load_time=...
[INFO] 推理完成 耗时/elapsed=...s (seq_len=196608, device=npu)
[INFO] 输入形状: (1, 196608), 输出形状: (1, 896, 5313) (896 个 128bp 覆盖 bin × 5313 条基因组覆盖轨迹)
[INFO] 预测统计: min=..., max=..., mean=...
[RESULT] status=ok device=npu 耗时/elapsed=...s

结果截图见 assets/model_result.png。

5. Agent适配截图

5.1 Agent适配全过程截图

见 assets/agent_workflow.png。

5.2 NPU设备调用截图

见 assets/npu_device_call.png。

5.3 模型适配结果截图

见 assets/model_result.png。

6. 注意事项

  • 设备自动选择顺序为 NPU → CUDA → CPU,NPU 不可用时自动回退,保证脚本可移植;
  • 输入张量必须 float32(NPU 不支持 float64 算子),脚本已强制转换;
  • 注意力使用原生 eager/sdpa 实现(Enformer 相对位置编码),勿启用 flash_attention_2;
  • 输入长度约束:该 checkpoint 启用 use_precomputed_gamma_basis=True(预计算 gamma 位置基仅定义于下采样后的 1536 bin),因此输入必须恰为 196608 bp;传入其他长度时脚本会自动纠正为 196608;
  • 该权重是带任务头的 EnformerForTokenPrediction,forward 返回 (batch, 896, 5313) softplus 后的调控信号预测值;
  • transformers 需 5.x(multimolecule==0.2.1 依赖 5.x API),与系统预装 4.49 不兼容,务必走 libs 隔离目录且 PYTHONPATH 优先;
  • 共享环境的 torchaudio 与 torch ABI 不匹配,会导致 transformers 5.x 误导入失败;脚本已内置 stub 兜底(在 libs 下生成空 torchaudio 模块),不影响推理;
  • 依赖通过 pip install --target 隔离安装到 /mnt/workspace/enformer/libs,勿直接装入共享环境。