enformer 是 Multimolecule 项目发布的 Enformer 模型 PyTorch 复现(HF),源自 Google DeepMind 的 Enformer 架构。它以"卷积 stem + 膨胀卷积 tower + Transformer trunk(相对位置编码含预计算 gamma 基)+ 中心裁剪尾部"对长达 196608 bp 的人类 DNA 序列建模,输出 896 个 bin(每 bin 对应 128 bp)× 5313 条基因组调控轨迹(ENCODE/FANTOM5/GTEx) 的回归预测,可应用于基因表达、染色质可及性、转录因子结合等调控信号预测与变异效应评估等任务。
| 项 | 值 |
|---|---|
| 参数量 | ~244M(hidden_size=1536,权重约 989MB) |
| 架构 | EnformerForTokenPrediction(stem + conv tower + 11 层注意力 Transformer + 中心裁剪 tail + 回归头) |
| 输入长度 | 训练全长 196608 bp(预计算 gamma 基要求输入恰为该长度) |
| 输出 | (1, 896, 5313) 回归值(problem_type=regression,softplus 输出) |
| 任务类型 | 序列 token 级回归预测(生物信息/基因组调控轨迹预测) |
| 依赖 | 版本 | 说明 |
|---|---|---|
| Python | 3.10+ | 推荐 3.11 |
| torch | >=2.0 | CPU/NPU 均可 |
| torch_npu | 与 CANN 配套 | 昇腾NPU支持 |
| multimolecule | ==0.2.1 | 含 DnaTokenizer 与 Enformer 实现 |
| transformers | ==5.15.1 | multimolecule 上游依赖(5.x 系列) |
| numpy / matplotlib / safetensors | - | 数据处理与绘图 |
依赖安装到独立目录(不污染共享环境):
pip install --target /mnt/workspace/enformer/libs \
-i https://pypi.tuna.tsinghua.edu.cn/simple \
"multimolecule==0.2.1" "transformers==5.15.1" safetensors numpy matplotlib模型权重:/home/developer/models/enformer
确认权重与依赖就位后,脚本会自动将 /mnt/workspace/enformer/libs 与仓库目录加入 PYTHONPATH,无需手动设置。可用 npu-smi info 检查 NPU 设备状态。
python3 inference.py --model_path /home/developer/models/enformer脚本内置合成 DNA 示例序列(随机 ACGT,196608 bp),只传 --model_path 即可跑通;权重仅从本地路径离线加载;设备自动选择(优先 NPU,不可用回退 CUDA/CPU),执行基因组调控轨迹回归推理并打印耗时(耗时/elapsed 字段),结果图保存至 assets/model_result.png。
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
--model_path | str | /home/developer/models/enformer | 模型权重目录 |
--seq_len | int | 196608 | 输入序列长度 bp(该权重启用预计算 gamma 基,必须恰为 196608) |
--device | str | 自动 (npu > cuda > cpu) | 指定推理设备 |
--output | str | assets/model_result.png | 结果图保存路径 |
输入为内置合成的随机 ACGT 序列(seed=42,196608 bp),经 DnaTokenizer 编码后做 896 bin × 5313 track 的调控轨迹回归预测。NPU 实测输出示例:
[INFO] device = npu
[INFO] model_path = /home/developer/models/enformer
[INFO] 模型加载完成 load_time=...
[INFO] 推理完成 耗时/elapsed=...s (seq_len=196608, device=npu)
[INFO] 输入形状: (1, 196608), 输出形状: (1, 896, 5313) (896 个 128bp 覆盖 bin × 5313 条基因组覆盖轨迹)
[INFO] 预测统计: min=..., max=..., mean=...
[RESULT] status=ok device=npu 耗时/elapsed=...s结果截图见 assets/model_result.png。
见 assets/agent_workflow.png。
见 assets/npu_device_call.png。
见 assets/model_result.png。
use_precomputed_gamma_basis=True(预计算 gamma 位置基仅定义于下采样后的 1536 bin),因此输入必须恰为 196608 bp;传入其他长度时脚本会自动纠正为 196608;EnformerForTokenPrediction,forward 返回 (batch, 896, 5313) softplus 后的调控信号预测值;pip install --target 隔离安装到 /mnt/workspace/enformer/libs,勿直接装入共享环境。