Ascend-SACT/OpenFold
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

OpenFold 昇腾推理适配:环境搭建、代码适配与推理部署实践

1. 项目背景与迁移目标

OpenFold 是由 AlQuraishi Lab 开发的开源蛋白质结构预测框架,可以看作 AlphaFold2 的 PyTorch 复现与工程化实现。它以蛋白质氨基酸序列为输入,结合多序列比对(MSA)和模板结构信息提取序列间的共进化关系,经过 Evoformer 网络反复更新 MSA 表征与残基对表征,再由 Structure Module 预测蛋白质的三维原子坐标,最终输出 PDB 结构文件和 pLDDT 置信度分数(0-100)。相比使用 JAX 实现的 AlphaFold2,OpenFold 基于 PyTorch,代码结构更加便于调试、训练、二次开发以及硬件迁移,因此适合用于模型训练、算法研究和 GPU/NPU 等不同计算平台的适配。

本次迁移目标:在无 CUDA GPU、仅配备昇腾 910 NPU 的 openEuler 机器上跑通 OpenFold 端到端推理,生成合法 PDB 结构文件。迁移范围仅覆盖推理,不含训练。性能目标:开箱性能 0.61 倍 GPU A800,目标为 1.0 倍。精度目标:精度持平 GPU A800,不能劣化。

迁移成功标准: 权重可加载 → 核心计算在 NPU 执行 → 端到端推理出 PDB → 输出无NaN/Inf,PDB可解析,并在相同输入、权重和配置下完成GPU/NPU输出对齐 → 可采集 Profiling。未通过注释核心功能绕过问题。

2. 硬件与软件环境

类别名称版本/配置
硬件昇腾 NPUAscend 910,8 物理卡/16 逻辑芯片,64GB HBM/卡
驱动npu-smi25.5.2
软件OSopenEuler
软件CANN9.0.0
软件Python3.12.13
软件PyTorch2.10.0+cpu
软件torch_npu2.10.0
软件triton_ascend3.2.1

3、依赖安装

首先下载 OpenFold 源码:

git clone https://github.com/aqlaboratory/openfold.git
cd openfold

确定需要安装哪些依赖:

  1. 查看项目自带的 environment.yml(GPU 环境的完整依赖清单)和 Dockerfile,了解全部依赖项。
  2. 用迭代导入法定位缺失包:执行 python3 -c "from openfold.model.model import AlphaFold",根据报出的 ModuleNotFoundError 逐个补装,直至导入成功。实际排查中依次遇到 No module named 'Bio' → 安装 biopython;No module named 'modelcif' → 安装 modelcif;最终导入成功。

安装依赖:

环境已预装 torch 2.10.0+cpu + torch_npu 2.10.0 + triton_ascend 3.2.1。其余依赖分三类处理:

依赖安装方式说明
biopython、dm-tree、pytorch_lightning、modelcif、ml_collectionspip install纯 Python 包,PyPI 可达时直接安装
dllogger本地 stubnvidia-dllogger 是基于 CUDA 的日志记录工具,依赖 CUDA 驱动,在昇腾 NPU 上无法安装。创建本地 stub(dllogger/ 目录,含最小 __init__.py),满足 dllogger.log()、dllogger.flush() 等接口调用即可
openmm、pdbfixer未安装Amber 松弛依赖,用 --skip_relaxation 跳过
deepspeed未安装OpenFold 仅使用其中的 DS4Sci_EvoformerAttention(CUDA Kernel),NPU 不可用,推理可跳过
flash-attn未安装NVIDIA CUDA 专属,NPU 上不可用
TensorRT不适用NVIDIA 生态专属推理优化工具,与 GPU 硬件深度绑定,无法在昇腾 NPU 上运行

关于 flash-attn 和 DS4Sci Evoformer Attention: OpenFold 原生依赖的 flash-attn 和 DS4Sci Evoformer Attention(deepspeed)均没有可直接用于昇腾 NPU 的原生实现。其中,官方 flash-attn 目前主要支持 NVIDIA CUDA 和 AMD ROCm,不能直接在昇腾 NPU 上执行。因此,本次迁移没有继续使用原有 FlashAttention/DS4Sci Kernel,而是针对 OpenFold Attention 的输入布局、mask、bias、精度和缩放语义进行适配,使用昇腾原生融合算子 torch_npu.npu_fusion_attention() 实现对应的 Attention 融合计算。该优化属性能优化阶段工作,详见第 10 章。

实际执行的安装命令:

pip install dm-tree biopython pytorch_lightning modelcif ml_collections

4. 下载模型权重

openfold支持使用openfold和AlphaFold2的权重:

类型文件加载参数来源
OpenFold .ptfinetuning_ptm_2.pt、finetuning_ptm_2_v2.pt--openfold_checkpoint_pathOpenFold 团队,OpenProteinSet 训练
AlphaFold .npzparams_model_{1..5}[_ptm].npz 等 15 个--jax_param_pathDeepMind 官方,CC BY 4.0

权重存放于 openfold/resources/ 下。.pt 是 PyTorch state_dict 格式,.npz 是 JAX numpy 格式,通过 import_jax_weights_() 做 key 名映射后加载。

_v2 权重后缀的含义: OpenFold 在引入 Multimer(多聚体)支持的过程中,对部分模型模块的组织结构和参数层级进行了重构。因此,早期 OpenFold checkpoint(下文称为 v1 格式)中的部分参数 key,与重构后的模型代码不再完全一致。转换使用项目自带的 scripts/convert_v1_to_v2_weights.py 脚本完成。该脚本会读取 checkpoint,并调用convert_deprecated_v1_keys()对 checkpoint 中的模型参数进行 key 重命名。

OpenFold 同时支持 AlphaFold2 的 .npz 权重——推理命令中将 --openfold_checkpoint_path 替换为 --jax_param_path 指向 .npz 文件即可,无需额外操作。

config_preset 必须与权重匹配:params_model_1_ptm.npz → model_1_ptm,否则 key 不兼容。

5. 数据库与输入数据

OpenFold 推理完整流程需 MSA 搜索(UniRef90/BFD/MGnify)和模板搜索(PDB70/mmCIF),依赖 JackHMMER/HHblits/HHsearch。完整数据库通常需要数百GB至数TB磁盘空间,具体取决于数据库版本、是否使用完整BFD,以及是否同时保留压缩包和解压后的数据。部署前应按照实际下载脚本和数据库版本评估空间。

本次迁移跳过了真实数据库搜索——数据库下载和搜索极慢,非 NPU 适配的重点。改用两种方式绕过:

  • --use_precomputed_alignments:指向预计算的 dummy 对齐文件目录
  • --use_single_seq_mode:完全跳过 MSA,仅用单序列嵌入

--skip_relaxation 跳过 Amber 结构松弛。AlphaFold 2 神经网络预测完原子坐标后,结构里可能存在物理违规——两个原子靠太近(空间冲突/steric clash)、键长键角不合理等。Relaxation 用 Amber 分子动力学力场做一次能量最小化,微调原子位置消除这些冲突。开启 --skip_relaxation 后仍会输出 unrelaxed PDB,通常不会改变模型已经预测出的 pLDDT;但不会执行 Amber/OpenMM 松弛,因此最终原子几何、碰撞情况和键结构可能与 relaxed PDB 不同。

构造测试输入数据:

测试数据由 test_data_gpu/make_test_data.py 自动生成,不依赖任何 MSA 数据库。该脚本构造 1UBI(酵母泛素,76 aa,PDB 1UBI 官方 SEQRES 序列)的 FASTA 文件和 dummy MSA 对齐文件:

python3 test_data_gpu/make_test_data.py

脚本工作原理:

  1. FASTA:写入 fasta/1UBI.fasta,序列为酵母泛素 76 个氨基酸。
  2. dummy MSA:生成 alignments/1UBI/uniref90_1UBI.a3m,A3M 格式。首行为查询序列(>ubq_target + 序列),后续生成 200 条 dummy 同源序列——每条对查询序列做 1~3 个随机点突变(random.seed(42) 保证可复现),模拟低质量 MSA。这让 MSA 通路有真实输入但不需外部数据库。
  3. mmCIF 占位:mmcif_placeholder/placeholder.cif,内容为 data_PLACEHOLDER,满足 HhsearchHitFeaturizer.__init__ 检查目录中是否有 .cif 文件。因无模板命中(无 .hhr 文件),该文件不会被实际解析。

生成的目录结构:

test_data_gpu/
├── fasta/
│   └── 1UBI.fasta                 # 输入序列(76 aa)
├── alignments/
│   └── 1UBI/                      # 目录名 = FASTA tag
│       └── uniref90_1UBI.a3m      # 200 条 dummy 同源序列
├── mmcif_placeholder/
│   └── placeholder.cif            # 模板占位
└── output/                         # 推理输出目录
    └── predictions/

注: dummy MSA 仅适合验证推理链路。真实 MSA 和模板可能改善部分目标的结构预测质量,但实际效果取决于序列、MSA 深度、模板质量和所用模型配置。

6. 原始 GPU 代码迁移难点

原始 OpenFold 对 CUDA 的依赖分四类:

类别问题适配方式
torch.cuda.* APIamp autocast、empty_cache、profiler新增 npu_compat.py 封装层,按设备路由到 torch.npu.*
CUDA Extensionattn_core_inplace_cuda(就地 softmax kernel)setup.py 检测 NPU 时跳过编译;attention_core.py 用纯 PyTorch softmax 替代
.cuda() 调用rigid_utils.py、rigid_matrix_vector.py改为 .to(device)
第三方依赖flash-attn、TensorRT、OpenMMlazy import + None 守卫,推理时跳过

7. 代码修改要点

共修改 14 个文件。重复的修改模式(如 AMP autocast 替换)只说一次:

AMP autocast 设备无关化(影响 5 个文件:primitives.py、heads.py、outer_product_mean.py、triangular_multiplicative_update.py、structure_module.py):

- torch.cuda.amp.autocast(enabled=False)
- torch.amp.autocast('cuda', enabled=False)
+ torch.amp.autocast(autocast_device(), enabled=False)

autocast_device() 来自新增的 npu_compat.py,NPU 返回 'npu',CUDA 返回 'cuda'。

torch.cuda.empty_cache() 替换(evoformer.py,4 处):

- torch.cuda.empty_cache()
+ from openfold.utils.npu_compat import empty_cache
+ empty_cache()

CUDA kernel 替换为纯 PyTorch(attention_core.py + structure_module.py):

  • attention_core.py:forward 和 backward 的 attn_core_inplace_cuda 调用全部用 torch.softmax + 手动 softmax 反向公式重写
  • structure_module.py:in-place softmax 条件加 and not NPU,NPU 走 else 分支用 self.softmax(a)
  • setup.py:调整 setup.py 中的扩展构建逻辑:CUDA环境保留CUDA Extension编译,NPU环境跳过 attn_core_inplace_cuda 等CUDA扩展,并将 ext_modules 设置为空列表。

.cuda() → .to(device)(rigid_utils.py 2 处方法、rigid_matrix_vector.py 1 处)

profiler 采集 NPU 适配(logger.py):

- import torch.cuda.profiler as profiler
+ if torch.npu.is_available():
+     import torch_npu.profiler as profiler
+ else:
+     import torch.cuda.profiler as profiler

profiler 采集需要适配 NPU,使用 torch_npu.profiler 替代 torch.cuda.profiler。

lazy import 防导入失败(script_utils.py): relax、deepspeed、TensorRT、dllogger 四个导入加 try/except → None

新增 --profile 参数(run_pretrained_openfold.py + script_utils.py run_model()): 用 torch_npu.profiler 采集 CPU+NPU 活动,导出性能文件,便于分析性能

8. 推理运行命令

# NPU 推理(基线,fp32)
ASCEND_RT_VISIBLE_DEVICES=10 python3 run_pretrained_openfold.py \
    test_data_gpu/fasta \
    test_data_gpu/mmcif_placeholder \
    --use_precomputed_alignments test_data_gpu/alignments \
    --config_preset model_1_ptm \
    --model_device "npu:0" \
    --openfold_checkpoint_path openfold/resources/openfold_params/finetuning_ptm_2.pt \
    --output_dir test_data_gpu/output \
    --skip_relaxation \
    --data_random_seed 42

权重切换: 如使用 AlphaFold2 的 .npz 权重,将 --openfold_checkpoint_path 替换为 --jax_param_path 指向 .npz 文件即可,其余参数不变。

参数含义
ASCEND_RT_VISIBLE_DEVICES=10暴露物理芯片 10,进程内 npu:0 对应该芯片
--model_device "npu:0"模型放在第一个可见 NPU
--use_precomputed_alignments跳过 MSA 搜索,用预计算对齐文件
--skip_relaxation跳过 Amber 松弛(后处理微调,非核心推理)
--data_random_seed 42固定随机种子,保证可复现

9. 输出结果与正确性验证

输出文件:predictions/1UBI_model_1_ptm_unrelaxed.pdb

PDB 文件:

REMARK no_recycling=3, max_templates=4, config_preset=model_1_ptm
ATOM      1  N   MET A   1       4.302   8.726  -5.696  1.00 75.50  N
ATOM      2  CA  MET A   1       3.152   7.967  -6.180  1.00 75.50  C

B-factor 列(第 61-66 列)存储 pLDDT(0-100),本次迁移精度指标看该数据的最小值、最大值和平均值。

GPU↔NPU 基线对比

测试数据选择相同的 1UBI 76 aa,选择相同权重 finetuning_ptm_2.pt:

指标GPU A800NPU 910
推理时延2.696s4.401s
pLDDT avg60.5963.31
pLDDT max87.2091.19

开箱基线 NPU 性能为 GPU 的 0.61 倍(4.401s vs 2.696s),精度上 NPU 略优于 GPU(pLDDT avg 63.31 vs 60.59)。性能差距主要来自 NPU 上大量小算子未融合、kernel 调度延迟高,详见第 10 章。

10. 性能优化

在基线推理跑通后,对推理耗时进行了多项优化尝试,目前有效的为两项。本次性能优化测试序列为 1UBI(76 aa),权重 finetuning_ptm_2.pt,配置 model_1_ptm。

优化手段

优化一:bf16 精度

加 --precision bf16 启用 bf16 混合精度,利用 Ascend NPU 对 bf16 的高效硬件支持,降低访存带宽和计算延迟。

优化二:使用torch_npu.npu_fusion_attention

通过 --profile 采集 torch_npu.profiler(ProfilerLevel.Level1)数据后发现,基线推理中 NPU Free Time 高达 91.8%(每 step 99.5ms 中仅 8.2ms 在计算),根因是 kernel launch 的算子调度延迟。进一步分析设备侧算子耗时,发现标准 attention 执行链(Transpose → BatchMatMulV2 → Add → SoftmaxV2 → Transpose → BatchMatMulV2)完全未融合,出现 12,680 次,前三大算子占设备时间约 60%:

优化后算子对比如下:

算子优化前次数优化后次数次数变化优化前时间优化后时间时间变化
FlashAttentionScore01,162新增—435.9 ms新增,优化后第一大算子(占设备时间 21.3%)
BatchMatMulV23,9221,791-54.3%515.0 ms160.2 ms-68.9%
SoftmaxV21,377215-84.4%488.0 ms82.1 ms-83.2%
Add11,65810,496-10.0%380.6 ms131.7 ms-65.4%
Transpose14,69714,697不变364.4 ms335.1 ms-8.0%
BroadcastTo1852,224+2,0390.7 ms77.1 ms+76.4 ms
MatMulV214,26314,263不变161.5 ms165.4 ms+2.4%
LayerNormV35,6895,689不变156.9 ms140.1 ms-10.7%
BatchMatMulV3358165-19348.4 ms23.3 ms-52.0%

因此决定用昇腾原生融合算子 torch_npu.npu_fusion_attention() 替代手动 attention 路径,将原先多个 PyTorch 运算替换成一个融合算子调用,减少框架调度和中间张量开销。底层实际 kernel 数量以昇腾 Profiler 结果为准。当前实现针对已验证的Attention输入shape,将相应bias转换为融合算子支持的输入形式。该实现仅对本文测试使用的模型配置和输入形状完成验证。对于不满足算子shape、dtype或layout约束的输入,程序显式选择原始PyTorch Attention路径,并记录回退原因。。

尝试过但无效的优化(仅记录,不展开): einsum 替代 transpose+matmul、torch.compile(Triton reshape bug)、fp16(attention_core 不支持)、环境变量调优、TensorRT(不支持 NPU)、TorchScript tracing(架构不兼容)、JIT 编译(>10min 超时)、NPUGraph(需静态形状)。

优化效果对比:

配置推理耗时pLDDT minpLDDT maxpLDDT meanpLDDT median
GPU A800(基线)2.696s29.7187.2060.5962.91
NPU fp32(基线)4.401s32.5391.1963.3169.84
NPU bf163.150s32.6291.3263.3369.57
NPU bf16 + torch_npu.npu_fusion_attention()2.60s33.4191.2063.3369.47

在1UBI(76 aa)、dummy MSA、model_1_ptm和指定权重的当前测试条件下:

  • bf16 相比 fp32:时延 4.401s → 3.150s(降 28%),pLDDT mean 几乎不变(63.31 → 63.33)。
  • torch_npu.npu_fusion_attention() 相比 bf16:时延 3.150s → 2.60s(降 17%),pLDDT mean 不变(63.33)。
  • 两者叠加后 NPU 2.60s vs GPU 2.696s,NPU 性能由开箱的 0.61 倍提升至 1.04 倍,推理耗时下降 41%,完成本次迁移任务的性能目标。

11. 当前迁移结果

能力状态说明
权重加载已验证.pt 和 .npz 均可加载
核心计算 NPU 执行已验证Evoformer + StructureModule 全程 NPU
端到端推理已验证输出合法 PDB
bf16 推理已验证1.4x 加速
NPU torch_npu.npu_fusion_attention()已验证性能达 GPU 水平
pLDDT 数值合理性已验证精度达GPU水平
Relaxation未完成环境无 OpenMM,已跳过

完整复现流程如下:

1. npu-smi info                # 检查 NPU 状态,选空闲设备
2. 准备 Python 环境            # torch 2.10.0+cpu + torch_npu 2.10.0 + CANN 9.0.0
3. 获取 OpenFold 源码          # git clone,进入工程目录
4. 安装依赖                    # pip install dm-tree biopython pytorch_lightning modelcif ml_collections
5. 应用 NPU 代码修改           # 见第 7 章,14 个文件
6. 验证模型可实例化             # python3 -c "from openfold.model.model import AlphaFold"
7. 准备权重                    # 下载 .pt 或 .npz 到 openfold/resources/下
8. 准备测试数据                # 使用脚本手动构建 dummy MSA(见第 5 章)
9. 设置昇腾推理优化环境变量      # 系统调优(performance governor 等)
10. 执行推理                   # 见第 8 章命令
11. 验证输出 PDB               # 检查 pLDDT、原子坐标合法性
12. --profile 采集 Profiling   # torch_npu.profiler + CANN 数据
13. 分析性能                    # 识别 Free Time、算子热点

12. 后续优化方向

以下均为后续计划,非已完成:

  1. CANN 融合算子开发:P当前Python算子组合方式的进一步优化收益有限,后续可尝试自定义融合算子方案
  2. 消除 Host 侧内存开销:Profiler显示 aclrtMallocPhysical 累计耗时较高,需要进一步结合调用次数、单次耗时和时间线分析,确认是否属于关键路径上的频繁内存分配,再决定是否进行内存池或张量复用优化。
  3. NPUGraph 适配:需解决 recycling 导致的形状变化问题