OpenFold 昇腾推理适配:环境搭建、代码适配与推理部署实践
OpenFold 是由 AlQuraishi Lab 开发的开源蛋白质结构预测框架,可以看作 AlphaFold2 的 PyTorch 复现与工程化实现。它以蛋白质氨基酸序列为输入,结合多序列比对(MSA)和模板结构信息提取序列间的共进化关系,经过 Evoformer 网络反复更新 MSA 表征与残基对表征,再由 Structure Module 预测蛋白质的三维原子坐标,最终输出 PDB 结构文件和 pLDDT 置信度分数(0-100)。相比使用 JAX 实现的 AlphaFold2,OpenFold 基于 PyTorch,代码结构更加便于调试、训练、二次开发以及硬件迁移,因此适合用于模型训练、算法研究和 GPU/NPU 等不同计算平台的适配。
本次迁移目标:在无 CUDA GPU、仅配备昇腾 910 NPU 的 openEuler 机器上跑通 OpenFold 端到端推理,生成合法 PDB 结构文件。迁移范围仅覆盖推理,不含训练。性能目标:开箱性能 0.61 倍 GPU A800,目标为 1.0 倍。精度目标:精度持平 GPU A800,不能劣化。
迁移成功标准: 权重可加载 → 核心计算在 NPU 执行 → 端到端推理出 PDB → 输出无NaN/Inf,PDB可解析,并在相同输入、权重和配置下完成GPU/NPU输出对齐 → 可采集 Profiling。未通过注释核心功能绕过问题。
| 类别 | 名称 | 版本/配置 |
|---|---|---|
| 硬件 | 昇腾 NPU | Ascend 910,8 物理卡/16 逻辑芯片,64GB HBM/卡 |
| 驱动 | npu-smi | 25.5.2 |
| 软件 | OS | openEuler |
| 软件 | CANN | 9.0.0 |
| 软件 | Python | 3.12.13 |
| 软件 | PyTorch | 2.10.0+cpu |
| 软件 | torch_npu | 2.10.0 |
| 软件 | triton_ascend | 3.2.1 |
首先下载 OpenFold 源码:
git clone https://github.com/aqlaboratory/openfold.git
cd openfold确定需要安装哪些依赖:
environment.yml(GPU 环境的完整依赖清单)和 Dockerfile,了解全部依赖项。python3 -c "from openfold.model.model import AlphaFold",根据报出的 ModuleNotFoundError 逐个补装,直至导入成功。实际排查中依次遇到 No module named 'Bio' → 安装 biopython;No module named 'modelcif' → 安装 modelcif;最终导入成功。安装依赖:
环境已预装 torch 2.10.0+cpu + torch_npu 2.10.0 + triton_ascend 3.2.1。其余依赖分三类处理:
| 依赖 | 安装方式 | 说明 |
|---|---|---|
| biopython、dm-tree、pytorch_lightning、modelcif、ml_collections | pip install | 纯 Python 包,PyPI 可达时直接安装 |
| dllogger | 本地 stub | nvidia-dllogger 是基于 CUDA 的日志记录工具,依赖 CUDA 驱动,在昇腾 NPU 上无法安装。创建本地 stub(dllogger/ 目录,含最小 __init__.py),满足 dllogger.log()、dllogger.flush() 等接口调用即可 |
| openmm、pdbfixer | 未安装 | Amber 松弛依赖,用 --skip_relaxation 跳过 |
| deepspeed | 未安装 | OpenFold 仅使用其中的 DS4Sci_EvoformerAttention(CUDA Kernel),NPU 不可用,推理可跳过 |
| flash-attn | 未安装 | NVIDIA CUDA 专属,NPU 上不可用 |
| TensorRT | 不适用 | NVIDIA 生态专属推理优化工具,与 GPU 硬件深度绑定,无法在昇腾 NPU 上运行 |
关于 flash-attn 和 DS4Sci Evoformer Attention: OpenFold 原生依赖的 flash-attn 和 DS4Sci Evoformer Attention(deepspeed)均没有可直接用于昇腾 NPU 的原生实现。其中,官方 flash-attn 目前主要支持 NVIDIA CUDA 和 AMD ROCm,不能直接在昇腾 NPU 上执行。因此,本次迁移没有继续使用原有 FlashAttention/DS4Sci Kernel,而是针对 OpenFold Attention 的输入布局、mask、bias、精度和缩放语义进行适配,使用昇腾原生融合算子
torch_npu.npu_fusion_attention()实现对应的 Attention 融合计算。该优化属性能优化阶段工作,详见第 10 章。
实际执行的安装命令:
pip install dm-tree biopython pytorch_lightning modelcif ml_collectionsopenfold支持使用openfold和AlphaFold2的权重:
| 类型 | 文件 | 加载参数 | 来源 |
|---|---|---|---|
OpenFold .pt | finetuning_ptm_2.pt、finetuning_ptm_2_v2.pt | --openfold_checkpoint_path | OpenFold 团队,OpenProteinSet 训练 |
AlphaFold .npz | params_model_{1..5}[_ptm].npz 等 15 个 | --jax_param_path | DeepMind 官方,CC BY 4.0 |
权重存放于 openfold/resources/ 下。.pt 是 PyTorch state_dict 格式,.npz 是 JAX numpy 格式,通过 import_jax_weights_() 做 key 名映射后加载。
_v2 权重后缀的含义:
OpenFold 在引入 Multimer(多聚体)支持的过程中,对部分模型模块的组织结构和参数层级进行了重构。因此,早期 OpenFold checkpoint(下文称为 v1 格式)中的部分参数 key,与重构后的模型代码不再完全一致。转换使用项目自带的 scripts/convert_v1_to_v2_weights.py 脚本完成。该脚本会读取 checkpoint,并调用convert_deprecated_v1_keys()对 checkpoint 中的模型参数进行 key 重命名。
OpenFold 同时支持 AlphaFold2 的 .npz 权重——推理命令中将 --openfold_checkpoint_path 替换为 --jax_param_path 指向 .npz 文件即可,无需额外操作。
config_preset 必须与权重匹配:params_model_1_ptm.npz → model_1_ptm,否则 key 不兼容。
OpenFold 推理完整流程需 MSA 搜索(UniRef90/BFD/MGnify)和模板搜索(PDB70/mmCIF),依赖 JackHMMER/HHblits/HHsearch。完整数据库通常需要数百GB至数TB磁盘空间,具体取决于数据库版本、是否使用完整BFD,以及是否同时保留压缩包和解压后的数据。部署前应按照实际下载脚本和数据库版本评估空间。
本次迁移跳过了真实数据库搜索——数据库下载和搜索极慢,非 NPU 适配的重点。改用两种方式绕过:
--use_precomputed_alignments:指向预计算的 dummy 对齐文件目录--use_single_seq_mode:完全跳过 MSA,仅用单序列嵌入--skip_relaxation 跳过 Amber 结构松弛。AlphaFold 2 神经网络预测完原子坐标后,结构里可能存在物理违规——两个原子靠太近(空间冲突/steric clash)、键长键角不合理等。Relaxation 用 Amber 分子动力学力场做一次能量最小化,微调原子位置消除这些冲突。开启 --skip_relaxation 后仍会输出 unrelaxed PDB,通常不会改变模型已经预测出的 pLDDT;但不会执行 Amber/OpenMM 松弛,因此最终原子几何、碰撞情况和键结构可能与 relaxed PDB 不同。
构造测试输入数据:
测试数据由 test_data_gpu/make_test_data.py 自动生成,不依赖任何 MSA 数据库。该脚本构造 1UBI(酵母泛素,76 aa,PDB 1UBI 官方 SEQRES 序列)的 FASTA 文件和 dummy MSA 对齐文件:
python3 test_data_gpu/make_test_data.py脚本工作原理:
fasta/1UBI.fasta,序列为酵母泛素 76 个氨基酸。alignments/1UBI/uniref90_1UBI.a3m,A3M 格式。首行为查询序列(>ubq_target + 序列),后续生成 200 条 dummy 同源序列——每条对查询序列做 1~3 个随机点突变(random.seed(42) 保证可复现),模拟低质量 MSA。这让 MSA 通路有真实输入但不需外部数据库。mmcif_placeholder/placeholder.cif,内容为 data_PLACEHOLDER,满足 HhsearchHitFeaturizer.__init__ 检查目录中是否有 .cif 文件。因无模板命中(无 .hhr 文件),该文件不会被实际解析。生成的目录结构:
test_data_gpu/
├── fasta/
│ └── 1UBI.fasta # 输入序列(76 aa)
├── alignments/
│ └── 1UBI/ # 目录名 = FASTA tag
│ └── uniref90_1UBI.a3m # 200 条 dummy 同源序列
├── mmcif_placeholder/
│ └── placeholder.cif # 模板占位
└── output/ # 推理输出目录
└── predictions/注: dummy MSA 仅适合验证推理链路。真实 MSA 和模板可能改善部分目标的结构预测质量,但实际效果取决于序列、MSA 深度、模板质量和所用模型配置。
原始 OpenFold 对 CUDA 的依赖分四类:
| 类别 | 问题 | 适配方式 |
|---|---|---|
torch.cuda.* API | amp autocast、empty_cache、profiler | 新增 npu_compat.py 封装层,按设备路由到 torch.npu.* |
| CUDA Extension | attn_core_inplace_cuda(就地 softmax kernel) | setup.py 检测 NPU 时跳过编译;attention_core.py 用纯 PyTorch softmax 替代 |
.cuda() 调用 | rigid_utils.py、rigid_matrix_vector.py | 改为 .to(device) |
| 第三方依赖 | flash-attn、TensorRT、OpenMM | lazy import + None 守卫,推理时跳过 |
共修改 14 个文件。重复的修改模式(如 AMP autocast 替换)只说一次:
AMP autocast 设备无关化(影响 5 个文件:primitives.py、heads.py、outer_product_mean.py、triangular_multiplicative_update.py、structure_module.py):
- torch.cuda.amp.autocast(enabled=False)
- torch.amp.autocast('cuda', enabled=False)
+ torch.amp.autocast(autocast_device(), enabled=False)autocast_device() 来自新增的 npu_compat.py,NPU 返回 'npu',CUDA 返回 'cuda'。
torch.cuda.empty_cache() 替换(evoformer.py,4 处):
- torch.cuda.empty_cache()
+ from openfold.utils.npu_compat import empty_cache
+ empty_cache()CUDA kernel 替换为纯 PyTorch(attention_core.py + structure_module.py):
attention_core.py:forward 和 backward 的 attn_core_inplace_cuda 调用全部用 torch.softmax + 手动 softmax 反向公式重写structure_module.py:in-place softmax 条件加 and not NPU,NPU 走 else 分支用 self.softmax(a)setup.py:调整 setup.py 中的扩展构建逻辑:CUDA环境保留CUDA Extension编译,NPU环境跳过 attn_core_inplace_cuda 等CUDA扩展,并将 ext_modules 设置为空列表。.cuda() → .to(device)(rigid_utils.py 2 处方法、rigid_matrix_vector.py 1 处)
profiler 采集 NPU 适配(logger.py):
- import torch.cuda.profiler as profiler
+ if torch.npu.is_available():
+ import torch_npu.profiler as profiler
+ else:
+ import torch.cuda.profiler as profilerprofiler 采集需要适配 NPU,使用 torch_npu.profiler 替代 torch.cuda.profiler。
lazy import 防导入失败(script_utils.py): relax、deepspeed、TensorRT、dllogger 四个导入加 try/except → None
新增 --profile 参数(run_pretrained_openfold.py + script_utils.py run_model()):
用 torch_npu.profiler 采集 CPU+NPU 活动,导出性能文件,便于分析性能
# NPU 推理(基线,fp32)
ASCEND_RT_VISIBLE_DEVICES=10 python3 run_pretrained_openfold.py \
test_data_gpu/fasta \
test_data_gpu/mmcif_placeholder \
--use_precomputed_alignments test_data_gpu/alignments \
--config_preset model_1_ptm \
--model_device "npu:0" \
--openfold_checkpoint_path openfold/resources/openfold_params/finetuning_ptm_2.pt \
--output_dir test_data_gpu/output \
--skip_relaxation \
--data_random_seed 42权重切换: 如使用 AlphaFold2 的
.npz权重,将--openfold_checkpoint_path替换为--jax_param_path指向.npz文件即可,其余参数不变。
| 参数 | 含义 |
|---|---|
ASCEND_RT_VISIBLE_DEVICES=10 | 暴露物理芯片 10,进程内 npu:0 对应该芯片 |
--model_device "npu:0" | 模型放在第一个可见 NPU |
--use_precomputed_alignments | 跳过 MSA 搜索,用预计算对齐文件 |
--skip_relaxation | 跳过 Amber 松弛(后处理微调,非核心推理) |
--data_random_seed 42 | 固定随机种子,保证可复现 |
输出文件:predictions/1UBI_model_1_ptm_unrelaxed.pdb
PDB 文件:
REMARK no_recycling=3, max_templates=4, config_preset=model_1_ptm
ATOM 1 N MET A 1 4.302 8.726 -5.696 1.00 75.50 N
ATOM 2 CA MET A 1 3.152 7.967 -6.180 1.00 75.50 CB-factor 列(第 61-66 列)存储 pLDDT(0-100),本次迁移精度指标看该数据的最小值、最大值和平均值。
GPU↔NPU 基线对比
测试数据选择相同的 1UBI 76 aa,选择相同权重 finetuning_ptm_2.pt:
| 指标 | GPU A800 | NPU 910 |
|---|---|---|
| 推理时延 | 2.696s | 4.401s |
| pLDDT avg | 60.59 | 63.31 |
| pLDDT max | 87.20 | 91.19 |
开箱基线 NPU 性能为 GPU 的 0.61 倍(4.401s vs 2.696s),精度上 NPU 略优于 GPU(pLDDT avg 63.31 vs 60.59)。性能差距主要来自 NPU 上大量小算子未融合、kernel 调度延迟高,详见第 10 章。
在基线推理跑通后,对推理耗时进行了多项优化尝试,目前有效的为两项。本次性能优化测试序列为 1UBI(76 aa),权重 finetuning_ptm_2.pt,配置 model_1_ptm。
优化一:bf16 精度
加 --precision bf16 启用 bf16 混合精度,利用 Ascend NPU 对 bf16 的高效硬件支持,降低访存带宽和计算延迟。
优化二:使用torch_npu.npu_fusion_attention
通过 --profile 采集 torch_npu.profiler(ProfilerLevel.Level1)数据后发现,基线推理中 NPU Free Time 高达 91.8%(每 step 99.5ms 中仅 8.2ms 在计算),根因是 kernel launch 的算子调度延迟。进一步分析设备侧算子耗时,发现标准 attention 执行链(Transpose → BatchMatMulV2 → Add → SoftmaxV2 → Transpose → BatchMatMulV2)完全未融合,出现 12,680 次,前三大算子占设备时间约 60%:
优化后算子对比如下:
| 算子 | 优化前次数 | 优化后次数 | 次数变化 | 优化前时间 | 优化后时间 | 时间变化 |
|---|---|---|---|---|---|---|
| FlashAttentionScore | 0 | 1,162 | 新增 | — | 435.9 ms | 新增,优化后第一大算子(占设备时间 21.3%) |
| BatchMatMulV2 | 3,922 | 1,791 | -54.3% | 515.0 ms | 160.2 ms | -68.9% |
| SoftmaxV2 | 1,377 | 215 | -84.4% | 488.0 ms | 82.1 ms | -83.2% |
| Add | 11,658 | 10,496 | -10.0% | 380.6 ms | 131.7 ms | -65.4% |
| Transpose | 14,697 | 14,697 | 不变 | 364.4 ms | 335.1 ms | -8.0% |
| BroadcastTo | 185 | 2,224 | +2,039 | 0.7 ms | 77.1 ms | +76.4 ms |
| MatMulV2 | 14,263 | 14,263 | 不变 | 161.5 ms | 165.4 ms | +2.4% |
| LayerNormV3 | 5,689 | 5,689 | 不变 | 156.9 ms | 140.1 ms | -10.7% |
| BatchMatMulV3 | 358 | 165 | -193 | 48.4 ms | 23.3 ms | -52.0% |
因此决定用昇腾原生融合算子 torch_npu.npu_fusion_attention() 替代手动 attention 路径,将原先多个 PyTorch 运算替换成一个融合算子调用,减少框架调度和中间张量开销。底层实际 kernel 数量以昇腾 Profiler 结果为准。当前实现针对已验证的Attention输入shape,将相应bias转换为融合算子支持的输入形式。该实现仅对本文测试使用的模型配置和输入形状完成验证。对于不满足算子shape、dtype或layout约束的输入,程序显式选择原始PyTorch Attention路径,并记录回退原因。。
尝试过但无效的优化(仅记录,不展开): einsum 替代 transpose+matmul、torch.compile(Triton reshape bug)、fp16(attention_core 不支持)、环境变量调优、TensorRT(不支持 NPU)、TorchScript tracing(架构不兼容)、JIT 编译(>10min 超时)、NPUGraph(需静态形状)。
| 配置 | 推理耗时 | pLDDT min | pLDDT max | pLDDT mean | pLDDT median |
|---|---|---|---|---|---|
| GPU A800(基线) | 2.696s | 29.71 | 87.20 | 60.59 | 62.91 |
| NPU fp32(基线) | 4.401s | 32.53 | 91.19 | 63.31 | 69.84 |
| NPU bf16 | 3.150s | 32.62 | 91.32 | 63.33 | 69.57 |
| NPU bf16 + torch_npu.npu_fusion_attention() | 2.60s | 33.41 | 91.20 | 63.33 | 69.47 |
在1UBI(76 aa)、dummy MSA、model_1_ptm和指定权重的当前测试条件下:
| 能力 | 状态 | 说明 |
|---|---|---|
| 权重加载 | 已验证 | .pt 和 .npz 均可加载 |
| 核心计算 NPU 执行 | 已验证 | Evoformer + StructureModule 全程 NPU |
| 端到端推理 | 已验证 | 输出合法 PDB |
| bf16 推理 | 已验证 | 1.4x 加速 |
| NPU torch_npu.npu_fusion_attention() | 已验证 | 性能达 GPU 水平 |
| pLDDT 数值合理性 | 已验证 | 精度达GPU水平 |
| Relaxation | 未完成 | 环境无 OpenMM,已跳过 |
完整复现流程如下:
1. npu-smi info # 检查 NPU 状态,选空闲设备
2. 准备 Python 环境 # torch 2.10.0+cpu + torch_npu 2.10.0 + CANN 9.0.0
3. 获取 OpenFold 源码 # git clone,进入工程目录
4. 安装依赖 # pip install dm-tree biopython pytorch_lightning modelcif ml_collections
5. 应用 NPU 代码修改 # 见第 7 章,14 个文件
6. 验证模型可实例化 # python3 -c "from openfold.model.model import AlphaFold"
7. 准备权重 # 下载 .pt 或 .npz 到 openfold/resources/下
8. 准备测试数据 # 使用脚本手动构建 dummy MSA(见第 5 章)
9. 设置昇腾推理优化环境变量 # 系统调优(performance governor 等)
10. 执行推理 # 见第 8 章命令
11. 验证输出 PDB # 检查 pLDDT、原子坐标合法性
12. --profile 采集 Profiling # torch_npu.profiler + CANN 数据
13. 分析性能 # 识别 Free Time、算子热点以下均为后续计划,非已完成:
aclrtMallocPhysical 累计耗时较高,需要进一步结合调用次数、单次耗时和时间线分析,确认是否属于关键路径上的频繁内存分配,再决定是否进行内存池或张量复用优化。