Ascend-SACT/Smiles2Vec
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Smiles2Vec 模型 Ascend NPU 适配报告

1. 模型分析

1.1 模型架构

Smiles2Vec(SMILES to Vector)模型通过学习 SMILES 字符串的神经网络表示,用于分子性质预测。模型将 SMILES 字符串转为字符索引序列,经嵌入层、一维卷积层和双向 GRU 循环神经网络提取特征,最终通过全连接层输出预测结果。

阶段模块说明
输入特征化SmilesToSeq将 SMILES 字符串转为字符索引序列,支持 padding
嵌入nn.Embedding将字符索引映射为稠密向量(默认 embedding_dim=50)
卷积nn.Conv1d + ReLU一维卷积提取局部特征(默认 192 filters, kernel_size=3)
循环双向 GRU × 2 层学习序列时序依赖(hidden_size=224, 384)
输出nn.Linear全连接层输出分子性质预测(回归/分类)

1.2 模型规格

项目规格
任务类型分子性质预测(回归/分类)
框架依赖DeepChem + torch_npu
默认 batch_size100
默认 learning_rate0.001
RNN 类型双向 GRU(2 层)
精度参考(回归)MAE < 0.1(500 epoch)
精度参考(分类)ROC AUC >= 0.9(500 epoch)
数据集chembl_25_small.csv(本地测试集)
运行设备Atlas 800T A2(单卡 NPU)

2. 快速开始

2.1 模型与代码路径

路径用途
/deepchem-ascenddeepchem-ascend 源码目录
deepchem/models/torch_models/smiles2vec.py模型实现(含 NPU 适配代码)
deepchem/models/torch_models/tests/test_smiles2vec.py测试脚本
deepchem/models/torch_models/tests/conftest.pypytest 收集入口

2.2 部署步骤(概览)

  1. 拉取并启动镜像(见 §3.3 / §3.4)
  2. 安装 deepchem-ascend 源码(见 §4.1)
  3. 运行 pytest 测试用例(见 §4.3 / §4.4)

3. 准备运行环境

3.1 软件环境

组件版本
Python3.11.15
PyTorch2.7.1+cpu
torch_npu2.7.1.post4
CANN9.0.0
deepchem-ascend0.0.8.dev

3.2 硬件环境

设备型号NPU 配置
Atlas 800T A2单卡

3.3 准备镜像

镜像环境镜像地址
公网swr.cn-south-1.myhuaweicloud.com/ascendhub/torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11

3.4 启动镜像

IMAGE_ID=swr.cn-south-1.myhuaweicloud.com/ascendhub/torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11
CONTAINER_NAME=smiles2vec
docker run -u root --privileged \
 --name ${CONTAINER_NAME} \
 --device /dev/davinci0 \
 --device /dev/davinci_manager \
 --device /dev/devmm_svm \
 --device /dev/hisi_hdc \
 -v /usr/local/dcmi:/usr/local/dcmi \
 -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
 -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
 -v /etc/ascend_install.info:/etc/ascend_install.info \
 -itd ${IMAGE_ID} /bin/bash

4. 运行指导

4.1 安装 deepchem-ascend

# 克隆源码
cd /home
git clone https://gitcode.com/AI4Science/deepchem-ascend.git

# 安装 Python 依赖
pip install packaging tqdm transformers pytest \
    -i https://mirrors.huaweicloud.com/repository/pypi/simple/

# 开发者模式安装
cd /home/deepchem-ascend
pip install -e . -i https://mirrors.huaweicloud.com/repository/pypi/simple/

4.2 迁移适配

模型适配代码已直接修改在 deepchem-ascend 源码中,开发者模式安装后自动生效。无需额外打 patch 或安装二进制包。

4.3 测试示例

# 运行全部 5 个测试用例
python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
    -v --durations=0

测试用例覆盖以下场景:

测试用例测试场景设备
test_Smiles2Vec_forward前向传播输出形状验证NPU
test_Smiles2VecModel_regression回归训练 + 精度评估(500 epoch)NPU
test_Smiles2VecModel_classification分类训练 + 精度评估(500 epoch)NPU
test_Smiles2VecModel_reloadCheckpoint 保存/加载/精度一致性验证NPU
test_smiles2vec_compare_with_tf_implPyTorch 与 TensorFlow 参考输出数值一致性验证CPU(设计选择)

4.4 运行测试代码

python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
    -v --durations=0

5. 实现细节

5.1 关键适配步骤

步骤问题描述修改代码路径
1. GRU 算子 NPU 不支持 float32NPU 的 DynamicGRUV2 算子仅支持 float16,不支持 float32。nn.GRU 前向报错 Unsupported_Operator,反向段错误。Smiles2Vec 默认使用双向 nn.GRU,全部训练和预测崩溃。deepchem/models/torch_models/smiles2vec.py(第 9-113 行新增 GRUCellAdapter,第 216-223 行 RNN_DICT 条件切换)
2. import deepchem 段错误deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem,torch 先于 rdkit 加载导致 C++ 符号冲突 segfault,所有测试无法运行。deepchem/models/torch_models/tests/conftest.py(第 1 行新增 from rdkit import Chem)
3. 分类训练 double-sigmoidSmiles2Vec.forward() 返回 (Logits, sigmoid(Logits)),output_types=['prediction','loss'] 将 sigmoid 后的值传给 BCEWithLogitsLoss,该 loss 内部再做 sigmoid,导致 sigmoid(sigmoid(Logits)),梯度压缩,训练效率严重下降。deepchem/models/torch_models/smiles2vec.py(第 297 行交换返回值顺序)
4. 回归测试 metric 键名不匹配Metric(mean_absolute_error, mode="regression") 未传 task_averager,metric name 为 'mean_absolute_error',断言访问 'mean-mean_absolute_error' 抛 KeyError。deepchem/models/torch_models/tests/test_smiles2vec.py(第 124 行修正键名)
5. 分类测试结果不可复现get_dataset 中随机生成标签无种子,每次运行结果不同,ROC AUC >= 0.9 断言不稳定。deepchem/models/torch_models/tests/test_smiles2vec.py(第 25 行添加 np.random.seed(0))
6. forward 测试未经 NPU 调度test_Smiles2Vec_forward 直接实例化 nn.Module,不经过 TorchModel 的 NPU 设备选择逻辑,模型和输入留在 CPU。deepchem/models/torch_models/tests/test_smiles2vec.py(第 89-95 行添加设备检测)

5.2 适配要点


适配要点 1:GRU 算子在 NPU 上不支持 float32

问题描述

NPU 的 DynamicGRUV2 算子仅支持 DT_FLOAT16,不支持 DT_FLOAT32。nn.GRU 在 NPU 上路由到该算子,前向传播报错 Unsupported_Operator,反向传播(即使转 float16)也会段错误。Smiles2Vec 模型默认使用双向 nn.GRU(rnn_layers 和 last_rnn_layer),导致全部训练和预测测试崩溃。

修改方案

新增 GRUCellAdapter 类,包装 nn.GRUCell 替代 nn.GRU。nn.GRUCell 使用不同的 C++ 后端(addmm/sigmoid/tanh),不触发 DynamicGRUV2,在 NPU 上 float32 前向+反向均正常。Adapter 内部通过 Python 循环遍历时间步模拟 nn.GRU 单层语义,支持双向 RNN。通过 8 个 @property 别名暴露 weight_ih_l0 等参数名,兼容直接访问 nn.GRU 参数的代码(如 test_smiles2vec_compare_with_tf_impl)。与 nn.GRU 在 CPU 上数学完全等价(验证 diff=0.0)。

修改前代码(deepchem/models/torch_models/smiles2vec.py):

import torch.nn as nn
import torch
import math
from typing import List, Dict, Optional, Union

from deepchem.models.torch_models import TorchModel
from deepchem.models.losses import L2Loss, SoftmaxCrossEntropy, SigmoidCrossEntropy


class Smiles2Vec(nn.Module):
    ...
    # RNN_DICT 直接使用 nn.GRU,NPU 上触发 DynamicGRUV2 报错
    self.RNN_DICT = {'RNN': nn.RNN, 'LSTM': nn.LSTM, 'GRU': nn.GRU}

修改后代码(deepchem/models/torch_models/smiles2vec.py):

import torch.nn as nn
import torch
import math
from typing import List, Dict, Optional, Union

from deepchem.models.torch_models import TorchModel
from deepchem.models.losses import L2Loss, SoftmaxCrossEntropy, SigmoidCrossEntropy

try:
    import torch_npu
    _npu_available = torch.npu.is_available()
except (ImportError, AttributeError):
    _npu_available = False


class GRUCellAdapter(nn.Module):
    """Wraps nn.GRUCell to provide an interface compatible with nn.GRU."""

    def __init__(self, input_size, hidden_size, batch_first=True,
                 bidirectional=False, **kwargs):
        super(GRUCellAdapter, self).__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.batch_first = batch_first
        self.bidirectional = bidirectional
        self.cell_fwd = nn.GRUCell(input_size, hidden_size)
        if bidirectional:
            self.cell_bwd = nn.GRUCell(input_size, hidden_size)

    @property
    def weight_ih_l0(self):
        return self.cell_fwd.weight_ih

    @property
    def weight_hh_l0(self):
        return self.cell_fwd.weight_hh

    @property
    def bias_ih_l0(self):
        return self.cell_fwd.bias_ih

    @property
    def bias_hh_l0(self):
        return self.cell_fwd.bias_hh

    @property
    def weight_ih_l0_reverse(self):
        return self.cell_bwd.weight_ih

    @property
    def weight_hh_l0_reverse(self):
        return self.cell_bwd.weight_hh

    @property
    def bias_ih_l0_reverse(self):
        return self.cell_bwd.bias_ih

    @property
    def bias_hh_l0_reverse(self):
        return self.cell_bwd.bias_hh

    def forward(self, x, h0=None):
        if not self.batch_first:
            x = x.permute(1, 0, 2)
        batch_size, seq_len, _ = x.shape
        num_directions = 2 if self.bidirectional else 1
        if h0 is None:
            h0 = torch.zeros(num_directions, batch_size, self.hidden_size,
                             device=x.device, dtype=x.dtype)
        h_fwd = h0[0]
        fwd_outputs = []
        for t in range(seq_len):
            h_fwd = self.cell_fwd(x[:, t, :], h_fwd)
            fwd_outputs.append(h_fwd)
        fwd_out = torch.stack(fwd_outputs, dim=1)
        if self.bidirectional:
            h_bwd = h0[1]
            bwd_outputs = []
            for t in reversed(range(seq_len)):
                h_bwd = self.cell_bwd(x[:, t, :], h_bwd)
                bwd_outputs.append(h_bwd)
            bwd_out = torch.stack(list(reversed(bwd_outputs)), dim=1)
            out = torch.cat([fwd_out, bwd_out], dim=-1)
            hn = torch.stack([fwd_outputs[-1], bwd_outputs[-1]])
        else:
            out = fwd_out
            hn = fwd_outputs[-1].unsqueeze(0)
        if not self.batch_first:
            out = out.permute(1, 0, 2)
        return out, hn


class Smiles2Vec(nn.Module):
    ...
    # NPU 环境下使用 GRUCellAdapter 替代 nn.GRU
    if _npu_available:
        self.RNN_DICT = {
            'RNN': nn.RNN,
            'LSTM': nn.LSTM,
            'GRU': GRUCellAdapter
        }
    else:
        self.RNN_DICT = {'RNN': nn.RNN, 'LSTM': nn.LSTM, 'GRU': nn.GRU}

适配要点 2:import deepchem 段错误

问题描述

deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem。torch 先于 rdkit 加载导致 C++ 符号冲突 segfault,使 import deepchem 崩溃,所有测试无法运行。

修改方案

在 pytest 收集入口 conftest.py 顶部添加 from rdkit import Chem,确保 rdkit 先于 torch 加载,避免 C++ 符号冲突。conftest.py 是 pytest 测试收集的入口,在所有测试模块之前加载,一处修改覆盖全部测试。

修改前代码(deepchem/models/torch_models/tests/conftest.py):

import os
import pytest
import deepchem as dc
import pandas as pd

修改后代码(deepchem/models/torch_models/tests/conftest.py):

from rdkit import Chem  # noqa: F401  Must precede torch import to avoid C++ symbol conflict segfault
import os
import pytest
import deepchem as dc
import pandas as pd

适配要点 3:分类训练 double-sigmoid

问题描述

Smiles2Vec.forward() 分类模式返回 (Logits, output),其中 output = sigmoid(Logits)。output_types=['prediction', 'loss'] 将索引 1(sigmoid 后的 output)标记为 'loss',传给 BCEWithLogitsLoss。该 loss 函数期望接收 raw logits,内部会再做一次 sigmoid,导致 sigmoid(sigmoid(Logits)) = double-sigmoid,梯度范围大幅压缩,训练效率严重下降,分类测试间歇性失败。

仓库中所有其他分类模型(GCN、MEGNet、PagT、Grover 等)均遵循 return proba, logits 惯例(概率在前,logits 在后),Smiles2Vec 是唯一顺序反了的。

修改方案

交换返回值顺序:return Logits, output -> return output, Logits。修改后索引 0(prediction)= sigmoid 后的概率(供 predict() 返回),索引 1(loss)= raw logits(供 BCEWithLogitsLoss 使用),消除 double-sigmoid。

修改前代码(deepchem/models/torch_models/smiles2vec.py):

        if self.mode == "classification":
            Logits = Logits.view(-1, self.n_tasks, self.n_classes)

            if self.output_activation is not None:
                output = self.output_activation(Logits)
            return Logits, output
        else:
            Logits = Logits.view(-1, self.n_tasks, 1)
            return Logits

修改后代码(deepchem/models/torch_models/smiles2vec.py):

        if self.mode == "classification":
            Logits = Logits.view(-1, self.n_tasks, self.n_classes)

            if self.output_activation is not None:
                output = self.output_activation(Logits)
            return output, Logits
        else:
            Logits = Logits.view(-1, self.n_tasks, 1)
            return Logits

适配要点 4:回归测试 metric 键名不匹配

问题描述

get_dataset 中回归 metric 构造为 Metric(mean_absolute_error, mode="regression"),未传 task_averager。Metric 类在 task_averager 为 None 时直接使用 metric.__name__ 作为 name,即 'mean_absolute_error'。测试断言 scores['mean-mean_absolute_error'] 访问了不存在的键,抛出 KeyError。

修改方案

修正断言键名为实际的 metric name 'mean_absolute_error'。

修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

    assert scores['mean-mean_absolute_error'] < 0.1

修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

    assert scores['mean_absolute_error'] < 0.1

适配要点 5:分类测试结果不可复现

问题描述

get_dataset 中使用 np.random.randint 和 np.random.normal 生成随机标签,未设置随机种子。每次运行测试标签不同,训练结果不同,导致 test_Smiles2VecModel_classification 的 ROC AUC >= 0.9 断言结果不稳定。

修改方案

在 get_dataset 函数开头添加 np.random.seed(0),确保所有调用该函数的测试数据可复现。

修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

def get_dataset(mode="regression",
                featurizer="smiles2seq",
                max_seq_len=20,
                data_points=10,
                n_tasks=5,
                n_classes=2):

    dataset_file = os.path.join(os.path.dirname(__file__), "assets",

修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

def get_dataset(mode="regression",
                featurizer="smiles2seq",
                max_seq_len=20,
                data_points=10,
                n_tasks=5,
                n_classes=2):
    np.random.seed(0)

    dataset_file = os.path.join(os.path.dirname(__file__), "assets",

适配要点 6:test_Smiles2Vec_forward 未经 NPU 设备调度

问题描述

test_Smiles2Vec_forward 直接实例化 Smiles2Vec(nn.Module),不经过 Smiles2VecModel(TorchModel)。NPU 设备选择逻辑位于 TorchModel.__init__(torch_model.py:211-219)和 _prepare_batch(torch_model.py:948),nn.Module 不含此逻辑,导致模型和输入都留在 CPU,不验证 NPU 行为。

修改方案

在测试函数中添加设备检测 device = torch.device('npu') if torch.npu.is_available() else torch.device('cpu'),将模型 .to(device) 和输入 device=device 显式搬到 NPU。

修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

    model = Smiles2Vec(char_to_idx=char_to_idx,
                       max_seq_len=max_seq_len,
                       n_tasks=n_tasks)

    input = torch.randint(low=0, high=len(char_to_idx), size=(1, max_seq_len))

修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):

    device = torch.device('npu') if torch.npu.is_available() else torch.device('cpu')
    model = Smiles2Vec(char_to_idx=char_to_idx,
                       max_seq_len=max_seq_len,
                       n_tasks=n_tasks).to(device)

    input = torch.randint(low=0, high=len(char_to_idx), size=(1, max_seq_len),
                          device=device)

6. 测试结果

6.1 测试环境

  • 设备:Atlas 800T A2(单卡 NPU)
  • 镜像:torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11
  • PyTorch:2.7.1+cpu / torch_npu:2.7.1.post4 / CANN:9.0.0
  • 数据集:chembl_25_small.csv(本地测试集,10 数据点)

6.2 精度结果

测试项任务验收标准训练轮次实测值结果
Smiles2Vec 前向传播-输出 shape == (1, 5, 1)-(1, 5, 1)PASS
Smiles2Vec 回归回归MAE < 0.1500 epoch0.00003969PASS
Smiles2Vec 分类分类ROC AUC >= 0.9500 epoch1.00000000PASS
Smiles2Vec 模型重载回归scores == reloaded_scores10 epoch0.3696174052 == 0.3696174052PASS
TF 参考输出对比回归np.allclose(rtol=1e-5, atol=1e-6)-max diff < 1e-5PASS

6.3 性能结果

测试用例耗时说明
test_Smiles2Vec_forward1.35s单次前向传播(含 NPU kernel 首次编译)
test_Smiles2VecModel_regression55.33s500 epoch x 10 数据点,~0.111s/epoch
test_Smiles2VecModel_classification54.63s500 epoch x 10 数据点,~0.109s/epoch
test_Smiles2VecModel_reload1.57s10 epoch 训练 + checkpoint 保存/加载/重评估
test_smiles2vec_compare_with_tf_impl0.68sCPU 单次预测(权重拷贝 + 前向)
全套件总耗时113.63s含 pytest 收集 + 导入开销

6.4 测试方案

测试通过 pytest 框架运行,共 5 个测试用例,覆盖前向传播、回归训练、分类训练、模型重载和 TF 参考对比 5 个场景:

python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
    -v --durations=0

测试输出:

test_smiles2vec.py::test_Smiles2Vec_forward PASSED                  [ 20%]
test_smiles2vec.py::test_Smiles2VecModel_regression PASSED          [ 40%]
test_smiles2vec.py::test_Smiles2VecModel_classification PASSED      [ 60%]
test_smiles2vec.py::test_Smiles2VecModel_reload PASSED              [ 80%]
test_smiles2vec.py::test_smiles2vec_compare_with_tf_impl PASSED     [100%]

================== 5 passed, 2 warnings in 113.63s (0:01:53) ==================

设备分配验证:

测试用例模型设备输入设备输出设备
test_Smiles2Vec_forwardnpu:0npu:0npu:0
test_Smiles2VecModel_regressionnpu:0npu:0npu:0
test_Smiles2VecModel_classificationnpu:0npu:0npu:0
test_Smiles2VecModel_reloadnpu:0npu:0npu:0
test_smiles2vec_compare_with_tf_implcpu(设计选择)cpucpu

7. FAQ

Q1:为什么用 nn.GRUCell 替代 nn.GRU?直接用 nn.LSTM 不行吗?

A:nn.GRU 在 NPU 上路由到 DynamicGRUV2 算子,该算子仅支持 float16 且反向传播有缺陷。nn.GRUCell 使用不同的 C++ 后端(addmm/sigmoid/tanh),不触发 DynamicGRUV2,float32 前向+反向均正常。nn.LSTM 虽然在 NPU 上可用,但改变了模型架构(LSTM 有 cell state,GRU 没有),会影响模型精度和 TF 参考对比。GRUCellAdapter 保持了 GRU 的数学等价性(CPU 验证 diff=0.0)。

Q2:GRUCellAdapter 的 @property 别名是做什么的?

A:test_smiles2vec_compare_with_tf_impl 测试通过 torch_layer.weight_ih_l0.data.copy_() 等方式直接访问 nn.GRU 的参数名进行权重拷贝。GRUCellAdapter 内部使用 nn.GRUCell(参数名为 weight_ih/weight_hh 等),通过 @property 别名将 weight_ih_l0 映射到 cell_fwd.weight_ih,weight_ih_l0_reverse 映射到 cell_bwd.weight_ih,实现透明兼容。

Q3:为什么 conftest.py 要在顶部加 from rdkit import Chem?

A:deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem。torch 先于 rdkit 加载会导致 C++ 符号冲突 segfault。conftest.py 是 pytest 收集入口,在所有测试模块之前加载,确保 rdkit 先于 torch 加载。

Q4:test_smiles2vec_compare_with_tf_impl 为什么在 CPU 上运行?

A:该测试的目的是对比 PyTorch 实现与 TensorFlow 参考输出的数值一致性(np.allclose(rtol=1e-5, atol=1e-6)),CPU 是合理的执行环境。测试中显式指定 device=torch.device('cpu'),是设计选择而非 fallback。

Q5:torch.npu.is_available() 返回 False?

A:检查容器是否挂载了 NPU 设备(--device /dev/davinci0 等)及 driver 目录;宿主机执行 npu-smi info 确认设备在线。同时确认 torch_npu 包已安装(pip install torch_npu)。