Smiles2Vec(SMILES to Vector)模型通过学习 SMILES 字符串的神经网络表示,用于分子性质预测。模型将 SMILES 字符串转为字符索引序列,经嵌入层、一维卷积层和双向 GRU 循环神经网络提取特征,最终通过全连接层输出预测结果。
| 阶段 | 模块 | 说明 |
|---|---|---|
| 输入特征化 | SmilesToSeq | 将 SMILES 字符串转为字符索引序列,支持 padding |
| 嵌入 | nn.Embedding | 将字符索引映射为稠密向量(默认 embedding_dim=50) |
| 卷积 | nn.Conv1d + ReLU | 一维卷积提取局部特征(默认 192 filters, kernel_size=3) |
| 循环 | 双向 GRU × 2 层 | 学习序列时序依赖(hidden_size=224, 384) |
| 输出 | nn.Linear | 全连接层输出分子性质预测(回归/分类) |
| 项目 | 规格 |
|---|---|
| 任务类型 | 分子性质预测(回归/分类) |
| 框架依赖 | DeepChem + torch_npu |
| 默认 batch_size | 100 |
| 默认 learning_rate | 0.001 |
| RNN 类型 | 双向 GRU(2 层) |
| 精度参考(回归) | MAE < 0.1(500 epoch) |
| 精度参考(分类) | ROC AUC >= 0.9(500 epoch) |
| 数据集 | chembl_25_small.csv(本地测试集) |
| 运行设备 | Atlas 800T A2(单卡 NPU) |
| 路径 | 用途 |
|---|---|
/deepchem-ascend | deepchem-ascend 源码目录 |
deepchem/models/torch_models/smiles2vec.py | 模型实现(含 NPU 适配代码) |
deepchem/models/torch_models/tests/test_smiles2vec.py | 测试脚本 |
deepchem/models/torch_models/tests/conftest.py | pytest 收集入口 |
| 组件 | 版本 |
|---|---|
| Python | 3.11.15 |
| PyTorch | 2.7.1+cpu |
| torch_npu | 2.7.1.post4 |
| CANN | 9.0.0 |
| deepchem-ascend | 0.0.8.dev |
| 设备型号 | NPU 配置 |
|---|---|
| Atlas 800T A2 | 单卡 |
| 镜像环境 | 镜像地址 |
|---|---|
| 公网 | swr.cn-south-1.myhuaweicloud.com/ascendhub/torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11 |
IMAGE_ID=swr.cn-south-1.myhuaweicloud.com/ascendhub/torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11
CONTAINER_NAME=smiles2vec
docker run -u root --privileged \
--name ${CONTAINER_NAME} \
--device /dev/davinci0 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-itd ${IMAGE_ID} /bin/bash# 克隆源码
cd /home
git clone https://gitcode.com/AI4Science/deepchem-ascend.git
# 安装 Python 依赖
pip install packaging tqdm transformers pytest \
-i https://mirrors.huaweicloud.com/repository/pypi/simple/
# 开发者模式安装
cd /home/deepchem-ascend
pip install -e . -i https://mirrors.huaweicloud.com/repository/pypi/simple/模型适配代码已直接修改在 deepchem-ascend 源码中,开发者模式安装后自动生效。无需额外打 patch 或安装二进制包。
# 运行全部 5 个测试用例
python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
-v --durations=0测试用例覆盖以下场景:
| 测试用例 | 测试场景 | 设备 |
|---|---|---|
test_Smiles2Vec_forward | 前向传播输出形状验证 | NPU |
test_Smiles2VecModel_regression | 回归训练 + 精度评估(500 epoch) | NPU |
test_Smiles2VecModel_classification | 分类训练 + 精度评估(500 epoch) | NPU |
test_Smiles2VecModel_reload | Checkpoint 保存/加载/精度一致性验证 | NPU |
test_smiles2vec_compare_with_tf_impl | PyTorch 与 TensorFlow 参考输出数值一致性验证 | CPU(设计选择) |
python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
-v --durations=0| 步骤 | 问题描述 | 修改代码路径 |
|---|---|---|
| 1. GRU 算子 NPU 不支持 float32 | NPU 的 DynamicGRUV2 算子仅支持 float16,不支持 float32。nn.GRU 前向报错 Unsupported_Operator,反向段错误。Smiles2Vec 默认使用双向 nn.GRU,全部训练和预测崩溃。 | deepchem/models/torch_models/smiles2vec.py(第 9-113 行新增 GRUCellAdapter,第 216-223 行 RNN_DICT 条件切换) |
2. import deepchem 段错误 | deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem,torch 先于 rdkit 加载导致 C++ 符号冲突 segfault,所有测试无法运行。 | deepchem/models/torch_models/tests/conftest.py(第 1 行新增 from rdkit import Chem) |
| 3. 分类训练 double-sigmoid | Smiles2Vec.forward() 返回 (Logits, sigmoid(Logits)),output_types=['prediction','loss'] 将 sigmoid 后的值传给 BCEWithLogitsLoss,该 loss 内部再做 sigmoid,导致 sigmoid(sigmoid(Logits)),梯度压缩,训练效率严重下降。 | deepchem/models/torch_models/smiles2vec.py(第 297 行交换返回值顺序) |
| 4. 回归测试 metric 键名不匹配 | Metric(mean_absolute_error, mode="regression") 未传 task_averager,metric name 为 'mean_absolute_error',断言访问 'mean-mean_absolute_error' 抛 KeyError。 | deepchem/models/torch_models/tests/test_smiles2vec.py(第 124 行修正键名) |
| 5. 分类测试结果不可复现 | get_dataset 中随机生成标签无种子,每次运行结果不同,ROC AUC >= 0.9 断言不稳定。 | deepchem/models/torch_models/tests/test_smiles2vec.py(第 25 行添加 np.random.seed(0)) |
| 6. forward 测试未经 NPU 调度 | test_Smiles2Vec_forward 直接实例化 nn.Module,不经过 TorchModel 的 NPU 设备选择逻辑,模型和输入留在 CPU。 | deepchem/models/torch_models/tests/test_smiles2vec.py(第 89-95 行添加设备检测) |
问题描述
NPU 的 DynamicGRUV2 算子仅支持 DT_FLOAT16,不支持 DT_FLOAT32。nn.GRU 在 NPU 上路由到该算子,前向传播报错 Unsupported_Operator,反向传播(即使转 float16)也会段错误。Smiles2Vec 模型默认使用双向 nn.GRU(rnn_layers 和 last_rnn_layer),导致全部训练和预测测试崩溃。
修改方案
新增 GRUCellAdapter 类,包装 nn.GRUCell 替代 nn.GRU。nn.GRUCell 使用不同的 C++ 后端(addmm/sigmoid/tanh),不触发 DynamicGRUV2,在 NPU 上 float32 前向+反向均正常。Adapter 内部通过 Python 循环遍历时间步模拟 nn.GRU 单层语义,支持双向 RNN。通过 8 个 @property 别名暴露 weight_ih_l0 等参数名,兼容直接访问 nn.GRU 参数的代码(如 test_smiles2vec_compare_with_tf_impl)。与 nn.GRU 在 CPU 上数学完全等价(验证 diff=0.0)。
修改前代码(deepchem/models/torch_models/smiles2vec.py):
import torch.nn as nn
import torch
import math
from typing import List, Dict, Optional, Union
from deepchem.models.torch_models import TorchModel
from deepchem.models.losses import L2Loss, SoftmaxCrossEntropy, SigmoidCrossEntropy
class Smiles2Vec(nn.Module):
...
# RNN_DICT 直接使用 nn.GRU,NPU 上触发 DynamicGRUV2 报错
self.RNN_DICT = {'RNN': nn.RNN, 'LSTM': nn.LSTM, 'GRU': nn.GRU}修改后代码(deepchem/models/torch_models/smiles2vec.py):
import torch.nn as nn
import torch
import math
from typing import List, Dict, Optional, Union
from deepchem.models.torch_models import TorchModel
from deepchem.models.losses import L2Loss, SoftmaxCrossEntropy, SigmoidCrossEntropy
try:
import torch_npu
_npu_available = torch.npu.is_available()
except (ImportError, AttributeError):
_npu_available = False
class GRUCellAdapter(nn.Module):
"""Wraps nn.GRUCell to provide an interface compatible with nn.GRU."""
def __init__(self, input_size, hidden_size, batch_first=True,
bidirectional=False, **kwargs):
super(GRUCellAdapter, self).__init__()
self.input_size = input_size
self.hidden_size = hidden_size
self.batch_first = batch_first
self.bidirectional = bidirectional
self.cell_fwd = nn.GRUCell(input_size, hidden_size)
if bidirectional:
self.cell_bwd = nn.GRUCell(input_size, hidden_size)
@property
def weight_ih_l0(self):
return self.cell_fwd.weight_ih
@property
def weight_hh_l0(self):
return self.cell_fwd.weight_hh
@property
def bias_ih_l0(self):
return self.cell_fwd.bias_ih
@property
def bias_hh_l0(self):
return self.cell_fwd.bias_hh
@property
def weight_ih_l0_reverse(self):
return self.cell_bwd.weight_ih
@property
def weight_hh_l0_reverse(self):
return self.cell_bwd.weight_hh
@property
def bias_ih_l0_reverse(self):
return self.cell_bwd.bias_ih
@property
def bias_hh_l0_reverse(self):
return self.cell_bwd.bias_hh
def forward(self, x, h0=None):
if not self.batch_first:
x = x.permute(1, 0, 2)
batch_size, seq_len, _ = x.shape
num_directions = 2 if self.bidirectional else 1
if h0 is None:
h0 = torch.zeros(num_directions, batch_size, self.hidden_size,
device=x.device, dtype=x.dtype)
h_fwd = h0[0]
fwd_outputs = []
for t in range(seq_len):
h_fwd = self.cell_fwd(x[:, t, :], h_fwd)
fwd_outputs.append(h_fwd)
fwd_out = torch.stack(fwd_outputs, dim=1)
if self.bidirectional:
h_bwd = h0[1]
bwd_outputs = []
for t in reversed(range(seq_len)):
h_bwd = self.cell_bwd(x[:, t, :], h_bwd)
bwd_outputs.append(h_bwd)
bwd_out = torch.stack(list(reversed(bwd_outputs)), dim=1)
out = torch.cat([fwd_out, bwd_out], dim=-1)
hn = torch.stack([fwd_outputs[-1], bwd_outputs[-1]])
else:
out = fwd_out
hn = fwd_outputs[-1].unsqueeze(0)
if not self.batch_first:
out = out.permute(1, 0, 2)
return out, hn
class Smiles2Vec(nn.Module):
...
# NPU 环境下使用 GRUCellAdapter 替代 nn.GRU
if _npu_available:
self.RNN_DICT = {
'RNN': nn.RNN,
'LSTM': nn.LSTM,
'GRU': GRUCellAdapter
}
else:
self.RNN_DICT = {'RNN': nn.RNN, 'LSTM': nn.LSTM, 'GRU': nn.GRU}import deepchem 段错误问题描述
deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem。torch 先于 rdkit 加载导致 C++ 符号冲突 segfault,使 import deepchem 崩溃,所有测试无法运行。
修改方案
在 pytest 收集入口 conftest.py 顶部添加 from rdkit import Chem,确保 rdkit 先于 torch 加载,避免 C++ 符号冲突。conftest.py 是 pytest 测试收集的入口,在所有测试模块之前加载,一处修改覆盖全部测试。
修改前代码(deepchem/models/torch_models/tests/conftest.py):
import os
import pytest
import deepchem as dc
import pandas as pd修改后代码(deepchem/models/torch_models/tests/conftest.py):
from rdkit import Chem # noqa: F401 Must precede torch import to avoid C++ symbol conflict segfault
import os
import pytest
import deepchem as dc
import pandas as pd问题描述
Smiles2Vec.forward() 分类模式返回 (Logits, output),其中 output = sigmoid(Logits)。output_types=['prediction', 'loss'] 将索引 1(sigmoid 后的 output)标记为 'loss',传给 BCEWithLogitsLoss。该 loss 函数期望接收 raw logits,内部会再做一次 sigmoid,导致 sigmoid(sigmoid(Logits)) = double-sigmoid,梯度范围大幅压缩,训练效率严重下降,分类测试间歇性失败。
仓库中所有其他分类模型(GCN、MEGNet、PagT、Grover 等)均遵循 return proba, logits 惯例(概率在前,logits 在后),Smiles2Vec 是唯一顺序反了的。
修改方案
交换返回值顺序:return Logits, output -> return output, Logits。修改后索引 0(prediction)= sigmoid 后的概率(供 predict() 返回),索引 1(loss)= raw logits(供 BCEWithLogitsLoss 使用),消除 double-sigmoid。
修改前代码(deepchem/models/torch_models/smiles2vec.py):
if self.mode == "classification":
Logits = Logits.view(-1, self.n_tasks, self.n_classes)
if self.output_activation is not None:
output = self.output_activation(Logits)
return Logits, output
else:
Logits = Logits.view(-1, self.n_tasks, 1)
return Logits修改后代码(deepchem/models/torch_models/smiles2vec.py):
if self.mode == "classification":
Logits = Logits.view(-1, self.n_tasks, self.n_classes)
if self.output_activation is not None:
output = self.output_activation(Logits)
return output, Logits
else:
Logits = Logits.view(-1, self.n_tasks, 1)
return Logits问题描述
get_dataset 中回归 metric 构造为 Metric(mean_absolute_error, mode="regression"),未传 task_averager。Metric 类在 task_averager 为 None 时直接使用 metric.__name__ 作为 name,即 'mean_absolute_error'。测试断言 scores['mean-mean_absolute_error'] 访问了不存在的键,抛出 KeyError。
修改方案
修正断言键名为实际的 metric name 'mean_absolute_error'。
修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
assert scores['mean-mean_absolute_error'] < 0.1修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
assert scores['mean_absolute_error'] < 0.1问题描述
get_dataset 中使用 np.random.randint 和 np.random.normal 生成随机标签,未设置随机种子。每次运行测试标签不同,训练结果不同,导致 test_Smiles2VecModel_classification 的 ROC AUC >= 0.9 断言结果不稳定。
修改方案
在 get_dataset 函数开头添加 np.random.seed(0),确保所有调用该函数的测试数据可复现。
修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
def get_dataset(mode="regression",
featurizer="smiles2seq",
max_seq_len=20,
data_points=10,
n_tasks=5,
n_classes=2):
dataset_file = os.path.join(os.path.dirname(__file__), "assets",修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
def get_dataset(mode="regression",
featurizer="smiles2seq",
max_seq_len=20,
data_points=10,
n_tasks=5,
n_classes=2):
np.random.seed(0)
dataset_file = os.path.join(os.path.dirname(__file__), "assets",test_Smiles2Vec_forward 未经 NPU 设备调度问题描述
test_Smiles2Vec_forward 直接实例化 Smiles2Vec(nn.Module),不经过 Smiles2VecModel(TorchModel)。NPU 设备选择逻辑位于 TorchModel.__init__(torch_model.py:211-219)和 _prepare_batch(torch_model.py:948),nn.Module 不含此逻辑,导致模型和输入都留在 CPU,不验证 NPU 行为。
修改方案
在测试函数中添加设备检测 device = torch.device('npu') if torch.npu.is_available() else torch.device('cpu'),将模型 .to(device) 和输入 device=device 显式搬到 NPU。
修改前代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
model = Smiles2Vec(char_to_idx=char_to_idx,
max_seq_len=max_seq_len,
n_tasks=n_tasks)
input = torch.randint(low=0, high=len(char_to_idx), size=(1, max_seq_len))修改后代码(deepchem/models/torch_models/tests/test_smiles2vec.py):
device = torch.device('npu') if torch.npu.is_available() else torch.device('cpu')
model = Smiles2Vec(char_to_idx=char_to_idx,
max_seq_len=max_seq_len,
n_tasks=n_tasks).to(device)
input = torch.randint(low=0, high=len(char_to_idx), size=(1, max_seq_len),
device=device)torch-npu:2.7.1.post4-910b-openeuler24.03-py3.11| 测试项 | 任务 | 验收标准 | 训练轮次 | 实测值 | 结果 |
|---|---|---|---|---|---|
| Smiles2Vec 前向传播 | - | 输出 shape == (1, 5, 1) | - | (1, 5, 1) | PASS |
| Smiles2Vec 回归 | 回归 | MAE < 0.1 | 500 epoch | 0.00003969 | PASS |
| Smiles2Vec 分类 | 分类 | ROC AUC >= 0.9 | 500 epoch | 1.00000000 | PASS |
| Smiles2Vec 模型重载 | 回归 | scores == reloaded_scores | 10 epoch | 0.3696174052 == 0.3696174052 | PASS |
| TF 参考输出对比 | 回归 | np.allclose(rtol=1e-5, atol=1e-6) | - | max diff < 1e-5 | PASS |
| 测试用例 | 耗时 | 说明 |
|---|---|---|
test_Smiles2Vec_forward | 1.35s | 单次前向传播(含 NPU kernel 首次编译) |
test_Smiles2VecModel_regression | 55.33s | 500 epoch x 10 数据点,~0.111s/epoch |
test_Smiles2VecModel_classification | 54.63s | 500 epoch x 10 数据点,~0.109s/epoch |
test_Smiles2VecModel_reload | 1.57s | 10 epoch 训练 + checkpoint 保存/加载/重评估 |
test_smiles2vec_compare_with_tf_impl | 0.68s | CPU 单次预测(权重拷贝 + 前向) |
| 全套件总耗时 | 113.63s | 含 pytest 收集 + 导入开销 |
测试通过 pytest 框架运行,共 5 个测试用例,覆盖前向传播、回归训练、分类训练、模型重载和 TF 参考对比 5 个场景:
python -m pytest /deepchem-ascend/deepchem/models/torch_models/tests/test_smiles2vec.py \
-v --durations=0测试输出:
test_smiles2vec.py::test_Smiles2Vec_forward PASSED [ 20%]
test_smiles2vec.py::test_Smiles2VecModel_regression PASSED [ 40%]
test_smiles2vec.py::test_Smiles2VecModel_classification PASSED [ 60%]
test_smiles2vec.py::test_Smiles2VecModel_reload PASSED [ 80%]
test_smiles2vec.py::test_smiles2vec_compare_with_tf_impl PASSED [100%]
================== 5 passed, 2 warnings in 113.63s (0:01:53) ==================设备分配验证:
| 测试用例 | 模型设备 | 输入设备 | 输出设备 |
|---|---|---|---|
test_Smiles2Vec_forward | npu:0 | npu:0 | npu:0 |
test_Smiles2VecModel_regression | npu:0 | npu:0 | npu:0 |
test_Smiles2VecModel_classification | npu:0 | npu:0 | npu:0 |
test_Smiles2VecModel_reload | npu:0 | npu:0 | npu:0 |
test_smiles2vec_compare_with_tf_impl | cpu(设计选择) | cpu | cpu |
Q1:为什么用 nn.GRUCell 替代 nn.GRU?直接用 nn.LSTM 不行吗?
A:nn.GRU 在 NPU 上路由到 DynamicGRUV2 算子,该算子仅支持 float16 且反向传播有缺陷。nn.GRUCell 使用不同的 C++ 后端(addmm/sigmoid/tanh),不触发 DynamicGRUV2,float32 前向+反向均正常。nn.LSTM 虽然在 NPU 上可用,但改变了模型架构(LSTM 有 cell state,GRU 没有),会影响模型精度和 TF 参考对比。GRUCellAdapter 保持了 GRU 的数学等价性(CPU 验证 diff=0.0)。
Q2:GRUCellAdapter 的 @property 别名是做什么的?
A:test_smiles2vec_compare_with_tf_impl 测试通过 torch_layer.weight_ih_l0.data.copy_() 等方式直接访问 nn.GRU 的参数名进行权重拷贝。GRUCellAdapter 内部使用 nn.GRUCell(参数名为 weight_ih/weight_hh 等),通过 @property 别名将 weight_ih_l0 映射到 cell_fwd.weight_ih,weight_ih_l0_reverse 映射到 cell_bwd.weight_ih,实现透明兼容。
Q3:为什么 conftest.py 要在顶部加 from rdkit import Chem?
A:deepchem 导入链中 graph_utils.py 先导入 torch,poly_wd_graph_utils.py 后导入 rdkit.Chem。torch 先于 rdkit 加载会导致 C++ 符号冲突 segfault。conftest.py 是 pytest 收集入口,在所有测试模块之前加载,确保 rdkit 先于 torch 加载。
Q4:test_smiles2vec_compare_with_tf_impl 为什么在 CPU 上运行?
A:该测试的目的是对比 PyTorch 实现与 TensorFlow 参考输出的数值一致性(np.allclose(rtol=1e-5, atol=1e-6)),CPU 是合理的执行环境。测试中显式指定 device=torch.device('cpu'),是设计选择而非 fallback。
Q5:torch.npu.is_available() 返回 False?
A:检查容器是否挂载了 NPU 设备(--device /dev/davinci0 等)及 driver 目录;宿主机执行 npu-smi info 确认设备在线。同时确认 torch_npu 包已安装(pip install torch_npu)。