2301_76761127/falcon-tst_large-npu
模型介绍
文件和版本
Pull Requests
讨论
分析

Falcon-TST_Large on Ascend NPU

本仓提供 ant-intl/Falcon-TST_Large 的昇腾 NPU 离线推理入口。模型文件需在运行前放入本地 model/;推荐使用固定快照 revision 344bb5c86c1b3e7d68b331dad236bfd33f869ba2。推理代码不会联网下载模型,也不接受 CPU/CUDA 推理回退。

环境与目录

验证环境为 Ascend 910B3、CANN 8.5.1、Python 3.11、PyTorch 2.9.0 和 torch_npu 2.9.0.post1。保留容器自带的 CANN/PyTorch/torch_npu,仅安装 requirements.txt 中的模型层依赖。

workspace/
├── repo/
├── model/
└── pydeps/
cd repo
python3 -m pip install --no-deps --target ../pydeps -r requirements.txt

NPU 推理

cd repo
source /usr/local/Ascend/cann-8.5.1/set_env.sh
export PYTHONNOUSERSITE=1
export PYTHONPATH=../pydeps:$PYTHONPATH
EVIDENCE_HOLD_SECONDS=0 python3 inference.py \
  --model_path ../model \
  --device npu:0 \
  --seed 20260816 \
  --output_json result.json

入口仅接受 npu:N。NPU 不可用、模型/输入/输出未留在指定 NPU、输出形状不完整或出现非有限值时均非零退出。EVIDENCE_HOLD_SECONDS=1..600 可在完成前向后保持同一进程和 NPU 驻留状态,便于设备取证。

固定测试包含 8 条确定性时间序列,每条预测 64 个值,总计 512 个有限输出。当前 Model Agent 容器已完成真实 Ascend NPU 前向并返回 exit_status=0;本结果用于迁移运行验证,不代表通用预测质量。

证据

assets/ 包含两组独立截图:agent_workflow{,_2}.png、npu_device_call{,_2}.png 和 model_result{,_2}.png。

本仓为 2301_76761127 队伍交付件(与备份账号合并提交)。