K-ON111111/Falcon-TST_Large
模型介绍
文件和版本
Pull Requests
讨论
分析

Falcon-TST_Large — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛（第二季） 引擎: torch_npu + transformers (trust_remote_code) 硬件: Ascend 910B 系列（实测 Ascend910B4） 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型ant-intl/Falcon-TST_Large
架构Falcon-TST（时序 Transformer，MoE 异构专家）
参数量2.49B
任务类型时序预测（Time Series Forecasting）
输入格式[batch, seq_len] 或 [batch, seq_len, channels] 时序
输出格式[batch, forecast_horizon, channels] 预测

🔧 环境依赖

pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

⚠️ 本仓库不包含模型权重（交付件仅 inference.py / readme.md / requirements.txt / assets/）， 推理前必须先从原始模型仓单独下载权重。

# 1. 下载模型权重（仓库不含权重，必须单独下载）
git clone https://gitcode.com/hf_mirrors/ant-intl/Falcon-TST_Large.git .
git lfs pull

# 2. 运行 NPU 推理（缺省 512 点示例数据，预测 96 步）
python3 inference.py --model_path . --device npu:0

🧪 测试用例

用例 1: 时序预测（512 点上下文 → 96 步）

python3 inference.py --model_path . --device npu:0

预期输出:

[Model Agent] ✅ NPU 设备就绪: Ascend910B4
[Model Agent] ✅ 模型加载完成 → npu:0 (2.49B)
[Model Agent] 📊 输入过去值: 512 个, 预测 96 步
[Model Agent] ✅ 推理完成 → 预测 96 步, 耗时 564 ms
[Model Agent] 📈 预测前5: [64.89, 64.82, 64.71, 64.52, 64.57]
[Model Agent] ✅ 结果已保存 → inference_result.json

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
└── assets/               # 截图素材

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配。 FalconTSTForPrediction（2.5B 时序 MoE Transformer，自定义代码）迁移至昇腾 NPU：

  • trust_remote_code=True 加载自定义 modeling_FalconTST.py；
  • 调用 torch_npu 完成设备初始化，model.predict(time_series, forecast_horizon) 自回归生成预测；
  • 全部算子为原生 PyTorch（SDPA 注意力），NPU 直接运行。