YOLOS(You Only Look at One Sequence)是华中科技大学提出的将 Vision Transformer(ViT)直接用于目标检测的框架。本仓库适配的 yolos-small 为在 COCO 2017(118k 训练图)上微调的小尺寸版本,采用 DETR 式二分图匹配损失训练,官方在 COCO 2017 val 上报告 AP 36.1。模型主体由 ViT-small 骨干(12 层、hidden 384)与 100 个目标查询(object queries)构成,输出为固定数量的类别 logits 与归一化包围框。
本次适配在华为昇腾 910 上完成了权重的获取、NPU 推理路径验证、服务化封装与精度一致性评估。由于该模型是目标检测模型而非自回归语言模型,vLLM 的 token 生成链路并不适用,本仓库采用 torch_npu 原生执行路径实现 NPU 加速,并以 FastAPI 提供 OpenAI 风格的服务化接口。
| 项目 | 值 |
|---|---|
| 模型 ID | hustvl/yolos-small |
| 架构 | YolosForObjectDetection |
| 参数量 | 30,684,768(约 30.68M) |
| 骨干 | ViT-small(12 层 / 384 hidden / 6 heads) |
| 输入尺寸 | 预处理后 3×800×1056(保持宽高比) |
| 检测查询数 | 100 |
| 类别空间 | 91 个 COCO 类 + N/A |
| 权重体积 | 122.8MB(model.safetensors,fp32,212 个张量) |
| 官方精度 | COCO 2017 val AP 36.1 |
以下全部数据来自本次任务的真实运行环境。
| 项目 | 配置 |
|---|---|
| NPU 型号 | Ascend 910(aarch64) |
| SoC | ascend910_9391 |
| 可用 NPU | 2 片(本任务使用其中 1 片,npu:1) |
| 单卡 HBM | 64GB |
| 推理稳态占用 | 进程 674MB / 芯片 HBM 增量约 414MB |
| 项目 | 版本 |
|---|---|
| 操作系统 | Linux 5.10.0(aarch64) |
| Python | 3.11.14 |
| PyTorch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| CANN | 8.5.1 |
| transformers | 4.57.6 |
| vllm-ascend | 0.18.0(本模型不使用其 LLM 链路) |
| Pillow | 11.x |
| 项目 | 说明 |
|---|---|
| 首选源 | GitCode 镜像(hf_mirrors/hustvl/yolos-small) |
| 结果 | git clone / ls-remote 被服务端重定向至首页,无法拉取 |
| 实际采用 | ModelScope(hustvl/yolos-small) |
| 完整性 | model.safetensors 212 个张量读取校验通过,与 pytorch_model.bin 并存 |
仓库内 inference.py 自包含全部加载、前向、后处理逻辑,支持命令行单次推理与 FastAPI 服务化两种模式。默认端口 8320(避开环境中 8000/8001/8002 等其他服务的常用端口)。
pip install -r requirements.txtexport YOLOS_MODEL_DIR=/path/to/model_dir # 可选,默认 hustvl/yolos-small
python3 inference.py serve 8320启动日志(实测):
[SERVER] model loaded: device=npu:1 load_time_s=1.24
[SERVER] listening on http://0.0.0.0:8320
INFO: Uvicorn running on http://0.0.0.0:8320| 方法 | 路径 | 说明 |
|---|---|---|
| GET | /health | 服务与模型加载状态 |
| GET | /v1/models | 模型元信息 |
| POST | /v1/detect | 目标检测(JSON 内传 base64 图片或图片 URL) |
| POST | /v1/detect/file | 目标检测(multipart 上传图片) |
python3 inference.py run --image demo.jpg --threshold 0.7
python3 inference.py run --image demo.jpg --json以下为服务化推理的实测结果。测试图:assets/coco_sample.png(640×480 街景照片)。
curl -s http://127.0.0.1:8320/health{"status":"ok","model":"hustvl/yolos-small","device":"npu:1","loaded":true,"load_time_s":1.24}# base64 请求(Python 侧构造)
curl -s http://127.0.0.1:8320/v1/detect -H 'Content-Type: application/json' \
-d '{"image":"<base64>","threshold":0.7}'| # | 类别 | 置信度 | 包围框 (x1,y1,x2,y2) |
|---|---|---|---|
| 0 | remote | 0.9991 | [331.8, 80.5, 369.9, 188.1] |
| 1 | remote | 0.9799 | [39.5, 69.4, 179.9, 115.9] |
| 2 | cat | 0.9977 | [343.4, 19.8, 638.2, 370.9] |
| 3 | couch | 0.9873 | [0.0, -0.0, 639.9, 475.8] |
| 4 | cat | 0.9846 | [13.1, 55.7, 311.0, 467.1] |
单次请求 HTTP 200,服务端推理 18.1ms。阈值 0.5 与 0.9 下检测数量均为 5。
数据来自本次任务实测(Ascend 910 单卡,npu:1,输入 640×480 图)。
| 阶段 | 耗时 |
|---|---|
| 模型加载(含权重上卡) | 1.24s |
| 首次前向(冷启动) | 176~304ms |
| 稳态单请求推理 | 约 18.1ms |
| 持续负载吞吐 | 945 次 / 58s(约 16 次/s) |
| NPU 显存占用(进程) | 674MB |
说明:AICore 利用率在单次推理瞬间出现峰值,
npu-smi以约 1s 周期采样时读数多为 0;批量连续请求场景下吞吐约 16 req/s,主要瓶颈为图片编解码与预处理(Python 侧),模型前向占比小。
将同一输入在昇腾 NPU 与 CPU 上分别以 fp32 推理,比较输出。
| 指标 | 结果 |
|---|---|
| logits 最大绝对误差 | 4.88e-1(集中于背景类极端负值 logit) |
| logits 平均绝对误差 | 2.11e-2 |
| softmax 概率最大误差 | 1.47e-3 |
| pred_boxes 最大绝对误差 | 4.05e-2(<0.5px) |
| 最终检测一致性 | 5/5 标签与置信度完全一致,框偏移 <0.3px |
结论:logits 的较大绝对偏差仅出现在低概率背景类(占比约 1.4%),softmax 后概率差被压缩到 1e-3 量级,最终检测结果与 CPU 逐目标一致。差异属于浮点累加次序(融合注意力、gelu 实现差异)导致的正常数值噪声,无算子级精度损失。
/v1/chat/completions 接口不适用;本仓库以 torch_npu + FastAPI 提供服务化推理,接口见 3.3。npu-smi info 核对芯片占用,选择显存充裕的芯片。npu:1(显存更充裕);可通过 YOLOS_DEVICE 环境变量覆盖。model.safetensors 与 pytorch_model.bin 并存,transformers 优先读取 safetensors。YOLOS 论文:Yuxin Fang, Bencheng Liao, Xinggang Wang, et al. You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection. arXiv:2106.00666.