2402_88120098
/
Qwen_Qwen3-0.6B-FP8
like
0
添加到合集
文本生成
Transformers
Safetensors
Apache License 2.0
NPU
qwen3
ascend
model-agent-tagged
conversational
npu
fp8
text-generation-inference
endpoints_compatible
vllm-ascend
base_model:Qwen/Qwen3-0.6B
license:apache-2.0
arxiv:2505.09388
模型介绍
文件和版本
Pull Requests
讨论
分析
下载
Notebook 快速开发
已开启
0
已关闭
0
已合并
0
全部
0
创建者
合并人
排序
暂无数据
合并请求 - Qwen_Qwen3-0.6B-FP8:用户可在华为昇腾 NPU 上部署 Qwen3-0.6B-FP8 模型进行文本生成。核心功能:通过补丁实现 FP8 权重自动反量化为 BF16 推理,支持 vLLM 原生架构,保持兼容性,提供 API 服务与性能压测方案。【此简介由AI生成】 - AtomGit AI社区