HuggingFace镜像/Yi-1.5-9B-32K
模型介绍文件和版本分析
下载使用量0

使用方法

以下是ikawrakow制作的一个实用图表,对比了部分低质量量化类型(数值越低越好):

image.png

此外,Artefact2也对此发表了相关看法: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

致谢

感谢我的公司nethype GmbH允许我使用其服务器,并为我的工作站提供升级,使我能在业余时间完成这项工作。