h2o-danube3-500m-chat-GGUF

• 模型创建者：H2O.ai
• 原始模型：h2oai/h2o-danube3-500m-chat

模型说明

本仓库包含采用 llama.cpp 框架量化的 h2o-danube3-500m-chat 模型的 GGUF 格式文件。

下表汇总了 h2o-danube3-500m-chat 的不同量化版本，展示了模型在大小、速度和质量之间的权衡。

表格中各列含义：

• 名称 -- 模型名称及下载链接
• 量化方法 -- 采用的量化技术
• 模型大小 -- 模型文件占用的存储空间（GB）
• MT-Bench AVG -- MT-Bench 基准测试得分（范围1-10，分数越高性能越优）
• 困惑度 -- 在 WikiText-2 数据集上的困惑度指标（源自 llama.cpp 测试，数值越低性能越优）
• 每秒生成词元数 -- 文本生成速度（源自 llama.cpp 测试，数值越高性能越优）。速度测试基于单块 H100 GPU

提示词模板

<|prompt|>Why is drinking water so healthy?</s><|answer|>