HuggingFace镜像/h2o-danube2-1.8b-chat
模型介绍文件和版本分析
下载使用量0

模型卡片

修改内容

  • 修改示例并添加NPU支持
  • 添加依赖项

概述

h2o-danube2-1.8b-chat是H2O.ai公司微调的聊天模型，拥有18亿参数。我们发布了该模型的三个版本：

模型名称描述
h2oai/h2o-danube2-1.8b-base基础模型
h2oai/h2o-danube2-1.8b-sftSFT微调模型
h2oai/h2o-danube2-1.8b-chatSFT + DPO微调模型

本模型使用H2O LLM Studio进行训练。

模型架构

我们调整了Llama 2架构，使其总参数约为18亿。详细信息请参考我们的技术报告。我们使用Mistral分词器，词汇量为32,000，并将模型训练到8,192的上下文长度。

模型架构详情如下：

超参数值
n_layers24
n_heads32
n_query_groups8
n_embd2560
vocab size32000
sequence length8192

依赖项

  • transformers==4.44.2
  • psutil==6.0.0
  • better_profanity==0.7.0
  • einops==0.6.1
  • protobuf==5.28.2

使用方法

from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download

if is_torch_npu_available():
	device = "npu:0"
else:
	device = "cpu"
generate_text = pipeline(
		model="SY_AICC/h2o-danube2-1.8b-chat",
		torch_dtype=torch.bfloat16, 
		trust_remote_code=True,
		device=device,)
output = generate_text(
		"Why is drinking water so healthy?", 
		max_new_tokens=100)
print(res[0]["generated_text"])

量化与分片

您可以通过指定 load_in_8bit=True 或 load_in_4bit=True 来使用量化方式加载模型。此外，通过设置 device_map=auto，可以在多个 GPU 上进行分片。

模型架构

MistralForCausalLM(
  (model): MistralModel(
    (embed_tokens): Embedding(32000, 2560, padding_idx=0)
    (layers): ModuleList(
      (0-23): 24 x MistralDecoderLayer(
        (self_attn): MistralAttention(
          (q_proj): Linear(in_features=2560, out_features=2560, bias=False)
          (k_proj): Linear(in_features=2560, out_features=640, bias=False)
          (v_proj): Linear(in_features=2560, out_features=640, bias=False)
          (o_proj): Linear(in_features=2560, out_features=2560, bias=False)
          (rotary_emb): MistralRotaryEmbedding()
        )
        (mlp): MistralMLP(
          (gate_proj): Linear(in_features=2560, out_features=6912, bias=False)
          (up_proj): Linear(in_features=2560, out_features=6912, bias=False)
          (down_proj): Linear(in_features=6912, out_features=2560, bias=False)
          (act_fn): SiLU()
        )
        (input_layernorm): MistralRMSNorm()
        (post_attention_layernorm): MistralRMSNorm()
      )
    )
    (norm): MistralRMSNorm()
  )
  (lm_head): Linear(in_features=2560, out_features=32000, bias=False)
)

基准测试

🤗 Open LLM 排行榜

基准测试acc_n
平均值48.44
ARC-challenge43.43
Hellaswag73.54
MMLU37.77
TruthfulQA39.96
Winogrande69.77
GSM8K26.16

MT-Bench

First Turn: 6.23
Second Turn: 5.34
Average: 5.79

免责声明

在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对模型的使用即表示您同意以下条款和条件。

  • 偏见与冒犯性内容：大型语言模型是基于多样化的互联网文本数据训练而成，这些数据可能包含有偏见、种族歧视、冒犯性或其他不当内容。使用本模型即表示您承认并接受，生成的内容有时可能会表现出偏见，或产生冒犯性、不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
  • 局限性：大型语言模型是一种基于人工智能的工具，并非人类。它可能会生成不正确、无意义或不相关的回复。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
  • 风险自负：使用本大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库的开发者和贡献者不对因使用或误用所提供的模型而导致的任何损害、损失或伤害承担责任。
  • 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。使用本模型即表示您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
  • 问题报告：如果您遇到大型语言模型生成的任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将有助于改进模型并减少潜在问题。
  • 免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，无需事先通知。用户有责任定期查看本免责声明，以了解任何变更。

使用本仓库提供的大型语言模型，即表示您同意接受并遵守本免责声明中所述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用该模型及其生成的任何内容。