HuggingFace镜像/h2ogpt-gm-7b-mistral-chat-sft-dpo-rag-v1
模型介绍文件和版本分析

模型卡片

修改内容

  • 修改示例并添加NPU支持
  • 添加依赖项

概述

本模型使用H2O LLM Studio进行训练。访问H2O LLM Studio了解如何训练您自己的大型语言模型。

依赖项

  • transformers==4.44.2
  • psutil==6.0.0
  • better_profanity==0.7.0
  • einops==0.6.1
  • protobuf==5.28.2

使用方法

from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download
if is_torch_npu_available():
	device = "npu:0"
else:
	device = "cpu"
pipe = pipeline(
    "text-generation",
    model="SY_AICC/h2ogpt-gm-7b-mistral-chat-sft-dpo-rag-v1",
    torch_dtype=torch.bfloat16,
    device=device,
)

messages = [
    {"role": "user", "content": "Why is drinking water so healthy?"},
]
prompt = pipe.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
res = pipe(
    prompt,
    max_new_tokens=256,
)
print(res[0]["generated_text"])
# <|system|>You are a friendly chatbot</s><|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...]

量化与分片

您可以通过指定 load_in_8bit=True 或 load_in_4bit=True 来使用量化方式加载模型。

模型架构

MistralForCausalLM(
  (model): MistralModel(
    (embed_tokens): Embedding(32000, 4096, padding_idx=0)
    (layers): ModuleList(
      (0-31): 32 x MistralDecoderLayer(
        (self_attn): MistralAttention(
          (q_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (k_proj): Linear(in_features=4096, out_features=1024, bias=False)
          (v_proj): Linear(in_features=4096, out_features=1024, bias=False)
          (o_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (rotary_emb): MistralRotaryEmbedding()
        )
        (mlp): MistralMLP(
          (gate_proj): Linear(in_features=4096, out_features=14336, bias=False)
          (up_proj): Linear(in_features=4096, out_features=14336, bias=False)
          (down_proj): Linear(in_features=14336, out_features=4096, bias=False)
          (act_fn): SiLUActivation()
        )
        (input_layernorm): MistralRMSNorm()
        (post_attention_layernorm): MistralRMSNorm()
      )
    )
    (norm): MistralRMSNorm()
  )
  (lm_head): Linear(in_features=4096, out_features=32000, bias=False)
)

免责声明

在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对本模型的使用即表示您同意以下条款和条件。

  • 偏见与冒犯性内容：大型语言模型是基于多种互联网文本数据训练而成的，这些数据可能包含有偏见、种族歧视、冒犯性或其他不当内容。通过使用本模型，您承认并接受生成的内容有时可能会表现出偏见，或产生冒犯性、不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
  • 局限性：大型语言模型是一种基于人工智能的工具，而非人类。它可能会生成不正确、无意义或不相关的回复。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
  • 风险自负：使用本大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。对于因使用或误用本模型而导致的任何损害、损失或伤害，本仓库的开发者和贡献者不承担任何责任。
  • 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。通过使用本模型，您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
  • 问题报告：如果您发现大型语言模型生成了任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将有助于改进模型并减少潜在问题。
  • 免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，无需事先通知。用户有责任定期查看本免责声明，以了解任何变更。

通过使用本仓库提供的大型语言模型，您同意接受并遵守本免责声明中所述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用本模型及其生成的任何内容。

下载使用量0