HuggingFace镜像/h2ogpt-gm-oasst1-en-2048-falcon-7b-v3
模型介绍文件和版本分析

模型卡片

修改

  • 修改示例并添加npu支持
  • 添加依赖项

概述

本模型使用H2O LLM Studio进行训练。

  • 基础模型：tiiuae/falcon-7b
  • 数据集准备：OpenAssistant/oasst1 个性化处理

依赖项

  • transformers==4.44.2
  • psutil==6.0.0
  • better_profanity==0.7.0
  • einops==0.6.1
  • protobuf==5.28.2

使用方法

from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download

if is_torch_npu_available():
	device = "npu:0"
else:
	device = "cpu"
generate_text = pipeline(
		model="SY_AICC/h2ogpt-gm-oasst1-en-2048-falcon-7b-v3",
		torch_dtype=torch.bfloat16, 
		trust_remote_code=True,
		device=device,)
output = generate_text(
		"Why is drinking water so healthy?", 
		max_new_tokens=100)
print(res[0]["generated_text"])

模型架构

RWForCausalLM(
  (transformer): RWModel(
    (word_embeddings): Embedding(65024, 4544)
    (h): ModuleList(
      (0-31): 32 x DecoderLayer(
        (input_layernorm): LayerNorm((4544,), eps=1e-05, elementwise_affine=True)
        (self_attention): Attention(
          (maybe_rotary): RotaryEmbedding()
          (query_key_value): Linear(in_features=4544, out_features=4672, bias=False)
          (dense): Linear(in_features=4544, out_features=4544, bias=False)
          (attention_dropout): Dropout(p=0.0, inplace=False)
        )
        (mlp): MLP(
          (dense_h_to_4h): Linear(in_features=4544, out_features=18176, bias=False)
          (act): GELU(approximate='none')
          (dense_4h_to_h): Linear(in_features=18176, out_features=4544, bias=False)
        )
      )
    )
    (ln_f): LayerNorm((4544,), eps=1e-05, elementwise_affine=True)
  )
  (lm_head): Linear(in_features=4544, out_features=65024, bias=False)
)

模型配置

本模型使用 H2O LLM Studio 并依据 cfg.yaml 中的配置进行训练。访问 H2O LLM Studio 了解如何训练您自己的大型语言模型。

免责声明

在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对本模型的使用即表示您同意以下条款和条件。

  • 偏见与冒犯性：大型语言模型是在多样化的互联网文本数据上训练的，这些数据可能包含有偏见、种族主义、冒犯性或其他不当内容。通过使用本模型，您承认并接受生成的内容有时可能表现出偏见或产生冒犯性、不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
  • 局限性：大型语言模型是基于人工智能的工具，并非人类。它可能会产生不正确、无意义或不相关的响应。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
  • 风险自负：使用本大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库的开发者和贡献者不对因使用或滥用所提供的模型而导致的任何损害、损失或伤害承担责任。
  • 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。通过使用本模型，您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
  • 问题报告：如果您遇到由大型语言模型生成的任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将有助于改进模型并减轻潜在问题。
  • 免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，无需事先通知。用户有责任定期查看免责声明，以了解任何变更。

通过使用本仓库提供的大型语言模型，您同意接受并遵守本免责声明中概述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用该模型及其生成的任何内容。

下载使用量0