HuggingFace镜像/h2ogpt-gm-oasst1-en-2048-falcon-7b-v2
模型介绍文件和版本分析

模型卡片

修改内容

  • 修改示例并添加npu支持
  • 添加依赖项

概述

本模型使用H2O LLM Studio进行训练。

  • 基础模型：tiiuae/falcon-7b
  • 数据集准备：OpenAssistant/oasst1

依赖项

  • transformers==4.44.2
  • psutil==6.0.0
  • better_profanity==0.7.0
  • einops==0.6.1
  • protobuf==5.28.2

使用方法

from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download

if is_torch_npu_available():
	device = "npu:0"
else:
	device = "cpu"
generate_text = pipeline(
		model="SY_AICC/h2ogpt-gm-oasst1-en-2048-falcon-7b-v2",
		torch_dtype=torch.bfloat16, 
		trust_remote_code=True,
		device=device,)
output = generate_text(
		"Why is drinking water so healthy?", 
		max_new_tokens=100)
print(res[0]["generated_text"])

模型架构

RWForCausalLM(
  (transformer): RWModel(
    (word_embeddings): Embedding(65024, 4544)
    (h): ModuleList(
      (0-31): 32 x DecoderLayer(
        (input_layernorm): LayerNorm((4544,), eps=1e-05, elementwise_affine=True)
        (self_attention): Attention(
          (maybe_rotary): RotaryEmbedding()
          (query_key_value): Linear(in_features=4544, out_features=4672, bias=False)
          (dense): Linear(in_features=4544, out_features=4544, bias=False)
          (attention_dropout): Dropout(p=0.0, inplace=False)
        )
        (mlp): MLP(
          (dense_h_to_4h): Linear(in_features=4544, out_features=18176, bias=False)
          (act): GELU(approximate='none')
          (dense_4h_to_h): Linear(in_features=18176, out_features=4544, bias=False)
        )
      )
    )
    (ln_f): LayerNorm((4544,), eps=1e-05, elementwise_affine=True)
  )
  (lm_head): Linear(in_features=4544, out_features=65024, bias=False)
)

模型配置

本模型使用 H2O LLM Studio 进行训练，配置详情参见 cfg.yaml。访问 H2O LLM Studio 了解如何训练您自己的大型语言模型。

模型验证

使用 EleutherAI lm-evaluation-harness 得出的模型验证结果。

免责声明

在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对本模型的使用即表示您同意以下条款和条件。

  • 偏见与冒犯性：大型语言模型是在多样化的互联网文本数据上训练的，这些数据可能包含有偏见、种族主义、冒犯性或其他不当内容。通过使用本模型，您承认并接受生成的内容有时可能表现出偏见或产生冒犯性或不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
  • 局限性：大型语言模型是一种基于人工智能的工具，而非人类。它可能会产生不正确、无意义或不相关的响应。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
  • 风险自负：大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。对于因使用或滥用本模型而导致的任何损害、损失或伤害，本仓库的开发者和贡献者不承担任何责任。
  • 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。使用本模型，即表示您同意不将其用于促进仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
  • 问题报告：如果您发现大型语言模型生成了任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将有助于改进模型并减轻潜在问题。
  • 免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，恕不另行通知。用户有责任定期查看本免责声明，以了解任何变更。

使用本仓库提供的大型语言模型，即表示您同意接受并遵守本免责声明中所述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用本模型及其生成的任何内容。

下载使用量0