修改

• 修改示例并添加NPU支持
• 添加依赖项

概述

h2o-danube2-1.8b-base是由H2O.ai训练的基础模型，拥有18亿参数。详细信息请参阅我们的技术报告。我们发布了该模型的三个版本：

模型架构

我们调整了Llama 2架构，使其总参数约为18亿。我们使用Mistral分词器，词汇量为32,000，并将模型训练至8,192的上下文长度。

模型架构详情如下：

依赖项

• transformers==4.44.2
• psutil==6.0.0
• better_profanity==0.7.0
• einops==0.6.1
• protobuf==5.28.2

使用方法

这是一个预训练的基础模型。对于您的任务，您可能需要进行特定于应用的微调。我们还提供了聊天微调版本：h2oai/h2o-danube2-1.8b-chat。

from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download

if is_torch_npu_available():
	device = "npu:0"
else:
	device = "cpu"
generate_text = pipeline(
		model="SY_AICC/SY_AICC/h2o-danube2-1.8b-base",
		torch_dtype=torch.bfloat16, 
		trust_remote_code=True,
		device=device,)
output = generate_text(
		"Why is drinking water so healthy?", 
		max_new_tokens=100)
print(res[0]["generated_text"])

基准测试

在相似规模的模型中，h2o-danube2-1.8b-base 在 Hugging Face Open LLM 排行榜的各项基准测试中平均表现最佳 🤗

免责声明

在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对本模型的使用即表示您同意以下条款和条件。

• 偏见与冒犯性：大型语言模型是在多样化的互联网文本数据上训练的，这些数据可能包含有偏见、种族主义、冒犯性或其他不当内容。通过使用本模型，您承认并接受生成的内容有时可能表现出偏见或产生冒犯性或不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
• 局限性：大型语言模型是基于 AI 的工具，而非人类。它可能会产生不正确、无意义或不相关的响应。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
• 风险自负：大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库的开发者和贡献者不对因使用或滥用所提供的模型而导致的任何损害、损失或伤害承担责任。
• 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。通过使用本模型，您同意不将其用于促进仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
• 问题报告：如果您遇到由大型语言模型生成的任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将帮助改进模型并减少潜在问题。
• 免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，恕不另行通知。用户有责任定期查看免责声明，以了解任何变更。

通过使用本仓库提供的大型语言模型，您同意接受并遵守本免责声明中所述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用该模型及其生成的任何内容。