修改
- 修改示例并添加npu支持
- 修改依赖项
概述
- 基础模型：[EleutherAI/pythia-6.9b]
- 微调数据集：[h2oai/h2ogpt-oig-oasst1-instruct-cleaned-v1]、[h2oai/openassistant_oasst1_h2ogpt]、[h2oai/h2ogpt-fortune2000-personalized] 和 [h2oai/h2ogpt-oig-oasst1-instruct-cleaned-v3]
- 数据准备和微调代码：H2O.ai GitHub
聊天机器人
- 运行您自己的聊天机器人：H2O.ai GitHub
依赖项
- transformers==4.44.2
- psutil==6.0.0
- better_profanity==0.7.0
- einops==0.6.1
- protobuf==5.28.2
使用方法
import argparse
import torch
from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download
if is_torch_npu_available():
device = "npu:0"
else:
device = "cpu"
generate_text = pipeline(model="SY_AICC/h2ogpt-oig-oasst1-512-6_9b",torch_dtype=torch.bfloat16, trust_remote_code=True,prompt_type='human_bot')
output = generate_text("Why is drinking water so healthy?", max_new_tokens=100)
print(res[0]["generated_text"])模型架构
GPTNeoXForCausalLM(
(gpt_neox): GPTNeoXModel(
(embed_in): Embedding(50432, 4096)
(layers): ModuleList(
(0-31): 32 x GPTNeoXLayer(
(input_layernorm): LayerNorm((4096,), eps=1e-05, elementwise_affine=True)
(post_attention_layernorm): LayerNorm((4096,), eps=1e-05, elementwise_affine=True)
(attention): GPTNeoXAttention(
(rotary_emb): RotaryEmbedding()
(query_key_value): Linear(in_features=4096, out_features=12288, bias=True)
(dense): Linear(in_features=4096, out_features=4096, bias=True)
)
(mlp): GPTNeoXMLP(
(dense_h_to_4h): Linear(in_features=4096, out_features=16384, bias=True)
(dense_4h_to_h): Linear(in_features=16384, out_features=4096, bias=True)
(act): GELUActivation()
)
)
)
(final_layer_norm): LayerNorm((4096,), eps=1e-05, elementwise_affine=True)
)
(embed_out): Linear(in_features=4096, out_features=50432, bias=False)
)模型配置
GPTNeoXConfig {
"_name_or_path": "h2oai/h2ogpt-oig-oasst1-512-6_9b",
"architectures": [
"GPTNeoXForCausalLM"
],
"bos_token_id": 0,
"custom_pipeline": {
"text-generation": {
"impl": "h2oai_pipeline.H2OTextGenerationPipeline",
"pt": "AutoModelForCausalLM"
}
},
"eos_token_id": 0,
"hidden_act": "gelu",
"hidden_size": 4096,
"initializer_range": 0.02,
"intermediate_size": 16384,
"layer_norm_eps": 1e-05,
"max_position_embeddings": 2048,
"model_type": "gpt_neox",
"num_attention_heads": 32,
"num_hidden_layers": 32,
"rotary_emb_base": 10000,
"rotary_pct": 0.25,
"tie_word_embeddings": false,
"torch_dtype": "float16",
"transformers_version": "4.28.1",
"use_cache": true,
"use_parallel_residual": true,
"vocab_size": 50432
}
模型验证
使用 EleutherAI lm-evaluation-harness 得出的模型验证结果。
| 任务 | 版本 | 指标 | 数值 | 标准误差 | |
|---|---|---|---|---|---|
| arc_easy | 0 | acc | 0.6591 | ± | 0.0097 |
| acc_norm | 0.6178 | ± | 0.0100 | ||
| arc_challenge | 0 | acc | 0.3174 | ± | 0.0136 |
| acc_norm | 0.3558 | ± | 0.0140 | ||
| openbookqa | 0 | acc | 0.2540 | ± | 0.0195 |
| acc_norm | 0.3580 | ± | 0.0215 | ||
| winogrande | 0 | acc | 0.6069 | ± | 0.0137 |
| piqa | 0 | acc | 0.7486 | ± | 0.0101 |
| acc_norm | 0.7546 | ± | 0.0100 | ||
| hellaswag | 0 | acc | 0.4843 | ± | 0.0050 |
| acc_norm | 0.6388 | ± | 0.0048 | ||
| boolq | 1 | acc | 0.6193 | ± | 0.0085 |
免责声明
在使用本仓库提供的大型语言模型前，请仔细阅读本免责声明。您对本模型的使用即表示您同意以下条款和条件。
- 偏见与冒犯性内容：大型语言模型是在多样化的互联网文本数据上训练的，这些数据可能包含有偏见、种族主义、冒犯性或其他不当内容。通过使用本模型，您承认并接受生成的内容有时可能会表现出偏见或产生冒犯性、不当内容。本仓库的开发者不认可、支持或推广任何此类内容或观点。
- 局限性：大型语言模型是基于 AI 的工具，而非人类。它可能会产生不正确、无意义或不相关的响应。用户有责任对生成的内容进行批判性评估，并自行决定是否使用。
- 风险自负：本大型语言模型的用户必须对使用该工具可能产生的任何后果承担全部责任。本仓库的开发者和贡献者不对因使用或滥用所提供的模型而导致的任何损害、损失或伤害承担责任。
- 伦理考量：鼓励用户以负责任和符合伦理的方式使用大型语言模型。通过使用本模型，您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何形式的非法或有害活动。
- 问题报告：如果您遇到由大型语言模型生成的任何有偏见、冒犯性或其他不当内容，请通过提供的渠道向仓库维护者报告。您的反馈将有助于改进模型并减少潜在问题。
- 本免责声明的变更：本仓库的开发者保留随时修改或更新本免责声明的权利，恕不另行通知。用户有责任定期查看本免责声明，以了解任何变更。
通过使用本仓库提供的大型语言模型，您同意接受并遵守本免责声明中概述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用本模型及其生成的任何内容。