open-llama-3b-v2-wizard-evol-instuct-v2-196k:用户可用于文本生成、问答等场景，该项目基于 WizardLM_evol_instruct_V2_196k 数据集训练，支持 openMind 框架，具备推理能力，在多项评测中展现一定性能。【此简介由AI生成】

在 WizardLM_evol_instruct_v2_196k 数据集上训练了 1 个轮次

提示词模板：

## Use with openMind

### environment variable
```bash
# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=pt

pip install openMind Library

OpenMind Library 可通过 pip 进行安装，请根据实际环境选择相应命令进行安装。

需要注意的是，由于 torch npu 依赖于 torch，在 aarch64 环境下可直接通过 pip 安装，但在 x86 环境下需要通过特定 URL 下载 CPU 版本，因此两种环境下的安装命令有所不同。具体安装代码已在下文进行区分呈现。

# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu

推理

from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu

model_dir = "HangZhou_Ascend/open-llama-3b-v2-wizard-evol-instuct-v2-196k"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto",  trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)

人类：

{prompt}

响应：

```

指标	数值
平均值	41.46
AI2 推理挑战（25次示例）	41.81
HellaSwag（10次示例）	73.01
MMLU（5次示例）	26.36
TruthfulQA（0次示例）	38.99
Winogrande（5次示例）	66.69
GSM8k（5次示例）	1.90

在 WizardLM_evol_instruct_v2_196k 数据集上训练了 1 个轮次

提示词模板：

## Use with openMind

### environment variable
```bash
# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=pt

pip install openMind Library

OpenMind Library 可通过 pip 进行安装，请根据实际环境选择相应命令进行安装。

# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu

推理

from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu

model_dir = "HangZhou_Ascend/open-llama-3b-v2-wizard-evol-instuct-v2-196k"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto",  trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)

人类：

{prompt}

响应：

```

指标	数值
平均值	41.46
AI2 推理挑战（25次示例）	41.81
HellaSwag（10次示例）	73.01
MMLU（5次示例）	26.36
TruthfulQA（0次示例）	38.99
Winogrande（5次示例）	66.69
GSM8k（5次示例）	1.90