Neural-Story

NeuralNovel/Panda-7B-v0.1

NeuralNovel 推出的 Panda-7B-v0.1 模型。

此微调模型旨在为多样化叙事场景提供详实、富有创意且符合逻辑的回应。针对创意写作、角色扮演和逻辑问题解决进行了优化。

基于 Mistral-7B-Instruct-v0.2 的全参数微调（FFT）版本。采用 Apache-2.0 许可证，适用于商业或非商业用途。

在 openMind 中使用

环境变量

# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=pt

pip 安装 openMind 库

OpenMind 库可通过 pip 进行安装，请根据实际环境选择相应命令进行安装。

需要注意的是，由于 torch npu 依赖于 torch，在 aarch64 环境下可通过 pip 直接安装，但在 x86 环境下需要通过特定 URL 下载 CPU 版本，因此两种环境下的安装命令有所不同。具体安装代码已在下文进行区分呈现。

# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu

推理

from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu

model_dir = "HangZhou_Ascend/Panda-7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto",  trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)

数据集

本模型使用Panda-v1数据集进行微调。

概述

微调旨在生成指导性和叙事性文本，特别注重融合多功能性、角色吸引力和细致的写作能力等要素。

超出范围的使用

该模型在与指导性和叙事性文本生成无关的场景中可能表现不佳。误用或在其设计范围外的应用可能会导致不理想的结果。

偏差、风险和局限性

模型可能会表现出训练数据中固有的偏差或局限性。在部署模型时，必须考虑这些因素，以避免意外后果。

建议用户谨慎使用，因为模型可能存在一些固有的体裁或写作偏差。

硬件和训练


  n_epochs = 3,
  n_checkpoints = 3,
  batch_size = 12,
  learning_rate = 1e-5,

衷心感谢Techmind的慷慨赞助。