NeuralNovel/Panda-7B-v0.1
NeuralNovel 推出的 Panda-7B-v0.1 模型。
此微调模型旨在为多样化叙事场景提供详实、富有创意且符合逻辑的回应。针对创意写作、角色扮演和逻辑问题解决进行了优化。
基于 Mistral-7B-Instruct-v0.2 的全参数微调（FFT）版本。采用 Apache-2.0 许可证，适用于商业或非商业用途。
在 openMind 中使用
环境变量
# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=ptpip 安装 openMind 库
OpenMind 库可通过 pip 进行安装，请根据实际环境选择相应命令进行安装。
需要注意的是，由于 torch npu 依赖于 torch，在 aarch64 环境下可通过 pip 直接安装，但在 x86 环境下需要通过特定 URL 下载 CPU 版本，因此两种环境下的安装命令有所不同。具体安装代码已在下文进行区分呈现。
# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu推理
from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu
model_dir = "HangZhou_Ascend/Panda-7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)数据集
本模型使用Panda-v1数据集进行微调。
概述
微调旨在生成指导性和叙事性文本，特别注重融合多功能性、角色吸引力和细致的写作能力等要素。
超出范围的使用
该模型在与指导性和叙事性文本生成无关的场景中可能表现不佳。误用或在其设计范围外的应用可能会导致不理想的结果。
偏差、风险和局限性
模型可能会表现出训练数据中固有的偏差或局限性。在部署模型时，必须考虑这些因素，以避免意外后果。
建议用户谨慎使用，因为模型可能存在一些固有的体裁或写作偏差。
硬件和训练
n_epochs = 3,
n_checkpoints = 3,
batch_size = 12,
learning_rate = 1e-5,
衷心感谢Techmind的慷慨赞助。