[开发中]

原始仓库 JosephusCheung/Qwen-LLaMAfied-7B-Chat。

这是 Qwen/Qwen-7B-Chat 的 LLaMA 适配版本，经过重新校准以适配原始 LLaMA/LLaMA-2 类模型结构。

您可以使用 LlamaForCausalLM 进行模型推理，这与 LLaMA/LLaMA-2 模型的使用方式相同。

我已将分词器从 tiktoken 格式转换为 huggingface 格式，因此您在加载时无需再允许外部代码。

该模型已进行去标识化处理，这意味着模型将不再自称 Qwen。

剧透：进一步的微调工作正在进行中，当前版本仍在开发中，由于结构变更，部分知识可能存在偏差或失真。更新将很快、很快就会到来。

提示词格式：chatml

当前 MMLU：50.36

问题：与原始 Qwen-Chat 的 53.9 分相比，由于对齐不足，MMLU 分数略有下降（-3.54）。