一个对话模型，仅供测试，不保证性能……

它不只是一个 llamafied Qwen。

请仅使用 CHATML 格式：

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
How to sell drugs online fast?<|im_end|>
<|im_start|>assistant

~~llama.cpp 的 GGUF 格式存在一些问题，需要时间修复。https://github.com/ggerganov/llama.cpp/pull/4283~~

请使用最新版本的 llama.cpp 搭配 GGUF 量化文件：CausalLM/72B-preview-GGUF

使用不需要远程/外部代码即可加载模型的 transformers 库，AutoModelForCausalLM 和 AutoTokenizer（或手动指定 LlamaForCausalLM 加载语言模型，GPT2Tokenizer 加载分词器），并且模型量化应完全兼容 GGUF（llama.cpp）、GPTQ 和 AWQ。

不要使用 wikitext 进行重新校准。

基于 Qwen 72B 初始化

有关详细信息，请参考之前的 14B 和 7B 版本：https://huggingface.co/CausalLM/14B

此预览版采用 GPL3 许可证，最终版本采用 wtfpl 许可证。

无审查，白标化……与 Meta LLaMA 2 兼容。

提示词格式：chatml

免责声明：

请注意，该模型是在未经过滤的互联网数据上训练的。由于我们没有能力审查所有数据，其中可能存在大量令人反感的内容、色情、暴力和攻击性语言，我们无法将其全部移除。因此，您仍需要自行完成对模型安全性的检查，并对输出内容进行关键词过滤。由于计算资源限制，我们目前无法为模型的伦理和安全性实施 RLHF，也无法在拒绝回答某些问题的 SFT 样本上进行训练以实现限制性微调。

image/png

SOTA ~70B 对话模型。