Poro 34B Chat

Poro 34B chat 是 Poro 34B 的对话优化版本，经过训练可遵循芬兰语和英语的指令。量化版本可在 Poro 34B-chat-GGUF 获取。

由于芬兰语指令调优数据有限，我们利用 Poro 34B 基础模型将英语数据集中的文档机器翻译为芬兰语，然后用于训练此对话版本。我们仅选择可用于商业用途的数据集，且仅包含以符合服务条款方式收集的合成数据。

有关我们芬兰语数据集的数据选择和翻译过程的更多信息，请参见 LumiOpen/instruction-collection-fin 页面。

Poro 是由 Silo AI 的 SiloGen、图尔库大学的 TurkuNLP 团队 以及 高性能语言技术（HPLT）合作创建的。训练在 LUMI 超级计算机 上进行，使用由芬兰 IT 科学中心 CSC 慷慨提供的计算资源。

该项目是为非英语语言（尤其是像芬兰语这样的低资源语言）创建开源大型语言模型的持续努力的一部分。通过结合英语和芬兰语训练数据，我们得到的模型不仅性能优于以往仅基于芬兰语的模型，还能流畅使用英语和代码，并具备基本的英芬互译能力。

微调

Poro-34B-Chat 是在 Poro-34B 基础上，针对一系列芬兰语和英语指令数据集进行的 SFT（监督微调）。该数据集集合大致由 40% 英语、40% 芬兰语和 20% 跨语言条目组成。

我们对基础模型进行了 3 个 epoch 的微调，学习率为 2e-05，预热比例为 0.1，全局批大小为 48。对于全参数微调，我们使用了 3 个节点（每个节点 8 块 GPU）。微调代码采用 Alignment Handbook。

数据集

芬兰语及跨语言

• LumiOpen/instruction-collection-fin

英语

• databricks-dolly-15k
• 精选 OASST2
• Argilla/10k_prompts_ranked_mistral_large_responses

对话模板

我们采用 ChatML 对话模板。例如：

<|im_start|>system 
You can add an optional system prompt here.<|im_end|> 
<|im_start|>user 
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant 

评估结果

我们采用了广受欢迎的MTBench基准来评估多轮对话性能。

由于MTBench是纯英文基准，我们还发布了MTBench Finnish的这一分支版本，该版本支持多语言并包含机器翻译的芬兰语提示词。以下是我们在这两个基准上的得分情况。

注：更新于2024年6月18日

许可证

Poro-34B-chat基于Apache 2.0许可证发布。

引用

@misc{luukkonen2024poro,
      title={Poro 34B and the Blessing of Multilinguality},
      author={Risto Luukkonen and Jonathan Burdge and Elaine Zosa and Aarne
Talman and Ville Komulainen and Väinö Hatanpää and Peter Sarlin and Sampo
Pyysalo},
      year={2024},
      eprint={2404.01856},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}