talkie-1930-13b-it 是一个 130 亿参数的复古语言模型。它是 talkie-1930-13b-base 的指令微调后训练模型，而后者是在 2600 亿 tokens 的 1931 年前英语文本上训练而成的。
talkie-1930-13b-it 的微调使用了一个新颖的指令-响应对数据集，该数据集提取自 1931 年前的参考著作，包括礼仪手册、百科全书和书信写作指南。随后，模型通过强化学习（结合 LLM 裁判的在线 DPO）进一步优化，以提升指令遵循能力。
欲了解更多关于 talkie 的信息，请阅读我们的 报告。
运行 talkie 的参考代码可在 GitHub 上获取。