模型概述

GritLM 是一个生成式表征指令调优语言模型。它将文本表征（嵌入）和文本生成统一到单个模型中，在这两类任务上均实现了最先进的性能。

代码库： ContextualAI/gritlm
论文： https://arxiv.org/abs/2402.09906
日志： https://wandb.ai/muennighoff/gritlm/runs/0uui712t/overview
脚本： https://github.com/ContextualAI/gritlm/blob/main/scripts/training/train_gritlm_7b.sh

模型	描述
GritLM 7B	使用 GRIT 对 Mistral 7B 进行微调

使用方法

模型使用方法记录于此处。

引用

@misc{muennighoff2024generative,
      title={Generative Representational Instruction Tuning}, 
      author={Niklas Muennighoff and Hongjin Su and Liang Wang and Nan Yang and Furu Wei and Tao Yu and Amanpreet Singh and Douwe Kiela},
      year={2024},
      eprint={2402.09906},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型概述

GritLM 是一个生成式表征指令调优语言模型。它将文本表征（嵌入）和文本生成统一到单个模型中，在这两类任务上均实现了最先进的性能。

代码库： ContextualAI/gritlm
论文： https://arxiv.org/abs/2402.09906
日志： https://wandb.ai/muennighoff/gritlm/runs/0uui712t/overview
脚本： https://github.com/ContextualAI/gritlm/blob/main/scripts/training/train_gritlm_7b.sh

模型	描述
GritLM 7B	使用 GRIT 对 Mistral 7B 进行微调

使用方法

模型使用方法记录于此处。

引用

@misc{muennighoff2024generative,
      title={Generative Representational Instruction Tuning}, 
      author={Niklas Muennighoff and Hongjin Su and Liang Wang and Nan Yang and Furu Wei and Tao Yu and Amanpreet Singh and Douwe Kiela},
      year={2024},
      eprint={2402.09906},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}