Ascend-SACT/Intern-S1-mini
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

Intern-S1-mini

Intern-S1-mini,使用了 Intern-S1同样训练技术的轻量级模型,包含一个 8B 的语言模型和一个 0.3B 的视觉编码器。Intern-S1-mini模型以视觉模型为骨干,深度融合语言模型,不同于传统视觉模型+语言模型的松耦合架构。采用Megatron方式训练新架构模型及多模态模型,开发难度较大,通常需要对模型代码进行侵入式修改。FSDP方式可以做到以较小的成本,支持新模型训练。

1. 强化学习

使用verl框架,通过命令行配置,让FSDP识别模型结构,支持Intern-S1-mini模型进行强化学习。

Intern-S1-mini强化学习(GRPO)

Intern-S1-mini强化学习(GSPO)

2. 多模态语料-微调

使用Mindspeed MM框架,通过少量代码修改,支持FSDP方式,使用多模态语料,对模型进行微调。

Intern-S1-mini多模态语料训练和微调

3. 文本语料-训练和微调

Intern-S1-mini为多模态模型,当语料为文本时,可使用Mindspeed LLM对其进行训练和微调。 使用Mindspeed LLM框架,通过少量代码修改,支持FSDP方式,使用文本语料,对模型训练和微调。使用Mindspeed FSDP后端。

Intern-S1-mini文本语料训练和微调(单机16卡)

Intern-S1-mini文本语料训练和微调(双机16卡)