OpenHermes 2.5 Stix Philosophy Mistral 7B
- 微调者： sayhan
- 许可证： apache-2.0
- 微调基础模型： teknium/OpenHermes-2.5-Mistral-7B
- 数据集： sayhan/strix-philosophy-qa
LoRA 秩： 8
LoRA 阿尔法值： 16
LoRA 丢弃率： 0
秩稳定 LoRA： 是
训练轮次： 3
学习率： 1e-5
批大小： 2
梯度累积步数： 4
权重衰减： 0.01
目标模块：
- Query projection (`q_proj`)
- Key projection (`k_proj`)
- Value projection (`v_proj`)
- Output projection (`o_proj`)
- Gate projection (`gate_proj`)
- Up projection (`up_proj`)
- Down projection (`down_proj`)