Layout-finetuned-fr-model-50instances20-10epochs-5e-05lr-V2

该模型是 microsoft/layoutxlm-base 在一个未知数据集上的微调版本。它在评估集上取得了以下结果：

损失：0.0001

模型描述

需要更多信息

预期用途与局限性

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率：5e-05
训练批次大小：4
评估批次大小：8
随机种子：42
优化器：使用 OptimizerNames.ADAMW_TORCH，betas=(0.9, 0.999)，epsilon=1e-08，无额外优化器参数
学习率调度器类型：reduce_lr_on_plateau
学习率调度器预热比例：0.06
训练轮数：10

训练结果

训练损失	轮次	步数	验证损失
3.2231	0.7692	10	0.7135
0.1961	1.5385	20	0.0019
0.002	2.3077	30	0.0004
0.0005	3.0769	40	0.0002
0.0003	3.8462	50	0.0001
0.0003	4.6154	60	0.0001
0.0002	5.3846	70	0.0001
0.0002	6.1538	80	0.0001
0.0002	6.9231	90	0.0001
0.0002	7.6923	100	0.0001
0.0002	8.4615	110	0.0001
0.0001	9.2308	120	0.0001
0.0001	10.0	130	0.0001

框架版本

Transformers 4.48.0
Pytorch 2.4.1.post100
Datasets 3.2.0
Tokenizers 0.21.0