西班牙语描述位于英语描述之后。
GPT2-small-spanish 是一款基于 GPT-2 small 模型的最先进西班牙语语言模型。
它使用迁移学习和微调技术在西班牙语维基百科上进行了训练。 它是通过 fastai v2 深度学习框架中封装的 openmind 库,从 英文预训练 GPT-2 small 微调而来。所有的 fastai v2 微调技术都得到了应用。
该训练完全基于 Pierre Guillou 开发的 GPorTuguese-2 模型。训练详情请参见这篇文章:《比从头训练更快——使用 Hugging Face 和 fastai v2 在任意语言中微调英文 GPT-2(葡萄牙语实际案例)》(Faster than training from scratch — Fine-tuning the English GPT-2 in any language with Hugging Face and fastai v2 (practical case with Portuguese))。
(复制自原始 GPorTuguese-2 模型)本模型使用的训练数据来自西班牙语维基百科。我们知道其中包含大量来自互联网的未经过滤的内容,这些内容远非中立。正如 OpenAI 团队在其模型卡片中所指出的:
由于像 GPT-2 这样的大规模语言模型无法区分事实与虚构,我们不支持那些要求生成文本必须真实的使用场景。此外,像 GPT-2 这样的语言模型反映了它们所训练数据中固有的偏见,因此除非部署者首先对与预期使用场景相关的偏见进行研究,否则我们不建议将它们部署到与人类交互的系统中。我们发现 774M 和 1.5B 版本在性别、种族和宗教偏见探测方面没有统计学上的显著差异,这意味着所有版本的 GPT-2 在涉及对人类属性敏感的偏见使用场景时,都应保持类似程度的谨慎。
该模型由 Josué Obregon 和 Berny Carrera 训练并评估,这是一个西班牙语机器学习学习空间。 此次训练之所以能够进行,得益于 IAI Lab(庆熙大学)的多块 GPU(NVIDIA GTX1080-Ti GPU)提供的计算能力,Josué 作为工业人工智能领域的博士后研究员隶属于该实验室。
如前所述,本研究主要基于 Pierre GUILLOU 的工作。
GPT2-small-spanish 是一款先进的西班牙语语言模型,基于小型 GPT-2 模型构建。
它使用西班牙语维基百科进行训练,并采用了迁移学习和模型微调技术。
该模型是在英文模型 English pre-trained GPT-2 small 的基础上进行微调得到的,使用了整合了深度学习框架 fastai v2 的 openmind 库。训练过程中运用了 fastai v2 的微调技术。
本训练完全基于 Pierre Guillou 开发的葡萄牙语模型 GPorTuguese-2。训练详情请参见这篇文章:"Faster than training from scratch — Fine-tuning the English GPT-2 in any language with Hugging Face and fastai v2 (practical case with Portuguese)"。
该模型的初步版本可在 Hugging Face 上获取。
(复制自原始 GPorTuguese-2 模型)训练数据来源于西班牙语维基百科。众所周知,其中包含大量未经筛选的互联网内容,远非中立。OpenAI 开发团队在其模型卡片中也指出了这一点:
由于像 GPT-2 这样的大规模语言模型无法区分事实与虚构,因此我们不支持那些要求生成文本必须真实的使用场景。此外,像 GPT-2 这样的语言模型会反映其训练数据中固有的偏见,因此除非部署者首先对与预期使用场景相关的偏见进行研究,否则我们不建议将它们部署到与人类交互的系统中。我们发现 774M 和 1.5B 版本在性别、种族和宗教偏见探测方面没有统计学上的显著差异,这意味着所有版本的 GPT-2 在涉及对人类属性敏感的偏见的使用场景时,都应保持类似程度的谨慎。
该模型由 Josué Obregon 和 Berny Carrera 进行训练和评估,他们致力于打造一个西班牙语机器学习学习空间。
训练工作的顺利开展得益于多块 GPU(NVIDIA GTX1080-Ti GPU)提供的计算能力,这些 GPU 来自工业人工智能实验室 IAI Lab(庆熙大学)。Josué 作为工业人工智能领域的博士后研究员,隶属于该实验室。
如前所述,本研究基于 Pierre GUILLOU 的研究成果。