solidot新版网站常见问题,请点击这里查看。

Facebook 开源挑战 GPT-3 的语言模型

Facebook
WinterIsComing (31822)发表于 2022年05月07日 18时01分 星期六

来自智者之惧
OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一,使用了 1750 亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta/Facebook 开源了能挑战 GPT-3 的语言模型 Open Pretrained Transformer(OPT-175B),使用了 5 个公开数据集的 800 GB 数据进行训练,使用了能比拟 GPT-3 的 1750 亿个参数。研究论文发表在预印本网站 arXiv 上。