Google 开源语言模型 Switch Transformer,但不包括权值

开源 Google
WinterIsComing (31822)发表于 2021年02月18日 20时35分 星期四
来自部门
Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer,包括 1.6 万亿个参数,相比上一代的 T5 模型,在精度相似的情况下训练时间只要七分之一。但 Google 并没有开源预训练的权值,而权值对于语言模型是至关重要,因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度,需要反复调整到输出结果与正确答案相同。

评论已经自动封存,请勿再发言论