solidot新版网站常见问题,请点击这里查看。

Meta 开发能自我修正的 AI 语言模型

人工智能 Facebook
Wilson (42865)发表于 2023年02月16日 20时15分 星期四

来自挽救计划
OpenAI 的 ChatGPT 让无数人惊叹,然而它在简单任务如算术和事实核查上仍然存在明显缺陷。Meta 的研究人员最近透露了一种新的语言模型 Toolformer,能在不牺牲核心语言建模能力的情况下利用外部工具如搜索引擎、计算器和日历来自我修正。Toolformer 的关键在于它能以无缝和自动化的方式使用 API。在训练中,研究人员给了一组人类编写的示例演示 API 如何使用,然后让它使用 API 调用给一个大语言建模数据集做注解。Toolformer 以自我监督的方式完成了任务,意味着它可以在不需要明确的人类指导下学习。模型学会了预测每个基于文本的 API 调用,可以在需要时插入调用,它还能基于上下文自行决定使用哪个工具,以及如何使用。如 Toolformer 能使用计算器来解决大语言模型(LLM)在算术上的局限性。Toolformer 基于预训练的 GPT-J 模型,该模型有 67 亿个参数。测试显示它的表现优于有 1750 亿个参数的 GPT-3 模型。


https://arxiv.org/abs/2302.04761
https://arstechnica.com/?p=1918021