solidot新版网站常见问题,请点击这里查看。
消息
本文已被查看 5870 次
澳大利亚政府研究发现 AI 在概述上的表现比人类差
大模型能比人类更快的概述一篇长文,因此很多用户和企业尝试用它去概述冗长的文档以方便阅读。澳大利亚证券和投资委员会(ASIC)对此展开了研究,他们测试了开源大模型 Llama2-70B,发现它提供的概述相比人类提供的差很多。Llama2-70B 不是目前最先进的大模型,这一结果不太能够推广到最先进大模型的概述能力。尽管如此,研究表明,大型组织在将大模型的输出集成到现有工作流前需要三思。ASIC 发现,大模型生成的概述太笼统,还常常包含不正确的信息,语法正确,但幻觉无法避免。对比测试发现,AI 的平均得分为 7/15,而人类是 12.2/15。
https://arstechnica.com/ai/2024/09/australian-government-trial-finds-ai-is-much-worse-than-humans-at-summarizing/
https://arstechnica.com/ai/2024/09/australian-government-trial-finds-ai-is-much-worse-than-humans-at-summarizing/
评论已经自动封存,请勿再发言论