solidot新版网站常见问题,请点击这里查看。

科学家也无法分辨 ChatGPT 生成的论文摘要

人工智能
Wilson (42865)发表于 2023年01月13日 17时14分 星期五
来自人类向何处去
根据发表在预印本平台 bioRxiv 上的一篇论文,科学家也无法分辨 ChatGPT 生成的论文摘要。OpenAI 的聊天机器人 ChatGPT 能根据用户提示生成逼真的、乍一看充满智慧的文本。在这项研究中,研究人员让 ChatGPT 根据 JAMA、The New England Journal of Medicine、The BMJ、The Lancet 和 Nature Medicine 期刊上挑选的医学论文撰写 50 篇摘要,然后让一群医学研究人员区分 AI 生成的摘要和原始论文摘要。ChatGPT 的摘要通过了抄袭程序的检查,认为全部是原创没有发现抄袭。而人类审稿人只识别出 68% 的 AI 生成摘要和 86% 的原始摘要,也就是错误认为 32% 的 AI 生成摘要是真实的,14% 的真实摘要是 AI 生成的。部分科学家对此现象表达了担忧,但普林斯顿大学的计算机科学家 Arvind Narayanan 指出,AI 生成内容的准确性是受质疑的,因此任何严肃的科学家不太可能使用 AI 去生成摘要,所以能否检测出来是无关紧要的。


https://www.nature.com/articles/d41586-023-00056-7