2016 年前顶尖的人类围棋棋手仍然能打败顶尖的围棋 AI。但在使用神经网络通过自我对弈精通围棋的 DeepMind AlphaGo 之后，人类就一败涂地了。最近 KataGo 作为一种开源围棋 AI 而风行一时。上周一组研究人员发表论文，描述了利用 KataGo 盲点的对抗性技术去挫败 KataGo 的方法。通过 KataGo 训练集之外出乎意料的落子，一个会输给业余棋手的对抗性围棋程序能击败 KataGo。KataGo 使用数百万次自我对弈学习围棋，但这仍然不足以覆盖所有可能的情况，留下了可利用的漏洞。研究人员的对抗性围棋程序发现 KataGo 容易受 off-distribution 等策略的影响。研究显示，达到人类水平的 AI 往往会犯一些非常奇怪的错误，以让人类感到惊讶的方式失败。如果 AI 在安全关键系统中犯下类似的错误，可能会导致严重后果。

https://arstechnica.com/?p=1894833