第一起机器学习作弊丑闻

百度 人工智能
AnkhMorpork (36532)发表于 2015年12月14日 20时24分 星期一
来自百度好狡猾部门
今年早些时候,在百度宣布在ImageNet的图像识别人工智能基准测试中取得了全球最好的结果之后,它被发现有违规行为。百度研究人员使用了至少30个账号在短时间内向ImageNet的测试服务器递交了至少200次,违反了每周最多2次递交的规定。通过向测试服务器递交许多个略微不同的方案,百度能直接根据测试数据对挑选出的方法进一步研究和发展,而不是将测试数据仅仅用于训练和检验。这起事件被称为是第一起机器学习作弊丑闻。百度的反应非常迅速,研究的主要负责人Ren Wu博士遭到解雇。Ren Wu博士坚决否认有不当行为,宣称他的团队对官方政策有不同的理解:他们认为是一个人每周最多向测试服务器递交两次,而不是一个团队每周最多递交两次,他的团队有5个人,所以根据他们理解的规则可以最多递交260次。这个辩解有点牵强,如果真按这种理解,那么团队人数越多越有利,这个规则对小团队将是不公平的。在丑闻曝光前,百度研究人员曾向arXiv.org递交了论文;丑闻曝光后,百度递交了一个不存在的论文替换了原始论文。

「星期一」 Hello Monday

第一起机器学习作弊丑闻

今年早些时候,在百度宣布在ImageNet的图像识别人工智能基准测试中取得了全球最好的结果之后,它被发现有违规行为。百度研究人员使用了至少30个账号在短时间内向ImageNet的测试服务器递交了至少200次,违反了每周最多2次递交的规定。通过向测试服务器递交许多个略微不同的方案,百度能直接根据测试数据对挑选出的方法进一步研究和发展,而不是将测试数据仅仅用于训练和检验。这起事件被称为是第一起机器学习作弊丑闻。百度的反应非常迅速,研究的主要负责人Ren Wu博士遭到解雇。Ren Wu博士坚决否认有不当行为,宣称他的团队对官方政策有不同的理解:他们认为是一个人每周最多向测试服务器递交两次,而不是一个团队每周最多递交两次,他的团队有5个人,所以根据他们理解的规则可以最多递交260次。这个辩解有点牵强,如果真按这种理解,那么团队人数越多越有利,这个规则对小团队将是不公平的。在丑闻曝光前,百度研究人员曾向arXiv.org递交了论文;丑闻曝光后,百度递交了一个不存在的论文替换了原始论文。

AnkhMorpork 发表于

2015年12月14日 20时24分