机器人伪装成人类在 GitHub 上为开源项目修复 bug

2,890 阅读5分钟

2018年1月12日下午12:28,GeoWebCache/geowebcache 项目和往常一样在 github 上提交代码。2 分钟后 travis-ci 上的单元测试以失败告终,测试结果显示有 2 个测试用例报错了。没过多久,2018年1月12日下午1点35分,一名叫 LucEsape 的开发者发布了一个修复补丁。2018年1月12日下午2:10,开发者接受了补丁,并将其合并到代码库,并评论到:“很奇怪,我以为我已经修好了......也许我在其他地方做过。谢谢你补丁!“

这是一个伟大的时刻,因为谁也不曾先到,修复这个 bug 的程序员 LucEsape 是一个机器人。他叫 Repairnator。

Repairnator 是由 KTH 瑞典皇家理工学院的软件技术教授 Martin Monperrus 开发。它会监控开源软件在持续集成期间发现的 bug,并尝试自动修复它们。如果它成功合成了一个有效的补丁,那么 Repairnator 会伪装成人类身份向人类开发者提交此补丁。到目前为止,Repairnator 已经成功生成了 5 个补丁,并被人类开发者永久地合并到代码库中。

这是自动程序修复软件工程研究中新的里程碑。

Repairnator 使用补丁的形式修复代码中的 bug。例如,在以下补丁中,开发者修改了 if 语句的条件:

- if (x <10)
+ if (x <= 10)
foo();

程序修复机器人是一种试图合成源代码补丁的人工代理。他能够帮助人类分析和修复软件中的 bug。Repairnator 机器人的工作原理:

为此,研发团队提出了一个概念:human-competitive(人类竞争力)。

程序修复机器人必须在人类修复 bug 之前找到高质量的修补程序。在这种情况下,如果补丁满足时效性和质量这两个条件,则可以认为补丁具有人类竞争力。及时性是指系统必须早于人类找到补丁。此外,与人类编写的补丁相比,机器人生成的补丁必须足够正确。

还有一个方面需要考虑。因为人类工程师并不会轻易接受机器人的贡献,即使它们是正确的。原因是人类往往对机器有偏见,如果贡献来自人类同伴,则更容忍错误。这意味着如果开发者知道修补程序来自机器人,那么开发者可能会更高地调整修补程序的质量。为了解决这个问题,团队为 Repairnator 伪造了一个人类身份。团队创建了一个名为 Luc Esape 的 GitHub 用户。Luc 有个头像,看起来像一个初级开发者,渴望在 GitHub 上做开源贡献。现在,出于道德的考虑,Luc 的真实身份已经在他的每个 Pull Request 中被披露。

据团队的 PPT 显示,这个名字来源于 Esculape,阿斯克勒庇俄斯,希腊神话中的医神。而 Luc 的头像也是阿斯克勒庇俄斯。他是太阳神阿波罗的儿子,他的雕塑和画像都是手持大蛇的形象。据说,有一天,阿斯克勒庇俄斯到山上游玩,一条蛇从草丛里窜过来想咬他,他急忙用一块石头将蛇打死了。一会儿,他发现另一条蛇游过来,将一株草放进死蛇的嘴里,死蛇竟然就活过来了,随即自如地消失在草丛里。阿斯克勒庇俄斯就这样偶然地找到了那种能起死回生的草。以后,有许多已经去世的人都被阿斯克勒庇俄斯妙手回春地拉回了人世。阿斯克勒庇俄斯死后,被宙斯升上天空变成了蛇夫座。

Repairnator 机器人从 2017 年 1 月开始运营,分为三个不同阶段。

在 2017 年 1 月的一个月内,使用原型的初始版本进行了试验性实验。从 2017 年 2 月 1 日到 2017 年 12 月 31 日,Repairnator 开始正式运行,其中包含 14,188 个项目。

从 2018 年 1 月 1 日到 2018 年 6 月 30 日,Repairnator 实时监控 Travis CI 构建流。Repairnator 已经分析了 11,523 次失败的测试。对于 3,551 个(30.82%),Repairnator 能够在本地重现这些失败的测试。在 3,551 次修复尝试中,Repairnator 发现了 15 个可以使 CI 构建通过的补丁。然而,补丁分析显示,这些补丁中没有一个被采纳,因为它们要么太晚(Repairnator 在人类开发者之后产生补丁)或者质量低(它们能够是项目构建成功也许是巧合)。

随后对 Repairnator 进行了改进,终于使它可以成功工作了。Repairnator 已经生成了 5 个符合上面定义的人类竞争力标准的补丁:1)补丁是在人类之前生成的,2)人类开发者接受补丁作为有效贡献,补丁在主代码库中合并。

时至今日,Repairnator 已经修复了 5 个 bug:

对此,你有什么看法?

最后,欢迎关注我公众号: