清华大学AutoDroid-V2,软件测试行业将如何发展

80 阅读3分钟

霍格沃兹软件测试项目:如何优化并成功交付毕设 - 霍格沃兹测试开发学社 - 爱测-测试人社区

清华大学智能产业研究院(AIR)于2024年12月24日发布了一篇论文,介绍推出AutoDroid-V2 AI模型。该模型在移动设备上利用小型语言模型(SLM),显著提升了自然语言控制的自动化程度。

AutoDroid-V2采用基于脚本的方法,通过设备端的小型语言模型高效执行用户指令,相比依赖云端大型语言模型(LLM)的传统方法,在效率、隐私和安全性方面均有显著优势。该系统生成多步骤脚本一次性执行多个GUI操作,大幅减少了查询频率和资源消耗,有效保护了用户隐私和数据安全,并降低了服务器端成本。

基准测试结果显示,在23个移动应用上测试226项任务时,AutoDroid-V2的任务完成率比AutoDroid、SeeClick、CogAgent和Mind2Web等基线提高了10.5%-51.7%。在资源消耗方面,输入和输出token消耗分别减少至原来的43.5分之一和5.8分之一,LLM推理延迟降低至5.7~13.4分之一。

此外,跨LLM测试中,AutoDroid-V2在Llama3.2-3B、Qwen2.5-7B和Llama3.1-8B上的成功率为44.6%-54.4%,反向冗余比为90.5%-93.0%。

AutoDroid-V2无疑对软件测试行业产生了深远的影响。这款创新的AI模型以其独特的小型语言模型(SLM)和基于脚本的方法,为移动设备的自动化控制带来了革命性的突破,同时也为软件测试行业带来了新的机遇和挑战。

AutoDroid-V2能够根据用户指令生成多步骤脚本,一次性执行多个GUI操作,这大幅减少了测试过程中的查询频率和资源消耗。相较于传统的逐步GUI智能体方法,AutoDroid-V2在任务完成率和资源效率上均实现了显著提升。这意味着软件测试人员可以更快地执行测试任务,同时获得更准确的测试结果,从而大大提高测试工作的整体效率。

传统的移动设备自动化控制方法往往依赖于云端大型语言模型(LLM),这引发了隐私和安全方面的担忧。而AutoDroid-V2则通过设备端的小型语言模型高效执行用户指令,减少了对云服务的依赖,从而在隐私和安全性方面有了显著的提升。这对于软件测试行业来说尤为重要,因为测试过程中往往涉及大量的敏感数据和用户信息,AutoDroid-V2的隐私保护能力为测试工作提供了更加安全的环境。

AutoDroid-V2的发布,不仅代表着清华大学在智能自动化测试领域的科研突破,也可能成为软件测试行业的一次重要变革。随着自动化测试技术的普及和发展,软件开发和测试的效率、质量和安全性都将得到显著提升,同时也会推动测试行业的进一步发展。对于企业来说,拥抱这一技术将帮助提高市场竞争力,而对于测试人员来说,提升技能和适应新的测试工具和方法,将是未来职业发展的关键。

推荐学习

内容全面升级, 30+ 项目实战强化训练,资深测试架构师、开源项目作者亲授 BAT 大厂前沿最佳实践,带你一站式掌握测试开发必备核心技能(对标阿里P6+,年薪50W+)!