关于‘钱学森弹道’应用软件测试的设计与实现 (合集)

267 阅读18分钟

前言

    最近的世界又开始了战乱,不少小伙伴都开始对导弹感了兴趣,我想很多军迷小伙伴都知道,我国的导弹技术是世界顶级,发射的远程导弹敌人是根本无法拦截的,这也是让我们具备摧毁敌人的根本技术之一,而其中,最厉害的最无解的技术当属【钱学森弹道】了。

    来看看官方的解释:

图片

    划重点:钱学森弹道是无法预测,随机变幻路线,以至于无法也不可能被精准拦截,但最终又能恰好击中目标的技术。

    像是魔法一样,无数个偶然最终的结果却是必然,全靠了我们的先辈钱学森爷爷的贡献,才得以让我们能在今天世界战乱的情况下得以和平和安乐的生活。

    如今,这个技术是否能应用在测试领域,又有什么意义?不妨跟着博主一起来探寻下吧~

正文

    一:具体有什么作用?背景?

    在我们软件测试工作中,一提起‘随机’这个词,你会想到什么?没错,就是monkey测试。

    但是monkey测试是没有准确目的的,更多时候属于负载测试,用来发现一些内存泄露或者崩溃等bug的。而钱学森弹道技术的特点中除了随机之外,还要有准确的目的地。

    那如果再给Monkey加上一个目的地,就变成了这样。从A页面,到E页面之间随机点点点,但是最终一定要到E页面。这个需求就需要随机且准确目的地,也就恰好契合了【钱学森弹道】。

    但是小伙伴又会问了:从A到E,中间随机,为什么会有这么奇怪的需求?这个需求的现实意义是什么?

    答:我换个说法,比如现在是一个民宿酒店房源下单流程,从页面详情页开始,到最终下单并确认成功。中间的路线是什么样的?有多少种路线?如果用户反复的下单取消订单,来回返回提交表单,刷新等操作,是否会引起bug?

    其实,如果你去那些专业薅羊毛群里,就会发现,好多人是专业来找到这个流程的bug的,靠的就是反复随机的操作去碰。【钱学森弹道】恰好能够覆盖这里的所有用例路线,那到底有多少种路线呢?

    答:相当之多,有些同样的步骤,反复快速操作几十次,bug就出来了...

    我再举个例子:测试游戏,角色需要从自家水晶走到大龙刷新点,中间有多少种走法?那是相当多了吧?是否会存在某个未知bug,某个路线,会最终导致去不了大龙点?或者去了之后伤害异常?这些都需要测试才能给出结论,那这个测试,你怎么做?随便选了个最短路线过去,没问题就完了?当然不是,而靠纯代码和逻辑推断出来的测试用例(比如运用流程图法,基本流、异常流)等等,去写用例并执行虽然靠谱,但成本颇高,远没有直接让角色随机选择路线(中间甚至还会走回头路的方式去目的地)自动去测试方便。

    再举个例子:很多第一人称射击游戏/角色扮演游戏大家都玩过吧?你们玩CF生化模式闯关的时候有试过来回在一个墙角移动就会卡进去的bug来过关么?试过永劫无间在秘宝洞穴某个墙外来回蹭就能直接卡进去么?这种bug不要太多,任何游戏都存在。但却几乎无法被测试覆盖到,那你想想为什么每次这种隐藏之深的bug都能被找到?那些专业去找这种bug的人他们是用了什么测试方案,就能在游戏公测第一天就能找到这几乎无法被发现的bug呢?答案就是大量的随机动作,并且设置了目的地:墙壁里、山体里、洞穴内等等,无数种随机的路线,来回移动,反复横跳的路线中,就会自动发现那一个bug。

    例子先不举了,太多了。

    言归正传,这种随机又有确定目标的测试技术,我就暂且叫做【钱学森弹道】测试法吧,如果你们有好听的名字可以留言哦。

    那这个技术的背景和意义,我们大致有画面了,但是如何实现呢?无数个随机事件,真的能在最终走向确定的目标么?

继续

我们大致明白了钱学森弹道技术应用在软件测试领域的背景和意义,算是补足了一个小技术黑洞。本节课我们就来讨论下实现的方案有哪些?毕竟是要在无数个随机方向事件后能确定走到目标的技术,在外界眼里看起来,这发导弹或者说自动化driver,就像在故意做着很多战术性欺骗动作,最终冷不丁的突然实现目的。

     下面开始说说实现思路,大致有以下几点:

    1. 完全随机碰撞法

     在ui自动化的过程中,我们把模拟人手进行操作的驱动driver比作是这枚按照钱学森弹道的导弹。完全随机碰撞法,姑且先叫这个名字。

    意思就是driver的具体操作是没有方向的,完全凭随机,在driver走到每个节点(页面)后都会完全随机的操作而去到另一个节点或促进另一个步骤,所以在A->E的过程中,运气最好的最短路程是直接A-B-C-D-E,运气不好的情况下,就可能是A-B-A-B-C-B-A-B-C-D-B-...(n多步骤)...-D-E,当然,步骤越多,就越偏离真实用户的操作,所以可以给这个办法设置一个最大步骤数,比如还是房源下单流程,正常下单是5步,那我们就可以划定范围为最大20步,当我们的程序启动后,会生成很多个路线,其中但凡超过20步,就直接终止废弃,经过相当长时间后,查重率接近90%(或某个其他阙值)后,终止程序。此时我们就会获得相当数量的低于20步的路线用例了,然后可以用driver去自动执行这些用例即可。

    这个方法的优点是算法比较简单,很容易实现,相当于在传统monkey的基础上,增加了目标点(即:终止条件),又规定了最大步骤数,又可以记录路线用例,又进行去重。但其中的回头路走的实在太多,确实不太像正常用户的行为。下面介绍改进方案:

    2. 免回头随机法

    依然是这个driver,在各个节点的随机动作中,进行了方向的指定,避免了走大量回头路的可能(或者规定最多走一步回头路,比如下错订单返回修改,然后修改后继续提交)。

    所以在这个过程中,我们需要监控,一旦driver在节点随机时出现了回头现象,也就是走刚走过的节点,就进行记录,超过最大可回头数就直接过滤掉更古老的回头节点。

    比如规定最大回头数0 ,即不可回头:A-B-C ,当driver在C节点继续随机下一步的时候,就要自然而然的过滤掉刚刚走过的B节点。

    如果规定最大回头数1,即最多回头1次:A-B-C,当driver在C节点继续随机下一步的时候,我们是允许走回B节点的,但要过滤A节点。也就是说:我们允许【A-B-C-B-A之外节点】,但不允许【A-B-C-B-A】,如果C可以直接返回到A的话也不允许【A-B-C-A】。

    这个方法下,我们可以直接避免大量回头太多的现实场景基本不出现的路线用例,性价比得到了显著提高。但,本质上,仍然是随机法,不具备钱学森弹道的目标趋向性,也极有可能出现死循环路线,如【A-B-C-B-C-B-C....】,也就是说,距离最真实用户行为还是有差距。所以继续看优化方案:

 3.行为模拟随机法

      其实,如果你能拿到你们线上服务器的用户日志或埋点数据,就可以统计出很多信息,比如各个页面的用户操作占比。

    举个例子:用户在某产品详情页,点开评价的行为占比50%,点开商铺主页的行为占比10%,直接下单的占比30%,返回上一层的占比10%。

    此时你就会发现,这其实并非完全随机的概率,并非是等分1/4。所以,用更少的用例来,覆盖最真实的场景,就成了性价比更高的方案。此时在我们的driver算法中,在某个节点后,在下一个操作的随机选择算法中,就要按照具体的日志统计,来强行改变概率。

    比如你随机的列表是[评价,主页,下单,返回] ,此时随机就是1/4。如果改成如下方案[评价,评价,评价,评价,评价,主页,下单,下单,下单,返回] ,即可模拟出大致概率,这个列表页并非我们手动设置,只需要去读取线上日志自动生成即可,并不难。难的是,影响概率的情况是比较多的,不能取单一的片段,比如早上和晚上,工作日和节假日,双十一和平时。而软件产品的性能和线上服务器的动态调控负载均衡等问题,也可能会影响测试效果,这些都需要和开发运维同事合作来制定具体计划哦~ 。

    但这种方案是需要大量线上日志来模拟出用户真实动作的,如果我们不具备这个条件呢?我只是个小测试,没有调取线上生产环境服务器日志的权限。所以你要来看看更优化的方案:目标趋向随机法

继续讲一个最终的复杂方案:

4.目标趋向随机法

    这个方案不需要线上日志,也能大致预测出用户动作。毕竟真实用户,他下单的目的就是下单成功,他的所有操作都是奔着最终下单成功这件事去做的。只不过中间操作路线有不同,但总归不会去做很多无用功。而这才是一发导弹要命中目标的真实写照。

    前面的三个方案中,其实都弱化了对目标节点的趋向性,都是在恰好碰目标,碰到了就终止,碰不到就继续碰。虽然算法简单,性价比也高,但让driver失去了灵魂,而真实的用户操作是有灵魂的。并且,我们测试的目的,就是达到目标点为前提,找出各种路线上的bug。所以我们仍然要回归最纯正的钱学森弹道技术上来。

    钱学森弹道的真正可怕之处在于,导弹像有灵魂一样,看似随机,却实际全是假动作,也并非无头苍蝇乱撞,最终总是能击中目标,并且其中有个最主要的特点就是:导弹可没有走过回头路。结合到我们自动化测试中,就是避免所有无用功路径,一切随机,都要朝着距离目的地节点更近的方向走。

    这里再额外说一个适用场景,未来会有很多的AI识别自动化的风控技术出现,自动化的脚步一秒就被识破了,而你想通过完全随机伪装也可能被AI迅速识别出来,这个拦截就好像是老美的爱国者或者铁穹系统,我们的自动化driver导弹,能否突破拦截,并且成功实现目标呢?归根结底,还是要有灵魂。

    具体的实现方案是这样的:driver在抵达某个节点后,在寻找下一个节点时,虽然仍然是随机方案,但是我们要记录其相对最终目标节点的距离,这个距离我称之为(偏移量),我们所有的随机路线,随机节点选择,都是要尽量减少偏移量,使之最终为0,也就是到了目标节点。

    比如:driver在某个节点后,计算出有5个方向可以走:

    其中有1个方向是【回头路】会让偏移量增大,直接pass;

    其中有1个方向是【平移路】,偏移量不变,直接pass;

    其中一个方向是【死路】,没有其他路线,直接pass(注意,死路也有偏移量,只是需要回头,要大很多);

    还剩有两个方向是【前进路】会让偏移量变小,但是变小的幅度不同,我们全都要走,这就是2个路线用例了。

    而这个思路,这里就涉及到两个问题:

    1. 如果只有一个回头路,怎么办?

    如果只有一个回头路,说明这条路线是一条死路,直接抛弃。而事实上,我们在上一个节点选择的时候,也不可能选中这个死路,因为死路的偏移量并不会变小,所以我们一开始就不会选,选了证明你算法有bug。

    2. 如果只有平移路可以走,怎么办?

    如果只有平移路,没有前进路。这种仍然是算法出了bug,平移路的叫法是在当前节点有前进路的基础上才有平移路。如果没有前进路,那么这个平移路能否抵达目的地?能的话,那就应该叫前进路。不能的话,那这条路本就是死路,压根不会走进来。

    所以,其实如果这个算法足够优秀,很多异常问题其实都压根不用过多思考,但这里不光算法复杂,更麻烦的是,要如何获取各个节点距离目标节点的偏移量。继续听:

    其实,这个路线更像是一个复杂迷宫,通往出口的路线和走法很多,但是我们要就是要找出其中没有走回头路也没有走死胡同的所有有用功路线。

    我们想快速找到所有路线的物理办法有什么?

    1. 灌水法,通过注满水在整个迷宫通道,然后你会发现只有能走通的路线水是流动的,你把一些墨汁从入口挤入,就会发现墨汁沿着正确的路线开始走了....

    2. 蚂蚁寻路法,把很多蚂蚁从入口放进去,经过他们无休止的尝试后最终会发现可以走通的路线并做好气味记号,之后的蚂蚁便不再会走死胡同或回头路了。

    这两种方案其实本质都是一样的,都是靠着大量填充来找出答案,我们现在要做的就是找出每个节点的分类,是回头路,还是平移路,还是死路,还是前进路,前进路的话距离最终的偏移量是多少问题。

    俗话说,不走到最后你是不知道真理的。一个节点到底分类是什么偏移量是多少?我们必须要知道这个节点到目标节点的路径才行。死胡同就是死胡同,走到最后一步才知道,那我们就要走到底才行。

    这个方案听起来很笨重,类似于穷举,但其实做起来并不难。一个公司的一个软件产品,也就统计一次即可,属于一劳永逸的事,算法也很简单,就直接用我们一开始的方案完全随机碰撞法,最终统计出每个节点到目标节点的路线中最短的那条,那条一共有多长就是该节点的偏移量。

    比如:B节点到E(目标)节点。路线有很多,其中假设 B-C-D-E是最短的,那B的偏移量就是3,如果B是个死路,那么路线就肯定要回头,B-A-C-D-E,那B的偏移量就是4。

    但要注意,从B节点的路线中,我们不可以直接草率的推断出 C节点偏移量,比如B-C-D-E路线中,B的偏移量是3,那C的偏移量难道就是2么?其实并不是,在现实场景中,如果是从B走到C,那么就一定要经过D才能到E,但如果一开始是从A到C那就可能不用经过D,比如路线【A-C-E】,那这么看C的偏移量就是1。

    那么此刻问题又出现了,如果driver恰好运行到B的时候,它面前的C的偏移量是多少?是2还是1?这并非C本身的属性,而是要取决于前面的节点是A还是B,这里面就是说C是有个叠加态的,当你不确定怎么走的时候,C的偏移量即是2也是1,当你走了A或者B之后,C的偏移量就会坍塌成1个,要么2要么1。

    所以,我们在记录各个节点偏移量的时候,并非是单纯的1维字典:{A:4,B:3,C:2,D:1,E:0} 。

    而是一个2维甚至多维的嵌套字典:{A:{B:3,C:1},B:{C:2}} ,这个嵌套字典中,可以记录出,当driver在A节点时可以走B也可以直接走C,直接走C,那么C的偏移量就是1,也就说再一步就可以直通E。而当driver走了B的话,那么此刻只有C一条路走,而且C的偏移量变成了2。

    现实中,决定一个节点偏移量的可能并非只是前一个节点,可能是多个节点步骤共同决定的。所以情况还是非常复杂的,这个字典也可能是多维的。不过只要你算法写的好,在完全随机碰撞法的所有结果中进行提取就可以自动生成一个你都不需要看的多维字典,然后用本方法选择节点偏移量的时候,直接套用。比如即有A又有F又有D的情况下,又恰好走了M,此时的C是可以走的,且C偏移量是1。这种感觉。而你是不需要操心那么多的,有些事吧,看起来麻烦,但是你只要找出万变不离其宗的宗,就发现一切都自动迎刃而解。

    这个方案讨论到此结束。欢迎观看后续实现算法。

    如果上述你看的云里雾里,那么这里我们把方案还原回导弹的运行,你****就会恍然大悟了!

    导弹发射后,有个节点,距离目的地10公里的高空一个确定的点。如果导弹是直着冲过去,那么导弹通过这个点后距离目的地可能1分钟就能到达。如果导弹是打斜方向经过这个点,那么为了要调整方向和必要的减速等,就需要2分钟才能到达目的地。所以哪怕同一个点,你经过的姿势不同,这个点的偏移量也是不同的。这个姿势,就是你之前经过的点决定的。

    在上面的方案中,大家甚至听到了薛定谔的猫理论,甚至联想到了多元平行宇宙和坍塌成既定事实的论点。从这,大家也能感受到钱学森弹道的神秘和强大了吧?

    而如果想彻底研究明白这个弹道,还要去理解一个实验:光的双缝干涉实验。

    先说结论:观测和不观测是会影响到实验结果的,主观意识可以影响到客观事实,而未来甚至可以改变过去,即果会影响因。什么叫做因果律武器?这就是。