系统整体性能的验证,在平时工作时,CPU和MEM的剩余;在极限场景下,系统的剩余性能,能否稳定工作(苟延残喘)
压力测试:
一般考察7*24h下,系统的稳定情况,微信可否连续聊天,抖音能否持续推送视频,连续登录10000次账号成功率是否高于99.9999%
安全测试:
这里就要考虑系统的各种安全情况,例如SQL注入,网络攻击等
UI测试:
这要求测试人员以一个真实用户的角度,去考虑这一功能的呈现,该有的弹框是不是都有,图标设计的是不是对称,某一功能的路径会不会太深
兼容性测试:
这就包括多种兼容性,软件兼容性比如新旧版本的游戏能否互通,硬件兼容性比如市面常见的手机电脑能否支持该软件的平稳运行,甚至于蓝牙耳机鼠标等各种外设
数据一致性测试:
这种数据一致性体现在各个方面,SQL查询结果是否正确,返回值是否正常,网络数据传输前后是否完全一致
可靠性测试/异常测试:
一般都考虑各种异常情况下的系统反馈,比如系统剩余空间不足5%检查软件能否正常运行,弱网丢包率高于50%语音通话的质量能否接受,读写过程中插拔外设是否对原始数据有损坏
软件结果
这里包含的也比较繁多,就像你下地秋收一样,如何评判你的劳动成功?颗粒是否饱满,每亩产量是否充足,坏果率大概是多少?
但是一定要记住,不是所有人都会懂你这些技术细节,所以需要一句简单的总结,来告诉所有人经过你的测试工作,软件质量到了一个什么样的地步?【例如】
当前软件版本质量:高
各项功能均已正确实现,系统经过7*24小时无任何稳定性问题,复合准出标准,予以准出!
当前软件版本质量:中
各项功能基本实现,系统经过7*24小时存在稳定性问题,遗留问题主要分为3类:第一,第二,第三,问题出现后系统可自动恢复,带风险准出!
当前软件版本质量:低
各项功能基本实现,仍存在遗留问题,系统经过7*24小时仍存在稳定性问题,包括内存泄漏等严重问题,不予准出!
你的价值
虽然这叫一份测试报告,但是有些软件庞大,光功能点就动辄成百上千,大的模块都有十几个,你一个人是测不完的,那怎么办?难道就只是呈现你的测试工作就可以了吗?
当然不行!
还是以CSDN为例,我的工作就是测试Android端APP,我测试了功能(发帖,看帖,评论等),性能(系统多后台下浏览,24h连续浏览等),兼容性(市面主流安卓机)
那我就只写这么多吗?
比如A同学负责Web端的测试(Windows&Mac),B外包同学负责IOS端的测试,C团队参与了弱网情况的软件稳定性测试,这些所有的进展都要在这里汇总,因为这一份测试报告就是整个项目的出口,而不是你一个人工作的呈现!
当然,ABC团队可能都有自己的测试报告,你可以引用
当前弱网情况下软件稳定性:高,在丢包率30%以下时,发帖成功率可达到87.91%;丢包率50%以上时,会给用户提示“请检查网络”并禁用发帖功能;
测试报告的结构
说完了测试报告应该有哪些内容,那么就该说说这些内容应该如何排列组合了
1、首先呈现出你的结论
很多领导基本就只看这一点了,直接给出当前软件结论,如果软件质量高,没啥问题,他们就根本不会接着往下看了,这里其实有点像议论文的总分结构,先总述,后分开详述
2、当前遗留问题&排期
我前面说过了,如果这里没有遗留问题,一定是你的问题,而不是系统没有任何问题!任何系统都一定会存在各种各样的bug,大到内存泄漏,小到token提示信息缺失,如果没有遗留问题,说明你的测试工作还不到位,加油再测吧~
当前遗留严重问题
原则上有严重问题其实是不能发版的,但是如果不影响用户使用或者有应对措施就可以
比如CSDN客户端会crash,但是前提是需要连续刷24h,这样的客户场景一般难以遇到;
比如CSDN在多后台情况下打开就闪退,那么可以弹窗提示客户手动清理后台后再次尝试打开;
所有的严重问题必须在下一个版本完成迭代!!!
剩余遗留问题给出排期
那么剩下的就是一些普通问题或者提示性问题,虽然不严重,但它是问题就得解决,必须得给出排期,并且精确到责任人,比如这么几类情况
这个问题可能对用户影响更大,下个版本必须解;
这个问题有点难解,第二个版本再排期;
这个问题现在连头绪都没有,长期跟踪;
3、软件版本&算法/组件版本
这里一定要写清楚所有的软件版本,方便以后问题的迭代和回溯(甩锅),比如像下面这样
当前软件版本号V1.2.3
推荐算法模型为recommend_20220407_1305_alpha
当前软件MD5值为23gk2hf2v3uf2y3g23guy
软件包升级下载链接为https:test0407/download/test.apk
以此类推……
4、全业务回归情况
这里要写出系统测试情况,做了什么测试,覆盖了多少轮,一个是体现你的工作(摸鱼)情况,另一个反馈完整的软件质量,比如:
功能测试:ALL:100,PASS:96,FAIL:4,BLOCK:0,通过率96%
性能测试:ALL:100,PASS:81,FAIL:9,BLOCK:10,通过率90%(BLOCK不能算在已执行里面,这里是81/90)
以此类推……
5、各类专项进展&竞品分析
还是上面说过的其他团队的进展,或者你这产品的卖点,做一个专项,要有评测和竞品分析
虽然这两项往往都是合在一起的,但是这里我分开举例吧,比如自动编辑博文专项:
对于百字文章,成功率高达100%,对于错别字的识别,成功率高达99.86%;
对于千字文章,成功率高达97.03%,对于错别字的识别,成功率高达96.28%;
对于万字文章,成功率不低于80%,对于错别字的识别,成功率不低于75%;
再比如发帖耗时的竞品分析:
发帖耗时这一方面,在各量级的文章下都优于友商不知网:
优势是发帖耗时更低,只需要183ms,速度领先35.76%;
劣势是弱网下发帖的成功率太低,仅27.30%,同样网络下低于不知网的49.72%;
其实你们也发现了,我这文章里全是字,你们也不想看,所以这里有一些小技巧,能画📈的就画图表,问题清单或者问题描述也可以用xmind的形式绘制出来,该复杂的地方就复杂,该简单的时候就简单,详略得当,我就随便举两个🌰吧
【例1】自动编辑博文专项
对于百字文章,成功率高达100%,对于错别字的识别,成功率高达99.86%;
对于千字文章,成功率高达97.03%,对于错别字的识别,成功率高达96.28%;
对于万字文章,成功率不低于80%,对于错别字的识别,成功率不低于75%;
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
了解详情》docs.qq.com/doc/DSlVlZExWQ0FRSE9H