大数据测试 vs 传统测试

311 阅读6分钟

小伙伴们对传统测试已经非常熟悉了,光是从测试手段来区分:功能测试、性能测试、自动化测试、安全测试、接口测试就有多种。

那么大数据测试到底测啥以及如何测,非常遗憾的告诉伙伴们,目前业界没有非常明确的定义大数据测试范畴,本篇我借鉴传统测试的思想跟大伙一起探讨下大数据测试的范畴

目录如下

1、传统测试范畴的定义

2、大数据的功能性与易用性

3、大数据的可靠性与效率

1 传统测试范畴的定义

ISO9126软件质量模型标准定义了软件评估的6大特性分别是:功能性、可靠性、易用性、效率性、可维护性、可移植性,也就意味着软件测试基本上围绕着这6个特性展开,详情见:

ISO9126软件质量模型的六大特性

2 大数据的功能性与易用性

虽然没有明确的评估模型定义大数据测试,但我们可以借鉴ISO9126软件质量模型,从大数据的功能性、可靠性、易用性、效率性、可维护性、可移植性进行评估

2.1 功能性

说明:ISO9126 里面指昌平需求满足需求文档和相关标准能力,分别从适合性、准确性、互操作性、保密安全性、功能的依从性去定义,好比测试一台手机:确保它功能完整(能打电话、发短信、运行app、拍照..),满足用户日常的需求,并且符合互操作性(确保打电话的时能运行手机上的app),发出去的短信传输过程是通过加密、安全的,并且该手机的功能在国际上具备一定的规范一致性

对比:这里我们将其进行迁移到数据测试上,例:公司通过爬虫获取到友商的一些数据,作为测试人员可以尝试考虑这些方面:

2.2 数据全面性

质疑下拿到的爬虫数据对应的友商是否全面,即:除了友商A的数据应该获取,友商B、C、D的数据是否有考虑,通常在需求评审阶段提出

2.3 数据完整性

质疑拿到的数据是否完整,这里完整指:

  1. 数据确保指定时间范围内**每天有数据**,排除被风控了的情况
  2. 数据**是否重复**,例:同1条URL对应2条结果数据
  3. 数据预期与结果**总条数一致**

通常在etl测试阶段考虑

2.4 数据合理性

质疑拿到的数据是否符合数据库规定类型、以及是否出现出现异常值

  1. **字段类型check**,如对重要字段类型check,例:int型下出现其他字符类型情况
  2. **字段异常值check**,例:null、空、或者另外一些约定异常值
  3. **字段默认值一致性验证check**,例: 从A表同步到B表后,某字段枚举值含义相同

etl测试阶段 或者 数据应用层测试考虑

2.5 数据准确性

质疑拿到数据的结果表与数据源头表是否一致,可能源表经过A -> B -> C处理后得到结果表,所以需要验证整个过程数据是否失真,确保数据的准确与一致

  1. **基于总数的验证**,即 A -> B -> C后总数一致,可能到C后有聚合的数据,视情况而定,即在A时有10万条数据,到C阶段理论也有10万。
  2. **基于总数额的验证**,即 A -> B -> C后总额一致,这里的总额可能是:金额、销量等。

etl测试阶段 或者 数据应用层测试考虑

2.6 安全性验证

对于某些敏感的数据往往需要考虑其安全性,可以是从获取数据的方式,也可以是数据本身安全性上。

  1. **账号的隔离**,测评是否有必要采用账号隔离访问数据
  2. **基于对某些数据字段**,测评是否有必要对某些字段进行加密考虑,例:身份证、家庭住址、金钱等方面的加密

需求评审阶段考虑

2.7 数据可理解性

同样比如需要买一个手机,我肯定会去网上找我喜欢的牌子,了解功能,价格售后服务等信息,再做决策,往往选着的都是大牌的手机并且是我在日常生活中所熟知的。所以这里的数据可理解性,翻译过来就是:能让人对你定义的指标有所熟悉,获得业界一致认可的指标,像是一些:MAU、DAU、日环比等。

需求评审阶段考虑

3 大数据的可靠性与效率

同样的当处理大数据的平台出现不可预知的错误时,我们得有一些处理方案让其能短时间内恢复,或者即便恢复不了也有一些应急的方案,让其不影响到整个链路的上下游,这里其实就是对处理大数据的平台进行性能测试。

  1. 数据恢复性,当平台出现异常时,可以有一些重试机制进行重试,确保系统短时间内能恢复。

  2. 数据容错性,即便通过重试机制不能恢复时,需保证上游数据不能影响到下游的数据,可以有一些默认数据的预置,确保下游总能获取到数据。

  3. 时间与资源,当平台运算资源紧张任务繁重的时候,可能会出现长时间的等待,这时候除了需要跟研发一起优化SQL线程,还需要设计一些交互展示一些页面给用户,减少等待带来的用户体检差的问题

4 大数据的可维护性与可移植性

可维护性指:数据可用且及时被维护,可移植性指:无论数据的迁入与迁出都不会影响到数据的使用

  1. 维护库表之间关系,当由于通常大数据随着时间的推移数据库表会越来越多,需要确保有地方能维护数据库表之间的关系。

  2. 维护单表字段含义,例:某天业务上新定义销售类型,那么需要在对应的表内注解出及时维护。

  3. 数据的迁入/迁出,:确保数据迁入/迁出字段不丢失以及数据完整性(参考2.3 数据完整性)

关注我的公众号【数据测试之路】

回复 【hive】:即可获得Hive编程指南资料,让你轻松掌握它 回复【面试】:即可获取大数据测试相关的面试题,大厂的橄榄枝正向你招手