大数据应用测试质量域的六大挑战

大数据应用测试质量域的六大挑战

在思考搜索推荐广告系统是如何测试的之前，我们首先要定义问题域，即要解决的测试问题是什么，我们的思路从以下几个方向展开。

1.功能性测试与验证

2.数据更新的实时性如何测试

总所周知，对于一个搜索或者广告的在线计算引擎，其内部的数据在不停地发生更新，或者出于商家在商品信息上的变更，也可能是因为广告主在创意甚至投放计划上的变化，这些更新需要实时反馈在投放引擎，否则会出现信息不一致甚至错误。如何测试和验证这些变更的及时性，即保证一定的并发带宽又保证更新链路的响应时间，这是需要测试重点关注的一个问题。

3.数据请求响应的及时性如何测试

在线服务都要求低延迟，每次 query 服务端需要在几十毫秒内给出响应结果，而整个服务端的拓扑会有大概 30 多个不同模块构成。如何测试后端服务的性能和容量就变得至关重要。

4.算法的效果如何验证

5.AI 算法系统的线上稳定性如何保证

线下发布之前的测试是对代码的测试验收，并随着缺陷的发现与修复，提升的是代码质量。而线上的稳定性运营是为了提升系统运行的稳定性，解决的问题是：即便是一个代码质量一般的系统，如何通过技术运维的方法来提升系统的高可用性与鲁棒性，并降低线上故障的频次与影响，这一部分也被称为线上技术风险领域。

6.工程效率方向

这是对以上几个部分的补充，甚至是对整个工程研发体系在效率上的补充。质量与效率是一对孪生兄弟，也是同一个硬币的两面，如何平衡好两者之间的关系是一个难题，质量优先还是效率优先，不同的产品发展阶段有不同的侧重点。我们的工程效率，力在解决 DevOps 研发工具链路，用以提升研发的工程生产力。

自此，我们基本定义完毕大数据应用的测试问题的六大领域，有些领域已经超过了传统的测试与质量的范畴，但这也正是大数据应用给我们带来的独特质量挑战，下面我们围绕这六个问题展开讲一讲。