软件测试之推动全面的质量提升

软件测试之推动全面的质量提升

到质量有了一定的提升，但是还是有不少的问题，而且有些问题需要我们把思路和眼界拓宽来看。这里讨论的一些东西可能更适合互联网的产品。

这里列一些我们可以去做的事情，受限于个人的经验，可能还很片面。

1. 研发流程的梳理

其实在阶段2的时候也可能有些团队已经开始做这样的事情，因为在分析质量和效率问题的时候，我们发现很多问题不单纯是代码的问题，可能还涉及研发流程的很多方面，比如：

- 需求不清楚

- 跨团队的配合问题 (这是一个老大难的问题)

- 代码版本管理

- 技术方面的评审和大家的理解

所以整个研发流程的规范和梳理，以及配合对应的需求和版本管理的系统也是非常的必要，实际中发现效果也是比较的明显。而且还有一点体会，在接手一个很混乱的状况时，这样角度的数量和调整比技术方案的引入更重要和切中要点，能从40分到60分，技术是往80分走的过程效果更明显。

- 代码的静态扫描

这个方法很多的团队都在做，但是实际的效果似乎差别很多，而且ROI也很难说，不过从方法本身来说还是值得去做的，对测试人员也提出来更高的要求。

- code review

这个开发应该要做，特别是开发间的交叉review，非常的有帮助。不过这个也和自测一样，取决于开发负责人的态度。另外，测试也应该去做，特别是对于diff 代码的review，我们检查做了大概两个月的时间，发现还是非常的有收获。发现了一些黑盒难以发现的问题，以及开发的代码夹带，并且对于这个版本影响范围的评估也更准确。但问题是短期会花费测试更多时间，以及需要测试人员有一定的技术能力。

3. 测试能力的提升

测试阶段有很多的事情可以去做，觉得最主要的还是两个方面

- 辅助手段，比如代码覆盖率，特别是差异的覆盖率。这个大家都比较容易理解就不展开了。

- 拓展测试的类型

这个方面说起来有些泛，需要结合团队和业务的情况，比如安全测试，性能测试，兼容性测试等，去发现一些对于产品来说很重要的风险。

这方面有两个前提，一是我们的基本功能质量到了一个阶段，可以让大家腾出手去拓展测试的面，另一方面我们测试人员的能力要跟得上。

4. 发布环节的质量把控

这个方面和传统的测试不太一样，而且了解到不同的组织做法不同，执行发布的人员可能不同，有开发，运维，专职的版本管理或者测试来做。

在我们的实践中，发布后来都逐步收到测试这边，回头来看觉得还是有不少有帮助的地方。当然也不绝对的必须测试来做。

- DO分离，避免了随意的发布，特别是在开发手上的时候。所有的bugfix都经过测试发布，可以更准确的度量质量(除非这个问题可以不修复，否则肯定要过发布环节)

- 知道最近发了什么，可能的影响是什么，需要线上关注什么。

- 灰度。 互联网产品常用的一个控制风险和节奏的手段。

- 扩容的快速自动化检查，这方面也依赖于自动化的建设。

- 发布过程支持灰度的控制，备份和快速的回滚。对发布系统有一定的要求，而且有可追溯性。

发布处在整个研发流程非常关键的节点，在这个点可以做很多的控制，也能发现很多的问题，对于测试团队来说，从这里可以发现很多的问题，做很多的提升，对自己和相关的合作团队。

5. 外网的监控

发现发布后的问题，持续运营过程中的问题，推动优化。

通常监控可以分几个层面，粗浅的可以分成几类：

- 运维层面的监控，比如机器，链路，资源使用，主要组件是否正常等。

- 集成在产品里面的监控代码，我们称之为模块调用监控。这个是全量的，有次数，成功率，响应时间等角度。

- 测试层面的自动化监控，关于在接口和功能层面。这个是采样的，但是从用户的角度来监控。

以上这些监控都有对应的告警机制，可以第一时间发现问题，避免造成更大的损失。为了实现上面的监控需要做大量的工作，但是这些对于整个外网运营的质量非常的重要。

6. 外网事故和问题的收集，跟进和反向推动

和前面的思路一样，如果只是发现问题解决问题还是稍显被动，那么对于外网事故和问题的分析，还是有很多推动性的帮助。

7. 用户的问题反馈和满意度

进一步的质量不只是系统本身的质量，而是从用户角度看到的质量，有时候这个可能稍微超出一些系统层面的问题，但是因为最终的质量还是用户说了算，所以我们应该扩展下思路。收集这样的问题的渠道有很多

- 外网问题反馈，比如来自客服系统的，用户直接的反馈，现在很多app上都有反馈的功能。

- 论坛信息的统计收集。我了解的另一个测试团队，他们还专门开发了一个自动收集外部反馈，以及过滤分析的系统来帮助他们及时的了解外包的问题反馈。

8. 运营层面的质量

更进一步，关注运营方面的质量，跳出传统意义的质量的范畴，关注我们的业务指标，不只是做一个高质量的产品，而是做一个业务上成功的产品。

比如下面这样的例子：

- 商品详情页的图片的质量

- 活动页面和详情页面价格不一致的情况

- 运营配置的错误导致的问题，哪些是可以监控发现，哪些是可以推动运营平台的规则检查?