软件测试培训之评价自动化测试优劣的常见指标

软件测试培训之评价自动化测试优劣的常见指标

1、自动化运行通过率/成功率

这里排除了代码bug导致的失败。为了避免自动化运行经常失败，大部分团队都会将自动化运行通过率作为一项重要指标，来评判不同模块/业务线自动化实现的好坏。还将这个指标设置一定的阈值，例如，经历过的有个团队要求自动化运行成功率要大于90%+，最好能100%运行成功。

这个指标是几乎所有团队都会强调的一个指标了，因为自动化运行通过率/成功率是自动化发挥作用的前提条件。但看这个指标，其实也无法评估自动化实现效果，只能说明自动化运行的比较稳定。

2、自动化执行频率

这里的执行频率，排除业务测试，特指每天定时的自动执行。不同团队，根据实际情况不同，有不同的要求。例如，有的团队要求早晚至少各一次，有的团队则要求每天至少执行一次，但无论哪一种，几乎都会形成这样一种现象：各个团队为了让定时自动执行时都通过，每天都要花费一定时间来维护自动化代码。

这个指标其实也是一种评估自动化运行是否稳定的指标。执行的频率越高，加上执行的通过率/成功率越高，说明自动化运行的越稳定。

3、自动化case数量/覆盖场景数

这个指标不同业务线之间，其实没有太大的可比性。但同一个业务线上，还是可以作为参考指标的。自动化case多、覆盖的场景多，至少一定程度上说明了自动化的覆盖范围。这个指标可以一定程度上来评估自动化测试的广度、深度。

4、自动化发现bug比例

如果说自动化运行通过率/成功率、自动化执行频率、自动化case数量/覆盖场景数还是评价自动化优劣的过程指标，那么自动化发现bug比例就是最有力的结果性指标了。试想一种极端情况，如果一个自动化项目，跑了N久后，还没有发现过bug，那么这个自动化的价值是不是要打一个大大的问号呢?

自己经历的团队，以及曾经接触过的团队，其实对自动化发现bug比例的侧重反而不是那么高。

这个指标可以说是众多指标中，最能立竿见影的说明自动化实现效果的指标了。自动化发现bug的比例越高，说明自动化在实际的项目中发挥的作用越大。甚至可以用自动化发现bug率是100%，来作为自动化测试的终极目标。