性能测试高效工作技巧之使用基准每次只更改一个变量

性能测试高效工作技巧之使用基准每次只更改一个变量

为了进行比较，我们更改了一个元素，并根据另一个测试度量该更改的影响。

在我们持续集成过程中，对新版本的软件进行基准测试，以衡量代码变化如何影响软件的性能和可恢复性。

在其他一些基准测试中，我们希望测试软件在不同规格的硬件上的性能。由于我们还支持多种架构、平台、操作系统、数据库和文件系统，我们希望不仅能够定义如何获得最佳性能和可靠性，还希望能够将它们相互比较。

这些都是有效的基准实践，因为我们更改了一个元素并度量了该更改的影响。

然而，如果我们同时改变测试中的软件版本和测试的硬件，然后尝试比较结果，我们就无法确定变化是由于其中一种变化引起的，还是两者的结合导致的，通常情况下，这些组合元素的更改会产生与单独更改一个元素不同的效果。

在性能工程中，尽量进行同向比较，使用基准测试，并在要比较的测试的多个版本中一次只更改一个变量。