对稳定性测试三个阶段的定义

对稳定性测试三个阶段的定义

1.恒定压力阶段

· 定义

恒定压力阶段顾名思义保持压力大小恒定不变，在恒定不变的压力模式下，评估系统的吞吐量波动、响应延迟情况。

吞吐量TPS是指服务端每秒或每分钟正确处理的请求数，服务资源比较充足且比较稳定的情况下，通常TPS波动很小;如果TPS波动比较大，如突然下降，或剧烈抖动，则系统肯定存在性能问题，比如某个资源成为瓶颈，或某个缓冲队列堆积或爆掉等情况。

· 恒压阶段的并发选择

恒压阶段改如何选择并发?

恒压阶段并发大小的设置一般参考负载测试阶段的结果，选取性能拐点或资源临界点如CPU使用率80%左右的压力，或接近扩容指标的压力。因为一般情况下线上运行最大压力基本在扩容指标之下，选择这个压力对系统的考验会更加严格

· 恒压阶段的性能通过指标

通过指标包括两类，性能指标和资源指标。

①性能指标：TPS上下波动率不超过30%，TPS波动率是有个计算公式的;错误率肖武0.1%，且错误影响范围不大。

②资源指标：资源指标无异常，如CPU无波动，不均衡等现象;无内存泄露、连接数泄露、句柄泄露等问题。

2.压力变化阶段

定义：变压阶段的并发选择则需要根据不同场景的实际线上运行场景，或者几种典型的产品，如Web产品，或后端基础支持类的产品来进行压力定制波峰和波谷。

我们对压力变化模型的不精确定义为：

1.初始并发数需要配置，保持时间默认30min

2.上升时间T需要配置

3.最大并发数需要配置，默认为初始并发数的2倍

4.最小并发数需要配置，默认为初始并发数的1/2

5.最大最小并发数保持时间，需要配置，两段时间相等

6.周期重复数，需要配置，默认重复两次

7.下降时间不需要配置，固定为上升时间的2倍

变压阶段的并发选择

最大并发数一般选取负载测试时最大TPS对应的压力

最小并发数为最大TPS对应压力的一半，初始并发选择最大TPS对应压力的80%左右

变压阶段的性能通过指标

①性能指标：TPS波动后能够回到原来的稳定值;在波峰时，响应时间增幅不会过大;错误率小于0.1%

②资源指标：资源指标无异常，如在波峰增长阶段CPU不存在大幅度的波动情况;无内存、连接数、句柄数泄露

变压阶段的实施效果

当前我们在某些产品的实施过程中还是能发现一些问题的，如在压力上升过程中，在各项资源指标没有成为瓶颈之前，响应时间增幅很大，性能严重下降的情况

在某产品的稳定性测试的压力变化阶段发现在压力变化时出现少量请求错误，且响应时间增幅很大。

原因是在压力突增的时候出现数据库连接数不够用，导致请求出现失败。

3.异常干扰阶段

在进行稳定性测试时，除了压力变化手段之外，应随机增加一些异常，这样做的目的是检验系统在遇到一些异常时能否做出预期的处理和响应，而不是卡死或是不响应，异常撤消后系统能够快速恢复正常服务。

那么，增加哪些异常手段比较合适呢?

稳定性测试中选取的异常测试用例主要是一些系统层资源争用的异常，如下所示。主要包括的CPU、内存磁盘、网络异常以及服务故障及恢复等场景。稳定性中增加异常手段的主要目的是为了验证系统在受到一些异常扰动时能否快速做出响应。

·异常干扰的并发选择

同恒压阶段

· 异常干扰的异常用例设计

部分异常测试点，非完整测试用例

· 异常干扰的通过标准

①性能指标：随机异常撤销后能够回到原来的稳定值，错误类型分拣，明确错误原因，是否符合预期

②资源指标：资源指标无异常(CPU/IO/网络);无内存、连接数、句柄数泄露;程序无挂掉等情况。

异常干扰测试的实施效果

基于异常干扰的稳定性测试目前在若干个产品有实施，均能发现一些不稳定的性能问题，如高可用切换问题，异常恢复等问题。