基于Jmeter的性能压测平台实现，性能压测工具

本文讲述了基于Jmeter的性能压测平台实现，性能压测工具。

目前已做了兼容性的改造，支持适配Jmeter5.4.1的编译和运行！

很早就想要一套属于自己的性能压测平台，原因是使用了阿里云的性能测试PTS，就挺羡慕能有一个这样的性能测试平台，但毕竟人家的东西我们高攀不起（要钱的），而且阿里云的性能测试平台是不支持多种协议的（比如我有一个项目要用websocket测试，结果人家就支持http压测）。

说到开发自己的性能测试平台，肯定想到的是Jmeter，因为开源的性能测试工具没有比它更强大的了，所以第一个想到的是怎么把它变成性能测试平台，很多人首先想到的是通过jenkins结合jmeter，我想那也只能叫调度平台，不能叫性能测试平台。通过对Jmeter和Java快速开发框架的深入了解，我发现做一个自己的性能压测平台是可行的，而且网上也有人正在做。开发的过程肯定是无限的踩坑（开源的东西就这样），相对收获来说应该值的。以下是我针对开源的Java快速开发框架和别人实现的部分成品，再结合JMeterEngine的深入学习，梳理的平台架构：

该平台已经开源（无Java经验的测试人员慎入，以免烦扰）：stressTestSystem: 继承于zyanycall/stressTestPlatform的开源项目；基于renren-fast开发平台开发，内核基于Jmeter脚本和Jmeter-Api实现在线性能压测。Docker版部署方案

https://gitee.com/smooth00/stressTestSystemDocker

针对小白，提供了一键部署包：stressTestSystem 发行版 - Gitee.com，只要安装了JDK1.8，下载安装包stressTestSystem-min-5.1.1.rar 解压后，通过批处理脚本就能运行压测平台。一键部署包所对应的Docker镜像文件可以直接pull到：docker pull smooth00/stresstest-system

Docker部署方案参考：stressTestSystemDocker: 压测平台系统stressTestSystem的Docker部署方案

https://gitee.com/smooth00/stressTestSystemDocker

以下是主要的技术选型及说明：

核心框架：Spring Boot 1.5

安全框架：Apache Shiro 1.3

视图框架：Spring MVC 4.3

持久层框架：MyBatis 3.3

定时器：Quartz 2.3

数据库连接池：Druid 1.0 （阿里开源）

日志管理：SLF4J 1.7、Log4j

页面交互：Vue2.x（前后端未分离）

前端监控：ECharts 3.8

压测内核（即JMeterEngine）：Apache JMeter 4.0（现已支持5.1.1、5.4.1版本）

脚本调用内核：Apache Commons Exec 1.3（弃用）

远程执行命令：Ganymed build210

批量上传组件：bootstrap-fileinput v4.5.2

JVM内部缓存：Guava 18.0

选用的快速框架是经量级的，而且是方便快速部署的：

【renren-fast开发框架】，具体可以上网获取：renren-fast开发文档 - 人人开源

https://www.renren.io/guide/

性能测试平台的项目结构：

stress-test

├─doc  项目SQL语句

│

│─lib  项目引用外部jar包（默认没有）

│

├─common 公共模块

│  ├─aspect 系统日志

│  ├─exception 异常处理

│  ├─validator 后台校验

│  └─xss XSS过滤

│ 

├─config 配置信息

│ 

├─modules 功能模块

│  ├─api API接口模块(APP调用)

│  ├─job 定时任务模块

│  ├─oss 文件服务模块

│  ├─sys 权限模块

│  └─test 压测模块

│ 

├─RenrenApplication 项目启动类

│  

├──resources 

│  ├─mapper SQL对应的XML文件

│  ├─static 第三方库、插件等静态资源

│  ├─views  项目静态页面

│  └─application.yml 环境配置

平台已实现的部分功能：

（1）用例管理：

用例管理支持jmx脚本的上传和参数化文件及测试附件的上传，一个用例创建一个目录（脚本、参数文件、附件、测试报告都在同一用例下保存）。删除用例时会自动删除用例下所关联的脚本，并一并删除已同步到各个节点的文件。

（2）脚本文件管理

每个脚本具有启动和停止压测线程的功能（具有状态标识），每个参数化文件或附件具有同步到各个节点的功能（同步完成后标识为同步成功）。

支持脚本文件在线修改（基于jmx文件的模板化编辑）：

启动脚本可以选择指定节点压测，只要空闲状态的节点都可以选择，真正实现并行任务执行：

脚本文件除了启动和停止功能，还能配置是否开启报告生成和是否开启前端监控，监控是echarts图形监控，如下：

调用脚本进行压测的方法分为两种：

另外支持将脚本添加到任务，用的是框架本身的任务管理，加上cron表达式生成器插件的应用，可以方便的实现脚本的定时任务创建，这样就能定时执行脚本（这个是LR所不具备的功能，一般可以用于接口的自动化测试）：

（3）测试报告管理

默认执行脚本过程中，生成了CSV报告，通过【生成报告】按钮，触发将csv报告转换成html DashBoard（这一步也是通过Commons Exec调度jmeter命令完成），展示效果如下：

除了测试报告，还支持调试报告（显示接口请求信息，类似于Jmeter的查看结果树） ，原理是调用xls模板将JTL结果转为html报告（区别于测试报告是将CSV结果转为html报告），展示效果如下：

（4）分布式节点管理

分布式节点管理通过Ganymed远程执行linux命令，来启动或是停止各节点的Jmeter-server，启动命令格式如下：

 //启动节点

 String enableResult = ssh2Util.runCommand(

        "cd " + slave.getHomeDir() + "/bin/testCases/" + "\n" +

        "sh " + "../jmeter-server -Djava.rmi.server.hostname="+slave.getIp());

如果是禁用节点，就是通过远程执行杀进程的命令：

ssh2Util.runCommand("ps -efww|grep -w 'jmeter-server'|grep -v grep|cut -c 9-15|xargs kill -9");

这种方式挺方便，省了在多台linux节点机上，手动去连接和启动jmeter（分布节点越多越显得方便快捷）。而且节点管理支持节点权重控制（原理是基于进程修改线程组的线程数属性来实现）。

另外跟原来相比，分布式节点管理增加了校准功能，就是为了解决节点因为人为因素停了，而管理端不能及时的作出判断，现在通过校准可以将后台节点的进程状态跟前台同步一次（避免进程异常关闭或错误启动），目前不是自动校准。因为无论是实时监听端口还是定时校准，效率都不是最好的。以后可以尝试在压测过程中添加监听机制，来实时监测节点状态，而非压测时段就通过手动点击校准即可，这样会相对经济一些。

（5）监控扩展（Grafana+InfluxDB）

由于我在以前的一篇文章中写过有关Grafana+InfluxDB与Jmeter的监控（关于Jmeter长时间压测的可视化监控报告https://blog.csdn.net/smooth00/article/details/79926294），可以直接拿过来集成使用。集成的方式是开启Grafana的匿名登录（在defaults.ini中配置），到官网下一个Jmeter的监控视图JSON模板导入，同时以跳转的方式将Grafana嵌入到平台的iframe中。

var URL_IP = parent.location.host;

var URL_PORT = parent.location.port;

window.location = "http://"+URL_IP.replace(":"+URL_PORT,"")+":3000/d/joulMbxmz/apache-jmeter-dashboard?orgId=1";

另外可以将Grafana和InfluxDB及一键启动脚本与性能压测平台一起部署，实现在部署层面上进行集成和无缝对接使用。

写到这我们的性能压测平台前期部分基本介绍完了，还有些功能未开始开发，比如像阿里云PTS的压测场景配置，这比较复杂，相当于是把脚本的场景设置移到WEB界面上，另外还要结合定时器进行脚本的灵活调度（发起压测、结束压测、持续时间、测试周期等），目前来看还没想好怎么实现。但是可以先实现线程组的在线管理

（6）线程组管理

线程组管理的原理也不复杂，就是上传脚本时，通过dom4j递归扫描Jmx脚本（本质上是xml）的节点，获取线程组的配置节点参数，保存入库，然后在界面上修改和管理，改完还可以同步回Jmx脚本（也是通过dom4j对xml进行set配置）。目前实现的管理的线程组类别包括默认的ThreadGroup、jp@gc - Stepping Thread Group、jp@gc - Ultimate Thread Group，这三种已经算最常用的了。线程组管理的目的就是免去简单的线程配置（如并发数配置、线程组禁用）还要线下设置，设置完又要上传，另外脚本的线程组配置在平台界面上也能一目了然，避免又要临时打开Jmeter工具进行查看。

（7）压测节点监控【该功能未开源】

既然有了分布式节点管理，那么我们也可以做到对节点的分布式监控，在Influxdb-Grafana的基础上，引入telegraf来实现；我们通过界面上，加入监控开启和停止的按钮，再结合节点上部署的一些批处理命令，来实现一键启动监控代理。

启动和关闭的核心代码如下：

 /**

 * 批量切换节点的监控状态

 */

@Override

public void updateMonitorBatchStatus(List<Long> slaveIds, Integer monitorStatus) {

    String execStr="";

    for (Long slaveId : slaveIds) {

        StressTestSlaveEntity slave = queryObject(slaveId);

        // 本机节点无需远程操作

        if ("127.0.0.1".equals(slave.getIp().trim())) {

            Runtime r = Runtime.getRuntime();  

            //执行本地操作系统命令，不关心返回结果，

            Process p = null;

            try {

                if(OS_NAME_LC.startsWith("windows")){

                    if (StressTestUtils.ENABLE.equals(monitorStatus))

                        execStr = "cmd.exe /c \""+StressTestUtils.getJmeterHome()+"\\telegraf\\start.cmd\" -a";

                    else

                        execStr = "cmd.exe /c taskkill /im telegraf.exe /f";                    

                }else{

                    if (StressTestUtils.ENABLE.equals(monitorStatus))

                        execStr = "sh "+StressTestUtils.getJmeterHome()+"/telegraf/startUp.sh "+slave.getSlaveName();

                    else

                        execStr = "sh "+StressTestUtils.getJmeterHome()+"/telegraf/stop.sh "+slave.getSlaveName();  

                }

                p = r.exec(execStr);

                p.waitFor();

            } catch (Exception e) {

                // TODO Auto-generated catch block

                e.printStackTrace();

            } finally {

                if(null!=p){

                    p.destroy();

                    p=null;

                }

            }

            //更新数据库

            slave.setMonitorStatus(monitorStatus);

            update(slave);

            continue;

        }

        //其他节点需要SSH远程连接

        SSH2Utils ssh2Util = new SSH2Utils(slave.getIp(), slave.getUserName(),

                slave.getPasswd(), Integer.parseInt(slave.getSshPort()));

        // 避免跨系统的问题，远端由于都时linux服务器，则文件分隔符统一为/，不然同步文件会报错。

        String telegrafServer = slave.getHomeDir() + "/telegraf/telegraf";

        String md5Str = ssh2Util.runCommand("md5sum " + telegrafServer + " | cut -d ' ' -f1");

        if (!checkMD5(md5Str)) {

            throw new RRException(slave.getSlaveName() + " 监控模块出错！找不到telegraf启动文件！");

        }

        //如果是开启监控

        if (StressTestUtils.ENABLE.equals(monitorStatus)) {

            //启动监控

            execStr =

                    "sh " + slave.getHomeDir() + "/telegraf/startUp.sh " 

                          + slave.getSlaveName()+" "+stressTestUtils.getLocalIp();

        }else{

            //禁用监控

            execStr = "sh " + slave.getHomeDir() + "/telegraf/stop.sh";

        }

        String enableResult = ssh2Util.runCommand(execStr);

        logger.error(enableResult);

        if (!enableResult.contains("telegraf")) {

            throw new RRException(slave.getSlaveName() + " telegraf执行失败！请先尝试在节点机命令执行");

        }

        //更新数据库

        slave.setMonitorStatus(monitorStatus);

        update(slave);

    }

}

从代码我们也可以看出，我们将telegraf启动和配置文件都放置在jmeter节点的根目录下，这样能方便远程SSH调用，同时我们将监控平台的IP和节点名称也发送过去，并更新到telegraf.conf文件中，这样启动的telegraf进程就会将监控数据发回到我们的influxdb，并通过grafana监控到。以下是监控的效果：

这样我们就实现了对压测机的监控（在测试过程中不对压测机监控是不合理的，特别是CPU、内存、网络IO等，万一出现测试机的性能瓶颈由于不能及时发现就会导致无用功），除了压测机的监控，我们可以由点及面，做出一个压测平台的监控服务平台，对被测服务端也进行监控。

（8）平台日志监控【该功能未开源】

说是日志监控，目前只是实现了日志的前台展现功能，将info、debug、warn、error不同的日志级别用颜色标识。获取日志的方式是开通websocket通道，用spring-boot推送实时日志到前端页面显示，这种方式其实也没什么特别的，在网上能找到大把的实现方式，但其作用还是挺大的，平台运行或是压测过程中如果出现异常，直接在前台跟踪日志即可，没必要再跑到后台服务器上用tail命令跟踪了，易用性变强了。

（9）支持redis缓存压测数据并生成报告【该功能未开源】

通过redis缓存压测的监听数据，并自动生成报告（并套用自定义的报告模板），在速度上要远快于csv生成html报告，主要是为了解决测试报告文件太大生成报告太慢的问题（利用redis集群可以加大测试数据缓存的并发性），另一个好处是将自己需要的测试结果缓存到redis中，可以方便自定义更多元化的报告展现形式，提升了平台的扩展性（该功能不对外开源）。

（10）支持动态改变脚本全局变量【该功能未开源】

通过在压测节点机或主节点开启 beanshell.server.port=9000

首先在jmeter脚本中使用全局变量来控制线程数或吞吐量，如下：

然后运行脚本，这样在界面就有个【调参】按钮，点击就可以动态的修改参数，达到动态控制：

调完参数并提交后，可以看到线程数被动态的改变为10：

我们经常在压测过程中会发现压力太大或是压力不够，我们不需要停止脚本重来，只需要动态的改变压力，继续测试，这就是动态调参的魅力。一般用于动态调整吞吐量或都动态调整线程数。具体原理可以参考我们的另一篇文章：Jmeter动态吞吐量实现

注：未开源的功能是我为公司内部定制化开发，涉及到版权，在开源代码里未提供，请见谅。

更正说明：写这篇文章的时候，阿里云的PTS刚刚能支持原生jmeter（但前提是有项目支持你花这钱，按压测流量收费，并只支持外网压测），也就是能支持websocket的压测，具体使用说明他们也提供了教程：

最后： 可以在公众号：伤心的辣条 ！ 自行领取一份216页软件测试工程师面试宝典文档资料【免费的】。以及相对应的视频学习教程免费分享！，其中包括了有基础知识、Linux必备、Shell、互联网程序原理、Mysql数据库、抓包工具专题、接口测试工具、测试进阶-Python编程、Web自动化测试、APP自动化测试、接口自动化测试、测试高级持续集成、测试架构开发测试框架、性能测试、安全测试等。

市面上流行的压力/负载/性能测试工具多是来自国外，近年来国内的性能测试工具也如雨后春笋崛起。同时由于开发的目的和侧重点不同，其功能也有很大差异，下面就为您简单介绍10款目前最常见的测试产品。

01、kylinTOP测试与监控平台（商用）

kylinTOP测试与监控平台是一款B/S架构的跨平台的集性能测试、自动化测试、业务监控于一体的测试平台，它是深圳是奇林软件有限公司旗下的一款产品，该工具开放10个免费虚拟用户可供学习和使用。在易用性上较好，录制脚本支持最新版本的浏览器，对谷歌和火狐都支持非常好。

对一些https.的网站证书问题，都为用户自动处理好了，可以轻松录制。录制过程高效便捷这是其它性能工具无法比拟的。仿真能力上是目前业界做的最好的性能工具，可以做到完全仿真浏览器行为，也就是单用户的HTTP请求瀑布图可以和浏览器完全一样。总之它是目前国内一款非常难得好用的性能测试工具，可以完全替代国外的同类产品。目前在军工领域、测评检测机构、国有企业、银行体系、大型企业有着广泛的应用。支持的协议较多，尤其在视频领域支持的协议非常多，具有独特的优势。

官网地址：http://www.70testing.com

02、LoadRunner（商用）

是一款C/S架构的商业版性能测试工具，在国内存在的时间较早，在国内在使用较广泛，知名度较高。该工具免费开放了50个虚拟用户，可供学习和使用。在国内的网站上有破解版本，但是到了最新的12版本，不再有破解版。破解版的仿真度较差，HTTP的瀑布图是按两个两个并发（与浏览器行为不一样），最新版本的仿真相对提高很多，对于HTTP静态请求相似度请求提高到80%，而动态请求就要差很多。

由于loadRunner起步早，支持的协议很多，很多不常用的协议都支持，如电子邮件相关协议都支持。但对一些视频协议支持的不太好。loadrunner目前对浏览器最新版支持的不太好，最新的loadrunner12只支持ie11，对其它浏览器如谷歌、火狐等支持的较差。在脚本录制方面有些网站录制不了。价格上比较昂贵，一般小企业无力承担。

LoadRunner官网：https://saas.hpe.com/zh-cn/software/loadrunner

03、kylinPET(商用）

kylinPET 和 kylinTOP是国产化性能测试工具当中的娇娇者。在外观设计风格和LoadRunner很相近，但在脚本录制调试上做了大量的优化和提升。

性能工具一般由四部分组成：

• 脚本编辑器

• 并发控制器

• 分析器

• 执行器

kylinPET的脚本编辑器的脚本录制功能有着强悍的表现，脚本录制支持的浏览器包括：Chrome，Firefox，IE，UOS浏览器、龙芯浏览器等。优其对脚本的调试功能，有着不一般的表现：录制与回放对比、回放结果可视化展示、关联功能扫描等。

性能最主要的功能是：

• 脚本制作

• 场景配置

• 指标统计与监控

kylinPET在这三个方面都做到了极致。下图所示的脚本回放调试，可以显示每个请求调试结果的瀑布图、回放与录制结果对比、验证页面等都做的非常完善，是替代国外性能测试，进军CNAS和CMA领域最有替力的国产性能工具：

脚本调试

不仅如此，在任务执行的指标监控上，也提供了可观测试的指标曲线图：

场景执行及指标监控

官网地址：http://www.70testing.com

04、Apache JMeter（开源免费）

JMeter是一款开源免费的压测产品，最初被设计用于Web应用功能测试使用，如今JMeter被国内企业用于性能测试。对于WEB服务器（支持浏览器访问），不建议使用Jmeter，因为jmeter的线程组都是线性执行的，与浏览器相差很大，测试结果不具有参考性。对于纯接口的部分场景（对接口调用顺序无严格要求）测试可以使用，但是要注意使用技巧，才能达到理想结果。

官网链接：http://jmeter.apache.org/

05、NeoLoad（商用版）

NeoLoad是Neotys出品的一种负载和性能测试工具，可真实地模拟用户活动并监视基础架构运行状态，从而消除所有Web和移动应用程序中的瓶颈。NeoLoad通过使用无脚本GUI和一系列自动化功能，可让测试设计速度提高5-10倍，并将维护的脚本维持在原始设计时间的10％，同时帮助用户使用持续集成系统自动进行测试。

NeoLoad支持WebSocket、HTTP1/ 2、GWT、HTML5、AngularJS、Oracle Forms等技术协议，能够监控包括操作系统

，应用服务器，Web服务器，数据库和网络设备在内的各种IT基础设施，同时可以通过Neotys云平台发起外部压力。

官网链接：http://www.neotys.com/product/overview-neoload.html

06、WebLOAD（商用版）

WebLOAD是来自Radview公司的负载测试工具，它可被用于测试系统性能和弹性，也可被用于正确性验证（验证返回结果的正确性）。其测试脚本是用Javascript（和集成的COM/Java对象）编写的，并支持多种协议，如Web（包括AJAX在内的REST/HTTP）、SOAP/XML及其他可从脚本调用的协议如FTP、SMTP等，因而可从所有层面对应用程序进行测试。

WebLOAD存在免费和专业两个版本：

• 免费版本支持50个虚拟用户

• 专业版还提供更多的报告和协议供用户选择

WebLOAD通常用作QA团队的独立运行工具，在开发周期的验证阶段，被测系统（System Under Test，SUT）投入实用之前，在模拟环境中对被测系统进行测试。

官网链接：http://www.radview.com/

07、Loadster（商用版本）

是一款商用负载测试软件，用于测试高负载下网站、Web应用、Web服务的性能表现，支持Linux，Mac和Windows等运行环境。

Loadster能够对Web应用/服务的Cookies、线程、头文件、动态表格等元素发起测试，获得Web在压力下的性能、弹性、稳定性和可扩展性等方面的表现。

官网链接：http://www.loadsterperformance.com/

08、Loadstorm（商用版本）

Loadstorm是一款针对Web应用的云端负载测试工具，通过模拟海量点击来测试Web应用在大负载下的性能表现。由于采用了云资源，所以Loadstorm的测试成本非常低，用户可以在云端选择创建自己的测试计划，测试标准和测试场景。

Loadstorm最多可以生成多达50000个并发用户，通过数以千计的云服务器发起访问。使用Loadstorm不需要任何脚本知识，同时提供多样化的测试图表和报告模版，用于准确测量Web应用的各项性能指标：

• 错误率

• 平均响应时间

• 用户数量

Loadstorm可以申请免费试用，但更多压力和功能需要开通高级帐户

官网链接：http://loadstorm.com/

09、Load impact（免费使用）

是一个在线可以免费测试网站负载能力，它就可以满足你的基本要求， 当然成为他的付费用户测试的项目将会更多。

Load impact是一款服务于DevOps的性能测试工具，支持各种平台的网站、Web应用、移动应用和API测试。Loadimpact可以帮助用户了解应用的最高在线用户访问量，通过模拟测试不同在线人数下网站的响应时间，估算出服务器的最大负载。

Load impact的使用非常简单，只需要输入网址进行测试，便可统计出加载网站的一些详细数据。包括整体加载和站内图片，javascript, CSS等代码载入。可以在右侧列表选择不同文件来同时对比最多三个对象的加载数据，并生成图表显示，方便网站设计者来分析。测试完成之后，网站还可以存储测试过的统计数据。

10、aiops

aiops应用性能监控平台（简称 APM ）专注于服务端应用性能监控，提供代码级应用故障诊断，秒级快速响应业务缺陷，降低MTTR时间。可满足在现代云计算（公有云、私有云和混合云）、数据中心以及大型分布式系统架构环境下快速部署条件，面对高质量、高并发、高敏捷的复杂应用性能可观测性任务，通过自动化实时监控，完整绘制应用内部调用关系，同时使用 Trace、Metric、Log 分析工具，提供完整的智能运维解决方案。

管网地址：https://www.aiops.com/

上文就是小编为大家整理的基于Jmeter的性能压测平台实现，性能压测工具。

国内(北京、上海、广州、深圳、成都、重庆、杭州、西安、武汉、苏州、郑州、南京、天津、长沙、东莞、宁波、佛山、合肥、青岛)睿象云智能运维平台软件分析、比较及推荐。