mysql 性能测试（mysql性能测试瓶颈及调优）

本篇文章给大家谈谈mysql 性能测试，以及mysql性能测试瓶颈及调优对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享mysql 性能测试的知识，其中也会对mysql性能测试瓶颈及调优进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、Go语言使用gorm对MySQL进行性能测试
• 2、(16)mysql瓶颈 & MGR和一致性读 性能测试
• 3、几个常用的MySQL性能测试工具
• 4、如何测试mysql的性能和稳定性
• 5、MySQL性能基准测试对比：MySQL 5.7与MySQL 8.0
• 6、如何使用MySQL自带的性能压力测试工具mysqlslap

Go语言使用gorm对MySQL进行性能测试

之前写过了Go语言gorm框架MySQL实践mysql 性能测试，其中对gorm框架在操作MySQLmysql 性能测试的各种基础实践mysql 性能测试，下面分享一下如何使用gorm框架对MySQL直接进行性能测试的简单实践。

这里我使用了一个原始的Go语言版本的 FunTester 测试框架mysql 性能测试，现在只有一个基本的方法，实在是因为Go语言特性太强了。框架设计的主要思路之一就是利用Go语言的闭包和方法参数特性，将一个 func() 当做性能测试的主题，通过不断运行这个 func() 来实现性能测试。当然还有另外一个思路就是运行一个多线程任务类，类似 Java 版本的 com.funtester.base.constaint.ThreadBase 抽象类，这样可以设置一些类的属性，绑定一些测试资源，适配更多的测试场景。

下面演示select的性能测试，这里我用了随机ID查询的场景。

这里我使用从35开始递增的ID进行删除。

这里使用了select的用例部分，随机ID，然后更新name字段，随机10个长度的字符串。

这里用到了 FunTester 字段都是随机生成。

到这里可以看出，性能测试框架用到的都是gorm框架的基础API使用，这里MySQL连接池的管理工作完全交给了gorm框架完成，看资料说非常牛逼，我们只需要设置几个参数。这个使用体现很像 HttpClient 设置 HTTP 连接池类似，这里我们也可以看出这些优秀的框架使用起来都是非常简单的。

PSmysql 性能测试：关于gorm的基础使用的请参考上一期的文章Go语言gorm框架MySQL实践。

(16)mysql瓶颈 & MGR和一致性读 性能测试

容量： 看硬件

     InnoDB 最大容量64TB ，存储引擎将 InnoDB 表 保存在一个 表空间内（ 原始磁盘分区，由数个文件创建）。这样， 表大小 能超过 单独文件最大容量 。

    MySQL 3.22( MyISAM )限制表大小 4GB ，最大表尺寸增加到65536TB（2567 – 1字节）。最大有效表尺寸通常是由 操作系统 对 文件大小限制 决定的， 不是 由MySQL内部限制决定。

最多 20亿个表 ，一个表允许定义1024列，每行的最大长度为8092字节（不包括文本和图像类型的长度）；

阿里《Java 开发手册》提出 单表行 500w 容量2GB ，才分库分表

与 MySQL 配置及硬件 有关，实际记录的条数无关。因为表 索引 装载 到内存，InnoDB buffer size 足够 ，才能全加载进内存，查没问题。达量级限时，导致 内存无法存储索引 ，产生磁盘 IO，性能下降。增加硬件配置解决。500w算折中

QPS在8400左右 ：400个线程并发，插入100万条记录（4核2.33G、3G内存、SATA硬盘）https://www.iteye.com/blog/wwtang9527-1718292

写： 90-100M/S（机械硬盘，7200转）预计kB_wrtn/s在90M左右

https://www.cnblogs.com/zhiqian-ali/p/6336521.html

show variables like 'max_connections'  mysql当前最大连接数

set global max_connections=1000;  设置当前最大连接数为1000；mysql重启时失效,需要长期生效在my.ini 添加 max_connections=1000

从业务使用场景出发，根据RDS套餐类型和线上实际访问流量，来衡量性能指标，以便方便对标实际业务场景。

MySQL 5.7.21 Group Replication

MySQL 5.7.21 Group Replication with Consistent Read

同机房3节点、跨机房3节点

网络异常：长时间延时0.5ms，长时间延时2ms，丢包0.01%

场景1、2的差异可以衡量 跨机房网络 带来的 性能损耗

场景3关注在 网络质量变化 时带来的 性能变化

同机房3节点为 05 06 03    跨机房3节点为 05 06 01

机器部署：同IDC3台（永顺ys 03 05 06），跨IDC1台（广州gz 01）

同IDC RTT（06-05）：RTT min/avg/max/mdev = 0.051/0.059/0.070/0.010 ms

跨IDC RTT（01-05）：RTT min/avg/max/mdev = 0.739/0.749/0.810/0.027

    跨IDC的网络耗时是同 IDC的1.3倍 ，在设置 延迟0.5ms后 的网络质量：

同IDC RTT（06-05）：RTT min/avg/max/mdev = 0.507/0.564/0.617/0.037

跨IDC RTT（01-05）：RTT min/avg/max/mdev = 1.199/1.248/1.315/0.046

    跨IDC的网络耗时是 同IDC的2.2倍 ，在设置 延迟2ms后 的网络质量：

同IDC RTT（06-05）：RTT min/avg/max/mdev = 1.963/2.054/2.161/0.064 ms

跨IDC RTT（01-05）：RTT min/avg/max/mdev = 2.642/2.732/2.835/0.076 ms
参考：http://blog.720ui.com/2019/mysql_why_one_table_500w/?spm=a2c4e.10696291.0.0.26e819a4zY3hrAaliyun

https://my.oschina.net/u/867417/blog/758690

几个常用的MySQL性能测试工具

1、mysqlslap
安装：简单，装了mysql就有了
作用：模拟并发测试数据库性能。
优点：简单，容易使用。
不足：不能指定生成的数据规模，测试过程不清楚针对十万级还是百万级数据做的测试，感觉不太适合做综合测试，比较适合针对既有数据库，对单个sql进行优化的测试。
使用方法：
可以使用mysqlslap --help来显示使用方法：
Default options are read from the following files in the given order:
/etc/mysql/my.cnf /etc/my.cnf ~/.my.cnf
--concurrency代表并发数量，多个可以用逗号隔开，concurrency=10,50,100, 并发连接线程数分别是10、50、100个并发。
--engines代表要测试的引擎，可以有多个，用分隔符隔开。
--iterations代表要运行这些测试多少次。
--auto-generate-sql 代表用系统自己生成的SQL脚本来测试。
--auto-generate-sql-load-type 代表要测试的是读还是写还是两者混合的（read,write,update,mixed）
--number-of-queries 代表总共要运行多少次查询。每个客户运行的查询数量可以用查询总数/并发数来计算。
--debug-info 代表要额外输出CPU以及内存的相关信息。
--number-int-cols ：创建测试表的 int 型字段数量
--auto-generate-sql-add-autoincrement : 代表对生成的表自动添加auto_increment列，从5.1.18版本开始
--number-char-cols 创建测试表的 char 型字段数量。
--create-schema 测试的schema，MySQL中schema也就是database。
--query 使用自定义脚本执行测试，例如可以调用自定义的一个存储过程或者sql语句来执行测试。
--only-print 如果只想打印看看SQL语句是什么，可以用这个选项。
mysqlslap -umysql -p123 --concurrency=100 --iterations=1 --auto-generate-sql --auto-generate-sql-add-autoincrement --auto-generate-sql-load-type=mixed --engine=myisam --number-of-queries=10 --debug-info
或：
指定数据库和sql语句:
mysqlslap -h192.168.3.18 -P4040 --concurrency=100 --iterations=1 --create-schema='test' --query='select * from test;' --number-of-queries=10 --debug-info -umysql -p123
要是看到底做了什么可以加上：--only-print
Benchmark
Average number of seconds to run all queries: 25.225 seconds
Minimum number of seconds to run all queries: 25.225 seconds
Maximum number of seconds to run all queries: 25.225 seconds
Number of clients running queries: 100
Average number of queries per client: 0
以上表明100个客户端同时运行要25秒
2、sysbench
安装：
可以从http://sourceforge.net/projects/sysbench/ 下载
tar zxf sysbench-0.4.12.tar.gz
cd sysbench-0.4.12
./autogen.sh
./configure make make install
strip /usr/local/bin/sysbench
安装时候可能会报错，后来baidu发现个好文 http://blog.csdn.net/icelemon1314/article/details/7004955 怕以后找不到，也贴过来吧
1.如果mysql不是默认路径安装，那么需要通过指定--with-mysql-includes和--with-mysql-libs参数来加载mysql安装路径
2.如果报错：
../libtool: line 838: X--tag=CC: command not found
../libtool: line 871: libtool: ignoring unknown tag : command not found
../libtool: line 838: X--mode=link: command not found
../libtool: line 1004: *** Warning: inferring the mode of operation is deprecated.: command not found
../libtool: line 1005: *** Future versions of Libtool will require --mode=MODE be specified.: command not found
../libtool: line 2231: X-g: command not found
../libtool: line 2231: X-O2: command not found
那么执行下根目录的：autogen.sh文件，然后重新configure make make install
3.如果报错：
sysbench: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory
那么执行下：
n -s /usr/local/mysql5.5/mysql/lib/libmysqlclient.so.18 /usr/lib64/
4.如果执行autogen.sh时，报如下错误：
./autogen.sh: line 3: aclocal: command not found
那么需要安装一个软件：
yum install automake
然后需要增加一个参数：查找： AC_PROG_LIBTOOL 将其注释，然后增加AC_PROG_RANLIB
作用：模拟并发,可以执行CPU/内存/线程/IO/数据库等方面的性能测试。数据库目前支持MySQL/Oracle/PostgreSQL
优点：可以指定测试数据的规模，可以单独测试读、写的性能，也可以测试读写混合的性能。
不足：测试的时候，由于网络原因，测试的非常慢，但是最终给的结果却很好，并发支持很高，所以给我的感觉是并不太准确。当然也可能我没搞明白原理
使用方法：
准备数据
sysbench --test=oltp --mysql-table-engine=myisam --oltp-table-size=400000 --mysql-db=dbtest2 --mysql-user=root --mysql-host=192.168.1.101 --mysql-password=pwd prepare
执行测试
sysbench --num-threads=100 --max-requests=4000 --test=oltp --mysql-table-engine=innodb --oltp-table-size=400000 --mysql-db=dbtest1 --mysql-user=root --mysql-host=192.168.1.101 --mysql-password=pwd run
sysbench 0.4.12: multi-threaded system evaluation benchmark
No DB drivers specified, using mysql
Running the test with following options:
Number of threads: 100
Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations, 1 pct of values are returned in 75 pct cases)
Using "BEGIN" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 4000
Threads started!
Done.
OLTP test statistics:
queries performed:
read: 56014
write: 20005
other: 8002
total: 84021
transactions: 4001 (259.14 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 76019 (4923.75 per sec.)
other operations: 8002 (518.29 per sec.)
Test execution summary:
total time: 15.4393s
total number of events: 4001
total time taken by event execution: 1504.7744
per-request statistics:
min: 33.45ms
avg: 376.10ms
max: 861.53ms
approx. 95 percentile: 505.65ms
Threads fairness:
events (avg/stddev): 40.0100/0.67
execution time (avg/stddev): 15.0477/0.22
3、tpcc-mysql
安装：
如果从原网站上下载源码比较麻烦，需要工具、注册、生成证书等。这里提供一个下载包http://blog.chinaunix.net/blog/downLoad/fileid/8532.html
export C_INCLUDE_PATH=/usr/include/mysql
export PATH=/usr/bin:$PATH
export LD_LIBRARY_PATH=/usr/lib/mysql
cd /tmp/tpcc/src
make
然后就会在 /tmp/tpcc-mysql 下生成 tpcc 命令行工具 tpcc_load 、 tpcc_start
作用：测试mysql数据库的整体性能
优点：符合tpcc标准，有标准的方法，模拟真实的交易活动，结果比较可靠。
不足：不能单独测试读或者写的性能，对于一些以查询为主或者只写的应用，就没有这么大的意义了。
使用方法：
加载数据
创建库
mysqlcreate database tpcc10;
创建表：
shellmysql tpcc10 < create_table.sql
添加外键：
shellmysql tpcc10 < add_fkey_idx.sql
加载数据:
1、单进程加载：
shell./tpcc_load 192.168.11.172 tpcc10 root pwd 300
|主机||数据库||用户||密码||warehouse|
2、并发加载：（推荐，但需要修改一下）
shell./load.sh tpcc300 300
|数据库||warehouse|
3、测试
./tpcc_start -h192.168.11.172 -d tpcc -u root -p 'pwd' -w 10 -c 10 -r 10 -l 60 -i 10 -f /mnt/hgfs/mysql/tpcc100_2013522.txt
***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
option h with value '192.168.11.172'
option d with value 'tpcc'
option u with value 'root'
option p with value 'pwd'
option w with value '1'
option c with value '100'
option r with value '120'
option l with value '60'
option i with value '10'
option f with value '/mnt/hgfs/mysql/tpcc100_2013522.txt'
<Parameters
[server]: 192.168.11.172
[port]: 3306
[DBname]: tpcc
[user]: root
[pass]: pwd
[warehouse]: 1
[connection]: 100
[rampup]: 120 (sec.)
[measure]: 60 (sec.)
RAMP-UP TIME.(120 sec.)
MEASURING START.

如何测试mysql的性能和稳定性

有一些有用的工具可以测试MySQL 和基于MySQL 的系统的性能。这里将演示如何利用这些工具进行测试。
mysqlslap
mysqlslap可以模拟服务器的负载，并输出计时信息。它包含在MySQL 5.1 的发行包中，应该在MySQL 4.1或者更新的版本中都可以使用。测试时可以执行并发连接数，并指定SQL 语句（可以在命令行上执行，也可以把SQL 语句写入到参数文件中）。如果没有指定SQL 语句，mysqlslap 会自动生成查询schema 的SELECT 语句。
MySQL Benchmark Suite （sql-bench）
在MySQL 的发行包中也提供了一款自己的基准测试套件，可以用于在不同数据库服务器上进行比较测试。它是单线程的，主要用于测试服务器执行查询的速度。结果会显示哪种类型的操作在服务器上执行得更快。
这个测试套件的主要好处是包含了大量预定义的测试，容易使用，所以可以很轻松地用于比较不同存储引擎或者不同配置的性能测试。其也可以用于高层次测试，比较两个服务器的总体性能。当然也可以只执行预定义测试的子集（例如只测试UPDATE 的性能）。这些测试大部分是CPU 密集型的，但也有些短时间的测试需要大量的磁盘I/O 操作。
这个套件的最大缺点主要有：它是单用户模式的，测试的数据集很小且用户无法使用指定的数据，并且同一个测试多次运行的结果可能会相差很大。因为是单线程且串行执行的，所以无法测试多CPU 的能力，只能用于比较单CPU 服务器的性能差别。使用这个套件测试数据库服务器还需要Perl 和BDB 的支持，相关文档请参考.
Super Smack
Super Smack是一款用于MySQL 和PostgreSQL的基准测试工具，可以提供压力测试和负载生成。这是一个复杂而强大的工具，可以模拟多用户访问，可以加载测试数据到数据库，并支持使用随机数据填充测试表。测试定义在"smack"文件中，smack 文件使用一种简单的语法定义测试的客户端、表、查询等测试要素。
Database Test Suite
Database Test Suite 是由开源软件开发实验室（OSDL,Open Source DevelopmentLabs）设计的，发布在SourceForge 网站上，这是一款类似某些工业标准测试的测试工具集，例如由事务处理性能委员会（TPC,Transaction Processing Performance Council）制定的各种标准。特别值得一提的是，其中的dbt2 就是一款免费的TPC-C OLTP 测试工具（未认证）。之前本书作者经常使用该工具，不过现在已经使用自己研发的专用于MySQL 的测试工具替代了。
Percona's TPCC-MySQL Tool
我们开发了一个类似TPC-C 的基准测试工具集，其中有部分是专门为MySQL 测试开发的。在评估大压力下MySQL 的一些行为时，我们经常会利用这个工具进行测试（简单的测试，一般会采用sysbench 替代），在源码库中有一个简单的文档说明。
sysbench
sysbench是一款多线程系统压测工具。它可以根据影响数据库服务器性能的各种因素来评估系统的性能。例如，可以用来测试文件I/O、操作系统调度器、内存分配和传输速度、POSIX 线程，以及数据库服务器等。sysbench 支持Lua 脚本语言，Lua 对于各种测试场景的设置可以非常灵活。sysbench 是我们非常喜欢的一种全能测试工具，支持MySQL、操作系统和硬件的硬件测试。（节选自《高性能MySQL》）

MySQL性能基准测试对比：MySQL 5.7与MySQL 8.0

Server Setup and Environment服务器设置和环境

Commands and Scripts Used使用的命令和脚本

InnoDB行操作

事务处理

CPU资源

结论

如何使用MySQL自带的性能压力测试工具mysqlslap

使用--auto-generate-sql参数表示用mysqlslap工具自己生成的SQL脚本来测试并发压力
mysqlslap --auto-generate-sql -uroot -p123456
并发测试，使用–concurrency来模拟并发连接，连接数可以多个，用逗号隔开
mysqlslap --auto-generate-sql --concurrency=100 -uroot -p123456
mysqlslap --auto-generate-sql --concurrency=50,100 -uroot -p123456
使用--iterations模拟迭代测试，用于需要多次执行测试得到平均值。
mysqlslap --auto-generate-sql --iterations=5 -uroot -p123456
使用--engine测试不同的存储引擎的性能进行对比
mysqlslap --auto-generate-sql --concurrency=50,100 --iterations=5 --engine=myisam,innodb -uroot -p123456
--query=name,-q 指定自定义脚本执行测试，例如可以调用自定义的一个存储过程或者sql语句来执行测试。--create-schema 指定自定义的测试数据库名称，
mysqlslap --auto-generate-sql --concurrency=50,100 --create-schema="landclash" --query="call landclash.sp_player_getname(34);" --number-of-queries=5000 -uroot -p123456 关于mysql 性能测试和mysql性能测试瓶颈及调优的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 mysql 性能测试的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于mysql性能测试瓶颈及调优、mysql 性能测试的信息别忘了在本站进行查找喔。