免费招聘网站招聘,wordpress淘宝联盟模板,电子商务网站平台不包括,广东网页设计博主历时三年精心创作的《大数据平台架构与原型实现#xff1a;数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行#xff0c;点击《重磅推荐#xff1a;建大数据平台太难了#xff01;给我发个工程原型吧#xff01;》了解图书详情#xff0c;…博主历时三年精心创作的《大数据平台架构与原型实现数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行点击《重磅推荐建大数据平台太难了给我发个工程原型吧》了解图书详情京东购书链接https://item.jd.com/12677623.html扫描左侧二维码进入京东手机购书页面。 文章目录 1. 下载与安装2. 创建 Test Plan3. 创建 Thread Group4. 添加 MySQL JDBC Connection 配置4. 添加 JDBC Request Sampler5. 添加 View Results Tree6. 执行测试计划7. 已知错误8. 附录 数据库的压测工具和方法有很多最简单的方法无非是编写脚本自动执行 INSERT INTO 语句也有专门的 GUI 工具可以图形化配置测试计划例如Data Generator for MySQL 和 EMS Data Generator for MySQL 等不过绝大多数的图形化工具都是付费的。
实际上对数据库的压测也包括其他类型的压测最主要的工作是如何能简单地生成压测数据Dummy Data除了要生成与数据类型相符的字面量之外更多的是要能控制好数据的取值范围特别地在数据库的压测中受外键约束的影响对于外键列的取值更不能使用随机值。
考虑到写脚本太麻烦图形化工具收费还不通用所以我们还是选择使用老牌的压力测试工具Apache JMeter除了它内置了丰富的随机值生成方法外还因为它是一个统一的压测平台操作和配置都和其他类型的压测一致。
备注本文以 Debezium 官方提供的 MySQL Docker镜像 中的 Inventory 数据库为示例介绍和演示压测步骤。
1. 下载与安装 JMeter 官方下载 https://jmeter.apache.org/download_jmeter.cgi
提示在 Windows 下请运行 ${JMETER_HOME}/bin/jmeterw.cmd 运行 jmeter.bat 会多打开一个 console 窗口
MySQL JDBC Driver 官方下载https://dev.mysql.com/downloads/connector/j/
解压 zip 包获得里面的 jar 包将 jar 包放置到 ${JMETER_HOME}/lib 目录下
2. 创建 Test Plan 打开 JMeter 时默认会自动创建一个空的 Test Plan我们将其重命名为Debezium MySQL Example Ddatabase Test Plan 3. 创建 Thread Group 在刚创建的 Test Plan 上单击右键打开菜单添加一个 Thread Group其中 Number of Threads (users) 是并行的线程数Loop Count 是重复执行的次数假设我们的压测内容是插入一条数据则执行一次 Thread Group 插入的记录数是两者的乘积。本例中该测试计划将会插入 2 * 50 100 记录。 4. 添加 MySQL JDBC Connection 配置 为使 JMeter 能联通 MySQL 数据库测试计划的第一步就是创建 JDBC 连接的配置。在刚创建的 Test Group 上单击右键打开菜单添加一个 JDBC Connection Configrutation这里有两点需要注意
JMeter 要求 JDBC 的 URL 必须指定数据库名否则执行时会报错必须配置 Variable Name for created pool否则执行时会报错 4. 添加 JDBC Request Sampler JMeter 负责向数据库发送 SQL 的组件是JDBC Request Sampler所以我们要创建一个 JDBC Request Sampler 并填入相应的 SQL 语句在刚创建的 Test Group 上单击右键打开菜单添加一个 JDBC Request 在这里Query Typle 选择 Upate Statement (这是 JDBC 中的 API)填入的 SQL 是整个测试计划中最核心的部分所有的动态变量、取值范围等细节都通过这条 SQL 实现了因为我们使用了 JMeter 的函数和变量来生成期望的数值
INSERT INTO orders (order_date, purchaser, quantity, product_id)
VALUES(${__RandomDate(,2016-01-01,2016-12-31,,)}, ${__Random(1001,1004)}, ${__Random(1,9)}, ${__Random(101,109)})关于${__RandomDate(,2016-01-01,2016-12-31,,)} 和 ${__Random(1001,1004)} 这些 JMeter 的函数请移步 JMeter 官方文档https://jmeter.apache.org/usermanual/functions.html 这里有细致地解释。
5. 添加 View Results Tree View Results Tree 是用来查看执行结果的在配置或执行过程中出错的话可以在这里看到发送的请求和详细错误是很有必要配置的一个组件。在刚创建的 Test Group 上单击右键打开菜单添加一个 View Results Tree 即可无需特别配置。 6. 执行测试计划 完成上述配置后就可以执行测试计划了点击工具栏中的 “绿色开始按钮”等待测试计划执行完毕然后打开 View Results Tree 可以看到每次测试的详细情况包括是否执行成功、发送的请求内容和得到的响应。如果初始尝试没有成功可以在这里找到详细的错误信息从而帮助定位问题并解决。 7. 已知错误 1. Name for DataSoure must not be empty in JDBC Connection Configuration
执行测试计划时JMeter 报错
java.lang.IllegalArgumentException: Name for DataSoure must not be empty in JDBC Connection Configurationat org.apache.jmeter.protocol.jdbc.config.DataSourceElement.testStarted(DataSourceElement.java:119) ~[ApacheJMeter_jdbc.jar:5.6.3]at org.apache.jmeter.engine.StandardJMeterEngine.notifyTestListenersOfStart(StandardJMeterEngine.java:247) [ApacheJMeter_core.jar:5.6.3]at org.apache.jmeter.engine.StandardJMeterEngine.run(StandardJMeterEngine.java:432) [ApacheJMeter_core.jar:5.6.3]at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539) [?:?]at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) [?:?]at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) [?:?]at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635) [?:?]at java.base/java.lang.Thread.run(Thread.java:833) [?:?]原因JDBC Connection Configuration 和 JDBC Request 中没有配置 pool 的变量名或者配置了但取名不一样改为相同的变量名即可 8. 附录 以下是本文使用的 Debezium 官方提供的 MySQL Docker镜像 中的 Inventory 数据库的 orders 数据表的表结构:
-- Dumping structure for table inventory.orders
DROP TABLE IF EXISTS orders;
CREATE TABLE IF NOT EXISTS orders (order_number int(11) NOT NULL AUTO_INCREMENT,order_date date NOT NULL,purchaser int(11) NOT NULL,quantity int(11) NOT NULL,product_id int(11) NOT NULL,PRIMARY KEY (order_number),KEY order_customer (purchaser),KEY ordered_product (product_id),CONSTRAINT orders_ibfk_1 FOREIGN KEY (purchaser) REFERENCES customers (id),CONSTRAINT orders_ibfk_2 FOREIGN KEY (product_id) REFERENCES products (id)
) ENGINEInnoDB AUTO_INCREMENT10008 DEFAULT CHARSETlatin1;-- Dumping data for table inventory.orders: ~5 rows (approximately)
INSERT INTO orders (order_number, order_date, purchaser, quantity, product_id) VALUES(10001, 2016-01-16, 1002, 5, 104),(10002, 2016-01-17, 1002, 2, 105),(10003, 2016-02-25, 1002, 2, 106),(10006, 2016-02-29, 1002, 2, 106),(10007, 2016-02-28, 1001, 2, 106);
