快速生成100w或者1000w条测试数据

[Pu Jiexuan]

在MySQL学习调试的过程中，特别是索引相关的测试，必须要数据量有一定规模，或者数据呈现的一定的分布特征（filtered），才能达到我们测试的目的。

1、首先想到是，利用存储过程，写一个循环，插入数据。

新建一张测试表：

CREATE TABLE `user` (
  `uid` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
  `account` varchar(30) NOT NULL DEFAULT '' COMMENT '用户账号(邮箱/手机号/昵称)',
  `mobile` varchar(11) NOT NULL DEFAULT '' COMMENT '**境内手机号',
  `add_time` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '注册时间',
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB COMMENT='用户表';

定义一个循环插入的存储过程

#定义存储过程
DROP PROCEDURE IF EXISTS `my_insert`;

DELIMITER ;;
CREATE PROCEDURE `my_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=1000000
DO
#插入语句
insert into `user` (`uid`, `account`, `mobile`, `add_time`)  VALUES (NULL, substring(MD5(RAND()),1,10), substring(RAND()*1000000000000,1,11), UNIX_TIMESTAMP());
SET i=i+1;
END WHILE ;
commit;
END;;
DELIMITER;

调用存储过程

#调用存储过程
CALL my_insert();

插入100w条数据所需时间，以及服务器的CPU和内存负载

[SQL]#调用存储过程
CALL my_insert();
受影响的行: 0
时间: 9565.953s

当然在这100w次循环中，我们也调用了RADN，MD5，SUBSTRING，UNIX_TIMESTAMP函数，为了排除这部分时间的耗时，改写一下存储过程，纯粹看看100w次循环计算，但是不插入SQL的时间。

DELIMITER ;;
CREATE PROCEDURE `my_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=1000000
DO
#插入语句
set @va = substring(MD5(RAND()),1,10);
set @vb = substring(RAND()*1000000000000,1,11);
set @vc = UNIX_TIMESTAMP();

SET i=i+1;
END WHILE ;
commit;
END;;
DELIMITER;

执行结果：

[SQL]CALL my_insert();
受影响的行: 0
时间: 85.382s

这里面比较耗时的函数，MD5算最厉害的。可以看出，100w条数据的插入，主要耗时在SQL解析和插入的动作（可能包含事务、日志、IO）

测试采用的是独立表空间：

mysql> SHOW VARIABLES LIKE '%innodb_file_per_table%';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_file_per_table | ON    |
+-----------------------+-------+
1 row in set (0.00 sec)

100w条数据，实际的文件大小是：

 ll -S
total 60M
-rw-r----- 1 mysql mysql  60M Jan 18 14:55 user.ibd

这种方式不能忍受。

2、使用LOAD DATA LOCAL INFILE，在MySQL Clinet上导入Server上的数据。

先准备一个有tab字符隔开的文本，一行记录占一行，换行用\n.
这里我用PHP生成

<?php
set_time_limit(0);

$fp = fopen('./insert.sql', 'wb');

if ($fp) {
	$i = 0;
	while ($i < 1000000) {
		$account = bin2hex(random_bytes(5));
		$mobile = rand(10000000000, 99999999999);
		$add_time = time();

		$sql = "NULL\t$account\t$mobile\t$add_time" . "\n";
		fwrite($fp, $sql);
		$i++;
	}

	fclose($fp);
}

相关信息：

使用LOAD DATA LOCAL语句：
LOAD DATA LOCAL INFILE '/media/sf_www/php/insert.sql' INTO TABLE user(uid, account, mobile, add_time);

Query OK, 1000000 rows affected, 65535 warnings (5.28 sec)
Records: 1000000  Deleted: 0  Skipped: 0 

100w的数据6.5秒就导入成功。

[Pu Jiexuan]

如果在MySQL8.0以上可能会遇到：
ERROR 1148 (42000): The used command is not allowed with this MySQL version
这是因为使用LOAD DATA LOCAL语句有潜在的安全风险。MySQL8.0默认关闭了local_infile=OFF
而这个参数在MySQL5.7中，默认是ON
具体可参加两篇文档：
https://dev.mysql.com/doc/refman/5.7/en/load-data-local.html
https://dev.mysql.com/doc/refman/8.0/en/load-data-local.html
我们可以通过改动参数，

mysql> SET GLOBAL local_infile = 1;
Query OK, 0 rows affected (0.00 sec)

或者vim参数 vim /etc/my.cnf 修改配置，这样即使MySQL重启以后，配置也会生效。
不过对于MySQL8.0以上 我们还可是使用新增的关键字：PERSIST

SET PERSIST local_infile = 1;

这样参数将持久化到新的配置文件（mysqld-auto.cnf）中，重启MySQL时，可以从该配置文件获取到最新的配置参数。该文件（mysqld-auto.cnf）默认在msyql的安装目录下，一般是/var/lib/mysql/，是一个JSON文件。

在MySQL8.0.13上测试导入1000w数据。

1000w行的文本文件，约372M。

导入之前先修改参数：

mysql> SET PERSIST local_infile = 1;
Query OK, 0 rows affected (0.00 sec)

此时server端，local_infile 的参数已经是ON，倘若此时执行LOAD DATA LOCAL还是会报错。
ERROR 1148 (42000): The used command is not allowed with this MySQL version
还需要把Client端，也改成支持local_infile
退出msyql，用以下方式登录：
mysql --local-infile=1 -u root -p

再次执行
LOAD DATA LOCAL INFILE '/media/sf_www/php/insert.sql' INTO TABLE user(uid, account, mobile, add_time);
就可以了。

Query OK, 10000000 rows affected, 65535 warnings (1 min 20.95 sec)
Records: 10000000  Deleted: 0  Skipped: 0  Warnings: 10000000

1000w的数据，20.95s执行成功了，还不够一个厕所的时间。

[Pu Jiexuan]

思考：

• insert.sql文件大小约380M，user表对应的user.ibd文件大约524M。为什么，mysql的表对应的文件会变大呢？