mysql中百万级数据插入速度测试

100W的数据对于很多朋友来说算小菜了,但今天我就想到创建一个大量数据的测试环境,于是找了一下怎么插入100W条数据,我用的是20个字段,对比一下,首先是用 mysql 的存储过程弄的,代码如下:

1. mysql>delimiter$
2. mysql>SETAUTOCOMMIT=0$$
4. mysql>createproceduretest()
5. begin
6. declareidecimal(10)default0;
7. dd:loop
8. INSERTINTO`million`(`categ_id`,`categ_fid`,`SortPath`,`address`,`p_identifier`,`pro_specification`,`name`,`add_date`,`picture_url`,`thumb_url`,`is_display_front`,`create_html_time`,`hit`,`buy_sum`,`athor`,`templete_style`,`is_hot`,`is_new`,`is_best`)VALUES
9. (268,2,'0,262,268,',0,'2342','423423','123123','2012-01-0909:55:43','upload/product/20111205153432_53211.jpg','upload/product/thumb_20111205153432_53211.jpg',1,0,0,0,'admin','0',0,0,0);
10. commit;--phpfensi.com
11. seti=i+1;
12. ifi=1000000thenleavedd;
13. endif;
14. endloopdd;
15. end;$
17. mysql>delimiter;
19. mysql>calltest;

结果我们看了用了58分钟,这也太费时差了吧.

1. mysql>calltest;
2. QueryOK,0rowsaffected(58min30.83sec)

非常耗时,于是我又找了一个方法,先用PHP代码生成数据,再导入,代码如下:

1. <?php
2. $t=mktime();
3. set_time_limit(1000);
4. $myFile="e:/insert.sql";
5. $fhandler=fopen($myFile,'wb');
6. if($fhandler){
8. $sql="268t2t'0,262,268,'t0t'2342't'423423't'123123't'23423423't'2012-01-0909:55:43't'upload/product/20111205153432_53211.jpg't'upload/product/thumb_20111205153432_53211.jpg'tNULLtNULLt38t'件't''t123t123t0";
9. $i=0;
10. while($i<1000000)//1,000,000
11. {
12. $i++;
13. fwrite($fhandler,$sql."rn");
14. }
15. echo"写入成功,耗时：",mktime()-$t;
16. }
17. ?>

然后再导入,代码如下:

1. LOADDATAlocalINFILE'e:/insert.sql'INTOTABLEtenmillion(`categ_id`,`categ_fid`,`SortPath`,`address`,`p_identifier`,`pro_specification`,`name`,`description`,`add_date`,`picture_url`,`thumb_url`,`shop_url`,`shop_thumb_url`,`brand_id`,`unit`,`square_meters_unit`,`market_price`,`true_price`,`square_meters_price`);

结果不到1分钟,100万的数据就快速的导入了,注意字段不再以逗号分割,以t分割,条记录以rn分割,结果我插入10次数据,100W平均只要1分钟搞定.

总结:在大数据量处理时我们最好利用第三方插件一实现数据备份或直接在服务器上进行备份,用mysql自带的工具有时确实不理想.