ubuntu中mysql使用load data导入数据

刚装的ubuntu，装好mysql后想用load data infile命令导入数据到表中,产生下面错误”ERROR 29 (HY000):File ‘/home/bioinformation/Downloads/data.txt’ not found (Errcode: 13)”，

然后查了一下load data语法:

1. LOADDATA[LOW_PRIORITY|CONCURRENT][LOCAL]INFILE'file_name.txt'
2. [REPLACE|IGNORE]
3. INTOTABLEtbl_name
4. [FIELDS
5. [TERMINATEDBY'string']
6. [[OPTIONALLY]ENCLOSEDBY'char']
7. [ESCAPEDBY'char']
8. ]
9. [LINES
10. [STARTINGBY'string']
11. [TERMINATEDBY'string']
12. ]
13. [IGNOREnumberLINES]
14. [(col_name_or_user_var,...)]
15. [SETcol_name=expr,...]]

LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中,文件名必须是一个文字字符串.

发现没有问题,这时我就众权限来入手了将mysql用户改为”root”后还是不行,后来上网查了一下,要么不知所云,要么是觉得方法太复杂,而是想,这个错误的意思是找不到文件,那把这个文件复制到mysql数据库所在的文件不就行了,在安装mysql的时候没有注意,不知道mysql安装在哪里,如是想与其自己找,不如让它自己告诉我,而是load时用了个相对路径,代码如下:

”load data infile ‘data.txt’ into table table_name”，

果然mysql报错时就显示了” Can’t get stat of ‘/var/lib/mysql/test/data.txt’ (Errcode: 2)”,而是用“/home/bioinformation/Downloads/data.txt”复制为“/var/lib/mysql/test/data.txt”,结果发现用户没有权限,果断用”sudo su”切换到root用户,OK后，再运行,代码如下:

”load data infile ‘data.txt”

果然成功了,显示“Query OK,……”,再将用户切换到正常用户就行了,现总结如下,很简单,先用root用户将用户复制到mysql数据库所在文件夹,运用相对路径“load data infile ‘data.txt’ into table table_name”就可以了.

如何提高mysql load data infile的速度

测试数据2.5G,共有数据9427567条,用的mysql的large服务器的配置.

load一次需要大概10分钟左右.

建的表用的是MYISAM,调整了几个session的参数值,代码如下:

SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;

SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;

运行结果如下:

Query OK, 9427567 rows affected, 1558 warnings (3 min 55.21 sec)

Records: 9427567 Deleted: 0 Skipped: 0 Warnings: 0

google到的还可以,代码如下:

set global KEY_BUFFER_SIZE=256217728;

alter table tablename disable keys;

如何load不同编码的数据

原来用的4.X的mysql,我是select INTO OUTFILE,只后用iconv,或者其他软件来做。可以参考这里,但是由于这次数据大,用ultraedit等软件打开都要半天,好在新版的mysql可以增加一个新的参数:CHARACTER SET gbk

我的文本数据是GBK的编码,数据表是utf8的,用这种方法测试成功.

如何load的时候只insert特定的列

比如表里面有比元数据多的列,可以在load的时候指定要插入的字段名字,示例的代码如下:

1. LOADDATAINFILE'~/data.txt'
2. INTOTABLEfb0505--phpfensi.com
3. CHARACTERSETgbk
4. FIELDSTERMINATEDBY't'ENCLOSEDBY''ESCAPEDBY''
5. LINESTERMINATEDBY'n'STARTINGBY''
6. (seller_id,fb_type,fb_date,item_url);

其中表fb0505里面还有一列是id.