<span style="font-size:9pt;line-height:1.5;"> String[] filelist = file.list();</span>
for(String filename : filelist){
BufferedReader br = new BufferedReader(new FileReader(path+"/"+filename));
String line = null;
//得到movie的id
line = br.readLine();
String[] firstline = line.split(":");
String movieid = firstline[0];
while ((line = br.readLine()) != null){
String[] lines = line.split(",");
String userid = lines[0];
String rating = lines[1];
String date = lines[2];
String sql = "insert into netflixdata(movieid,userid,rating,date) values('"+movieid+"','"+userid+"','"+rating+"','"+date+"')";
int flag = stmt.executeUpdate(sql);
if(flag == 0){
System.out.println("添加失败");
}
else{
System.out.println("添加成功");
}
主要代码如上,(本人数据库新手)要把Netflix的数据集导入mysql中,按上面的代码运行,发现插入数据比较慢,五个半小时才插入100w条数据(4核i5,cpu 3.1GHz)
写到存储过程里面,批量提交batch,另外把索引都去掉,存储引擎的唯一性校验关掉,自动事物提交关掉。如果是在文件导入的话,直接用mysql自带的批量导入工具mysqlimport,或者用一楼的load data
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。