//这是在.Net中使用MySqlBulkLoader
//为什么使用MySqlBulkLoader,因为 20多万数据,导入数据库就几秒而已,一个字:快!其他的批量插入基本都比这种方法慢。
//CsvWriter 使用的是CSVHelper类库
string tmpPath = Path.GetTempFileName();
using (var csv = new CsvWriter(new StreamWriter(tmpPath)))
{
csv.WriteRecords(data);
}
using (MySqlConnection conn = new MySqlConnection(connectionString))
{
//MySqlTransaction tran = null;
try
{
conn.Open();
//tran = conn.BeginTransaction();
MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = tmpPath,
NumberOfLinesToSkip = 1,
TableName = tableName,
};
//bulk.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
insertCount = bulk.Load();
//tran.Commit();
}
catch (MySqlException ex)
{
//if (tran != null) tran.Rollback();
throw ex;
}
}
File.Delete(tmpPath);
保存时,如果为空,默认会变成 0000-00-00 00:00:00。
如果是这样,那也没问题,再一条语句更新为null就行了,关键问题在下面:
SELECT * FROM ripeorderdetailreportdata WHERE OrderCreateDate ='0000-00-00 00:00:00';
可以查出数据。
1 queries executed, 0 success, 1 errors, 0 warnings
UPDATE ripeorderdetailreportdata SET OrderCreateDate = NULL WHERE OrderCreateDate ='0000-00-00 00:00:00'
错误代码: 1292
Incorrect datetime value: '0000-00-00 00:00:00' for column 'OrderCreateDate' at row 1
执行耗时 : 0 sec
传送时间 : 0 sec
总耗时 : 0.001 sec
猜测这可能是 MySqlBulkLoader 导致的问题。
但有个解决办法 ,就是在值为空时,显式赋值 DateTime.MinValue ,查了值是 0001-01-01 00:00:00 ,这样,后面再去更新字段为null,就ok了,更新也快,基本在1秒内完成,没报错。
更新:2016-08-11
解决方案:用一个dto model类转换,相关字段改成string
由于 DataTime? 可空类型,csv生成时会直接为空,例如:
123,,‘张三’
如果用一个另外一个dto类转换,把相同的字段,转换成string,那么值为空时,生成的csv文件格式如下:
123,NULL,‘张三’
这样bulk load插入数据库就会是空,而不是0000-00-00 00:00:00,这样就ok了。