最近需要进行对数据库的数据进行导入导出，之前使用的方式是，同时接到两台数据库上，进行读写操作；
但是，如果不能直接连数据库，可以使用另一种方法;
从源数据库导出数据到文件
将数据导入到目标数据库；
从数据库导出数据到文件，最佳的方式应该是导出成csv文件；
什么是csv文件：
csv全称“Comma-Separated Values”，是一种逗号分隔值格式的文件，是一种用来存储数据的纯文本格式文件。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串。它们大多使用逗号字符来分隔（或定界）数据，但有时使用其他字符，如分号等;
导出数据库数据
打开数据库可视化工具；
查询所需数据，选择导出数据；
选择导出文件格式为csv
读取csv文件数据
使用JAVA读取CSV文件的三种方式:
- 使用BufferedReader逐行读取
- 使用CsvReader读取
- 使用univocity解析csv文件
使用BUfferReader读取文件
因为csv本质上是一个文本文件，所以可以使用File中的reader方法读取数据；
读取代码如下：
public static void readFileByLine(String filepath) throws Exception {
BufferedReader reader = new BufferedReader(new FileReader(filepath));
String line = null;
if((line = reader.readLine())!= null) {
System.out.println(line); //第一行
line = reader.readLine();
System.out.println(line); //第二行
for (String text: line.split(",")) {
System.out.println(text);
}
}
reader.close();
}在读取csv文件时，对于不换行的文件没问题，但是遇到有些csv文件会换行，就会有问题；所以不太建议使用这个方式；
使用csvReader
- 引入依赖：
net.sourceforge.javacsv:javacsv:2.0
CsvReader可以逐行读取文件记录；
可以使用 readHeaders()读取表头
使用readRecord()读取记录
使用getVaules()以数组形式获取行记录
具体代码如下：
import com.csvreader.CsvReader;
public static void readByCsvReader(String filePath) throws Exception {
CsvReader csvReader = new CsvReader(filePath, ',', Charset.defaultCharset());
csvReader.readHeaders(); //读取表头
if(csvReader.readRecord()){
//读取一行数据
String[] vs = csvReader.getValues();
for (String v:vs) {
System.out.println(v);
}
}
csvReader.close();
}在javacsv中，还有一个CSVWriter可以写数据到csv文件中。
使用起来比较简单，只需要 调用
csvWriter.writeRecord(values);
传递一个数组，写入数据到csv文件。且会自动分割；
代码示例如下：
import com.csvreader.CsvWriter;
public static void writeCsv(String filePath , String[] values) throws Exception{
//创建写对象
CsvWriter csvWriter = new CsvWriter(filePath, ',',Charset.defaultCharset());
csvWriter.writeRecord(values); //写入数据
csvWriter.close();
}
使用Univocity解析CSV文件
Univocity是一个开源的Java项目.针对CSV、TSV定宽文本文件的解析,它以简洁的API开发接口提供了丰富而强大的功能；
引入依赖
compile 'com.univocity:univocity-parsers:2.9.1'
示例代码如下：
import com.univocity.parsers.common.ParsingContext;
import com.univocity.parsers.common.processor.RowProcessor;
import com.univocity.parsers.csv.CsvParser;
import com.univocity.parsers.csv.CsvParserSettings;
public class FileUtils {
/**
*
* */
public static void readByUnivocity(String filePath){
CsvParserSettings parserSettings = new CsvParserSettings();
parserSettings.setDelimiterDetectionEnabled(true); //自动探测分隔符
//把第一个解析行看作文件中每个列的标题
parserSettings.setHeaderExtractionEnabled(true);
RowProcessor rowProcessor = new RowProcessor() {
@Override
public void processStarted(ParsingContext context) {
System.out.println("开始处理");
}
@Override
public void rowProcessed(String[] row, ParsingContext context) {
System.out.println("开始处理行数据");
//System.out.println(Arrays.toString(row));
}
@Override
public void processEnded(ParsingContext context) {
System.out.println(context.currentLine());
}
};
parserSettings.setMaxCharsPerColumn(40960);
parserSettings.setMaxColumns(51200);
//parserSettings.setProcessor(rowProcessor);
CsvParser csvParser = new CsvParser(parserSettings);
//csvParser.parse(new File(filePath),Charset.defaultCharset());
List<String[]> rows = csvParser.parseAll(new File(filePath),Charset.defaultCharset());
System.out.println(rows.size());
}
}
