工作变动开始接触qt，涉及到qt读文件相关业务，简单整理一下qt读文件几种方式，后面发现有其他的再新增
1：使用qt读文件显示在界面的时候发现特别慢（实际是界面显示过多/日志打印导致）
测试demo的方式归纳汇总几种读qt文件的方法：
1：获取文件源按钮，并打印获取到的相关文件名
2：使用qfile直接读文件，显示耗时时间
3：使用qdatastream读文件，显示耗时时间
4：使用qtextstrean读文件，显示耗时时间
5：使用内存映射 Qfile::map 内存映射读文件，这里的map实际是Qfile的基类中的
2：qflie直接读文件
按行读取，read按字节读取，readAll读全部几种方式
void frmReadFile::on_qfileReadFileButton_clicked() { //使用qfile readline /readAll QFile file_read(m_filename); if(!file_read.exists()) { return; } if (!file_read.open(QIODevice::ReadOnly)) { QMessageBox::warning(this, "警告", "文件打不开！"); return; } //按行读取的方式 // QByteArray readdata_array; // while(!file_read.atEnd()) // { // readdata_array = file_read.readLine(); // //真正的耗时在显示在控件上 如果增加显示在控件上 可能需要耗时22s // ui->printTextEdit->append(readdata_array.toHex(' ')); // qDebug()<<"read file size:"<<readdata_array.size(); // readdata_array.clear(); // } //read读取特定字节 int readlength = 0; QByteArray byte_data; byte_data.resize(1000); while((readlength=file_read.read(byte_data.data(),1000))!=0) // 一次读进1000个字节（读进1000个字节，length==1000），当剩余字节数小于1000时，length等于剩余字节数 { this->append(QString(byte_data.toHex(' '))); } //readall直接读取全部内容 // QByteArray readdata_array; // file_read.seek(0); // readdata_array= file_read.readAll(); // ui->printTextEdit->append(readdata_array.toHex(' ')); // qDebug()<<"read file size:"<<readdata_array.size() <<"data is:"<<readdata_array.toHex(' '); // readdata_array.clear(); file_read.close(); }
3：qTextStream读文件
借助readLine readAll read 可以实现文件读取
通过用QElapsedTimer增加耗时，分析出文件处理真正耗时在内容显示上。
写时发现待处理问题：打开文件的方式，以及读取显示中文的demo。
void frmReadFile::on_qTextStrReadFileButton_clicked() { QFile file_read(m_filename); if(!file_read.exists()) { return; } if (!file_read.open(QIODevice::ReadOnly)) { QMessageBox::warning(this, "警告", "文件打不开！"); return; } //读取并显示在控件上 耗时7s QElapsedTimer lost_time; lost_time.start(); QString read_data= ""; QTextStream out(&file_read); while(!out.atEnd()) { read_data += out.readLine(); // ui->printTextEdit->append(read_data); //耗时7s } QString qfile_lost_time = "qtextstream 读取文件耗时："; qfile_lost_time += QString::number(lost_time.elapsed()); qfile_lost_time += "毫秒"; ui->TestTextEdit->append(qfile_lost_time); //先读取再显示的方案 读取耗时59ms 主要显示也都是乱码 //这里如果转成16进制进行输出 内存占用太大太大 会导致程序卡死 // ui->printTextEdit->append(read_data.toLatin1().toHex()); ui->printTextEdit->append(read_data); file_read.close(); }
4：qdatastream读文件
可以通过readBytes， readRawData实现文件的读取
写时发现待处理问题：遇到过open文件时选择打开方式 如果以Text方式打开，流显示换行符号会是两个字节，所以在处理读文件时，open函数的参数要注意
//使用qdatastream进行读文件 //耗时挺短的 读文件并不怎么耗时 耗时在处理显示上 void frmReadFile::on_qdataStrReadFileButton_clicked() { QFile file_read(m_filename); if(!file_read.exists()) { return; } if (!file_read.open(QIODevice::ReadOnly)){ QMessageBox::warning(this, "警告", "文件打不开！"); return; } QElapsedTimer lost_time; lost_time.start(); QDataStream out(&file_read); QByteArray read_data; read_data.resize(file_read.size()); //一次性读取内容过多 导致文件读不出来 while(!out.atEnd()) { out.readRawData(read_data.data(), file_read.size()); } QString qfile_lost_time = "qdatastream 读取文件耗时："; qfile_lost_time += QString::number(lost_time.elapsed()); qfile_lost_time += "毫秒"; ui->TestTextEdit->document()->setMaximumBlockCount(100); ui->TestTextEdit->append(qfile_lost_time); qDebug()<<"read file size:"<<read_data.size(); //这里进行显示的时候如果过大总会崩溃 ===》内容过大到界面显示的问题 ui->printTextEdit->document()->setMaximumBlockCount(100); ui->printTextEdit->append(read_data.toHex(' ')); lost_time.restart(); //TODO 1：研究一下通过信号触发容器的写入 2：研究一下QByteArray转成带空格的耗时 file_read.close(); }
5：内存映射的方式读文件
其实就是把指针映射到文件的对应位置，然后相关的操作就和操作内存指针一样了。
主要用到了 QFileDevice 类的 map 和unmap
//内存映射的方法读文件 void frmReadFile::on_qmapReadFileButton_clicked() { //采用内存映射的方法进行 QFile file_read(m_filename); if (!file_read.open(QIODevice::ReadOnly)) { QMessageBox::warning(this, "警告", "文件打不开！"); return; } QElapsedTimer lost_time; lost_time.start(); int file_size = file_read.size(); uchar* ptr = file_read.map(0, file_read.size()); uchar* flag_ptr = ptr; //这里先关闭文件对读文件不影响 int temp = 0; QByteArray flag_data; flag_data.resize(1000); while(temp < file_size) { memcpy(flag_data.data(), flag_ptr+temp, 1000); temp += 1000; //这里对数据进行处理 //TODO 这里的打印会导致qt工具打印过多日志 其他工具崩溃 // qDebug()<<"file map data0 is"<<flag_data; // ui->printTextEdit->append(flag_data.toHex()); //这里如果读取文件过大 也会让程序占用的内存大 this->append(QString(flag_data.toHex(' '))); } if(temp>file_size) { memcpy(flag_data.data(), flag_ptr+(file_size-file_size%1000), file_size%1000); qDebug()<<"file map data1 is"<<flag_data; ui->printTextEdit->append(flag_data.toHex(' ')); // this->append(QString(flag_data.toHex(' '))); } QString qfile_lost_time = "qfile map 读取文件耗时："; qfile_lost_time += QString::number(lost_time.elapsed()); qfile_lost_time += "毫秒"; qfile_lost_time += QString::number(file_size/1000); qfile_lost_time += "行"; ui->TestTextEdit->append(qfile_lost_time); file_read.unmap(ptr); if(ptr!=NULL) { ptr = NULL; qDebug()<<"umap is not null"; } file_read.close(); }
6：总结
这些demo测试的初衷是，初次接触qt，要处理一批大文件后，进行界面的显示，但是发现，读取大文件时，有崩溃，耗时的问题。
排查耗时崩溃问题的原因，有怀疑过是读文件的耗时，所以做了简单demo测试，最后发现是字符处理内存增加，qDebug日志记录，通过ui进行界面显示过大内容导致的耗时，甚至崩溃。
在整理回头整理demo的过程，以及最近实际过程中遇到的小问题，发现可以整理的点：
1：open的时候，打开方式按默认，文本方式，流的方式打开，对后面文件处理有影响（例如，以文本方式打开，但是用qdatastream处理流的时候发现，换行符变成了两个字符）。
2：几种方式排查后，读文件并不耗时，可以整理几种读文件方式的原理。
3：研究几种读文件后，字符处理中文显示问题。
