所经历的大文件数据导出(后台执行,自动生成)

简介: 所经历的大文件数据导出(后台执行,自动生成) http://www.cnblogs.com/fanfan259/p/4710019.html   阅读目录 一、前言  二、生成excel文件  三、让程序在后台执行  四、显示文件生成进度  五、下载文件  六、上线...

所经历的大文件数据导出(后台执行,自动生成)

http://www.cnblogs.com/fanfan259/p/4710019.html

 

一、前言

    记录一下以前做的后台excel格式导出统计信息的功能,也是最近同事问到了相关东西,一时之间竟忘了具体的细节,因此记录一下;

    大家知道,excel导出数据的功能,后台几乎是必须功能,一般都是点击后,生成文件然后自动下载,

    如果是数据量小的话,一下子便可请求完成,从而下载到本地;

    但是,如果数据量特别大的时候,页面就必须一直在等待,直到写入excel成功,

    这样便影响了后台使用者无法操作其他页面,为此,对excel导出做了以下功能优化:

  1. excel导出分成两部分内容:生成excel文件和下载excel文件
  2. excel的文件生成在程序后台执行,前端不必等待,可进行其他后台操作
  3. 增加下载文件页面,显示excel文件生成的进度,完成后,方可下载生成的excel文件
  4. 文件生成后,点击下载方可下载相应的文件

 二、生成excel文件

    生成excel文件的方法有很多,暂不一一记录,只是记录本次的方法;

    这里用到了table的html格式,以及相应的excel的声明

    (隐约记得其他的方法用office07打开的时候好像是乱码,后面尝试用csv格式文件,可还是乱码,所以用了table的形式)

    文件的开头:

复制代码
 1     $struserdata = <<<Eof
 2         <html xmlns:o="urn:schemas-microsoft-com:office:office"
 3         xmlns:x="urn:schemas-microsoft-com:office:excel"
 4         xmlns="http://www.w3.org/TR/REC-html40">
 5     
 6         <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
 7         <html>
 8         <head>
 9             <meta http-equiv="Content-type" content="text/html;charset=utf-8" />
10         <style id="Classeur1_16681_Styles">
11         </style>
12         </head>
13         <body>
14         <div id="Classeur1_16681" align=center x:publishsource="Excel">
15     
16         <table x:str border=1 cellpadding=0 cellspacing=0 width=100% style='border-collapse: collapse'>
17 Eof;
复制代码

    文件的结尾:

1 $struserdata = <<<Eof
2         </table>
3         </div>
4         </body>
5         </html>
6 Eof;

    当然,文件中间就是一些tr td 标签了。

 三、让程序在后台执行

    场景:

        用户点击 生成excel后,跳转到下载页面,程序在后台执行,用户可不必等待生成完成,可执行其他操作;

        下载页面可看到文件生成的进度以及是否可下载状态

    思路:

        点击 生成excel,显示下载页面  ---> show_download方法

        生成excel ---> create_excel 方法

    show_download方法中调用 create_excel方法,而show_download 方法中,自己用了一下命令行执行程序的方式,

    利用php命令行的方式,把参数传递给 create_excel方法

复制代码
1  // $cmd = "/usr/bin/php  /home/xxx/xxx.php " . $strjoin . "  >/dev/null & ";
2  // $a=exec($cmd, $out, $returndata);
3  
4  
5  $command = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .$strjoin ."'". " " . $uid . " ". $action ."  & ";
6  $process = proc_open($command, array(),$pipes); 
7  $var = proc_get_status($process); 
8  proc_close($process);
9  $pid = intval($var['pid'])+1;
复制代码

    而在create_excel方法中:

    需填写以下代码:

1 set_time_limit(0); //取消脚本运行时间的超时上限
2 
3 ignore_user_abort(TRUE); //后台运行,不受用户关闭浏览器的影响

    调用相关的api得到数据:

1 $statistic = call_user_func(array('shellscript','get_result'),$url,$params);
2 if(!is_object($statistic) || !isset($statistic->data->items)){
3     usleep(400000);//停止400毫秒
4     $statistic = call_user_func(array('shellscript','get_result'),$url,$params);
5 }

 四、显示文件生成进度

    但是怎么显示相应的文件生成进度呢,怎么知道文件到底生成好了没有呢?

    这里,我用到的方法是,在写入数据文件的时候data.xsl,每个数据文件都生成一个对应的文件进度文件,暂且称为flag_data.xsl;

    思路:

  1. 第一次请求api的时候,根据返回的total总数,以及pagesize,确定要请求的次数count;
  2. 这样便可知道要请求api的次数(分页请求api),在写入数据文件的同时,同时写入进度文件flag_data.xsl;   
    数据格式大约是(以逗号分割)
        1,5
        2,5
        ...
  3. 然后显示文件进度的时候,读取进度文件,这样变可知道数据文件大体的进度
  4. 前端js处理时,几秒读取一次相应的方法(如果都100%进度,可停止请求方法),从而实现动态查看文件的生成进度

    查看文件的进度方法:

  View Code

 五、下载文件

    文件的下载就好说了,既然已经都生成成功,下载的方法如下:

复制代码
 1     public function execscript_download(){
 2         $filename = $_REQUEST['filename'];
 3         $uid = $_REQUEST['uid'];
 4         $file_dir = STATISTIC_EXPORT_FILE_DIR.$uid.'/'.$filename;
 5         if (!file_exists($file_dir)){
 6             header("Content-type: text/html; charset=utf-8");
 7             echo "File not found!";
 8             exit; 
 9         } else {
10             ini_set("memory_limit","500M"); 
11             header('Content-Description: File Transfer');
12             header('Content-Type: application/octet-stream');
13             header('Content-Disposition: attachment; filename='.basename($file_dir));
14             header('Content-Transfer-Encoding: binary');
15             header('Expires: ' . gmdate('D, d M Y H:i:s') . ' GMT');
16             header('Cache-Control: must-revalidate,post-check=0, pre-check=0');
17             header('Pragma: public');
18             header('Content-Length: ' . filesize($file_dir));
19             readfile($file_dir);
20         }
21 
22     }
复制代码

 六、上线后出现的问题

    本地本来已经测试完毕,可上线后,却出现了奇怪的问题;

    现象描述:

        当在后台点击生成文件,跳转到下载页的时候,因为下载页是显示文件进度的页面,
        竟然出现有时候有刚刚点击的文件进度,有时候没有,就感觉没有生成相应的文件一样;

    解决方法:

        因为数据文件和进度文件都是生成在程序的某个文件夹file中,所以读取的时候都是读取的文件夹下的文件,从而判断显示进度;

        后面才知道,由于后台程序有两台服务器,导致读取以及下载的时候找不到相应的文件夹,两个服务器相应的文件夹弄个共享目录就可以了

 七、相应的后续优化

    由于下载的文件多了,导致文件夹下的文件越来越多,而原来生成的文件是没有价值的,所以加了个定期删除文件的功能,只保留近七天的文件

    当然可以用crontab,只不过我比较懒,是在点击生成文件的时候,判断了一下文件夹中的过期文件,从而删除

复制代码
 1     public function execscript_process_show(){
 2         $this->load->library('smarty');
 3         $uid = $_REQUEST['uid'];
 4         $url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo
 5         if(!is_dir($url_dir)){
 6             @mkdir($url_dir,0777);
 7         }        
 8         $files = scandir($url_dir);
 9         if(!empty($files)){
10             foreach ($files as $key => $value) {
11                 if($value!='.' && $value!='..'){
12                     foreach ($files as $key => $value) {
13                         if($value!='.' && $value!='..'){
14                             if(substr($value, 0 , 5)!="flag_"){
15                                 $filenamedate = substr($value, 0,10);
16                                 $today = date('Y-m-d',time());
17                                 $filenamedate = date('Y-m-d',strtotime($filenamedate)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600);
18                                 if($today>$filenamedate){//文件过期
19                                     @unlink($url_dir . $value);
20                                     @unlink($url_dir . 'flag_' . $value);
21                                 }
22                             }
23                         }
24                     }                    
25                 }
26             }
27         }
28 
29         $this->smarty->assign('uid',$uid);
30         $this->smarty->display('interact/statistic/execscript.tpl');
31     }
复制代码

 八、后记

    大文件的导出大体就是这个样子,欢迎大家吐槽,共同交流;

    当时在用命令行执行方法的时候,也参考了一下相应的资料,记录一下;

复制代码
http://blog.csdn.net/yysdsyl/article/details/4636457

http://www.codesky.net/article/201202/163385.html

http://www.cnblogs.com/zdz8207/p/3765567.html

http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/

http://php.net/manual/en/features.commandline.php

http://blog.csdn.net/yangjun07167/article/details/5603425

http://blog.csdn.net/yunsongice/article/details/5445448

http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx

http://blog.51yip.com/tag/proc_open

http://www.justwinit.cn/post/1418/

http://limboy.me/tech/2010/12/05/php-async.html
复制代码

 

目录
相关文章
|
5月前
|
NoSQL 关系型数据库 MySQL
多人同时导出 Excel 干崩服务器?怎样实现一个简单排队导出功能!
业务诉求:考虑到数据库数据日渐增多,导出会有全量数据的导出,多人同时导出可以会对服务性能造成影响,导出涉及到mysql查询的io操作,还涉及文件输入、输出流的io操作,所以对服务器的性能会影响的比较大;结合以上原因,对导出操作进行排队; 刚开始拿到这个需求,第一时间想到就是需要维护一个FIFO先进先出的队列,给定队列一个固定size,在队列里面的人进行排队进行数据导出,导出完成后立马出队列,下一个排队的人进行操作;还考虑到异步,可能还需要建个文件导出表,主要记录文件的导出情况,文件的存放地址,用户根据文件列表情况下载导出文件。
多人同时导出 Excel 干崩服务器?怎样实现一个简单排队导出功能!
|
5月前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
|
2月前
|
SQL Oracle NoSQL
实时计算 Flink版操作报错合集之报错“找不到对应的归档日志文件”,怎么处理
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
SQL 数据采集 DataWorks
DataWorks产品使用合集之依赖脚本实际运行成功了,但其状态却显示为未运行,从而导致下游脚本没有运行,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
数据安全/隐私保护
搞个脚本—自动赚猿分(脱壳篇)
搞个脚本—自动赚猿分(脱壳篇)
|
5月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
212 0
|
SQL 消息中间件 JavaScript
系统上线前,SQL脚本的9大坑
系统上线前,SQL脚本的9大坑
CLion中创建多个.c文件不能运行问题及报错问题
CLion中创建多个.c文件不能运行问题及报错问题
CLion中创建多个.c文件不能运行问题及报错问题
|
SQL 分布式计算 大数据
电商项目之 DWD 用户启动日志表 Shell 脚本编写|学习笔记
快速学习电商项目之 DWD 用户启动日志表 Shell 脚本编写
电商项目之 DWD 用户启动日志表 Shell 脚本编写|学习笔记
|
调度
巧用bat文件做Airtest脚本的“批量运行”
巧用bat文件做Airtest脚本的“批量运行”
552 0