海量数据处理方案-阿里云开发者社区

开发者社区> 技术小阿哥> 正文

海量数据处理方案

简介:
+关注继续查看
需求:
1、把2个excel的sheet表中的海量数据按照时间,对比起来放在同一个excel的shell中; 
2、两个表为无序, 且存在对方表中的数据在自己表中对应的时间点上不存在的情况

方法一、数据库
(1)使用toad导入数据

将EXCEL文件中某些字段导入到ORACLE数据库的对应表
连接想要导入的数据库
Database--->Import---->Table Data打开了导入窗口
在Object Name中选择你将要导入的表名点击"Show Data" ---> "Execute Wizard"打开了导入向导在导入向导中选择Excel file类型,下一步在import from File中选择刚刚导出的EXCEL文件,下一步默认,下一步;默认,下一步选择数据库字段对应的列,本机是USER_LOGIN_ID对应C列OA_LOGIN_ID对应B列 , 下一步再次确认列有没有导入错误,下一步点“Excecute”执行结束


(2)使用数据库进行操作
步骤1:创建临时表js_sum
create table js_sum as
( select                                                                                                                         
    JP_NAME                 ,                                                                                                
    JP_CUR_DAY            ,                                                                                                
    JP_START_PRICE    ,                                                                                                
    JP_HIGHEST_PRICE,                                                                                                
    JP_LOWEST_PRICE ,                                                                                                
    JP_LAST_PRICE     ,                                                                                                
    JP_EXCHANGE_SUM ,                                                                                                
    JP_HANDLE_SUM     ,                                                                                                
    JP_CALC_PRICE     ,                                                                                                                                                                                                                            
    SH_NAME                 ,                                                                                                
    SH_CUR_DAY            ,                                                                                                
    SH_START_PRICE    ,                                                                                                
    SH_HIGHEST_PRICE,                                                                                                
    SH_LOWEST_PRICE ,                                                                                                
    SH_LAST_PRICE     ,                                                                                                
    SH_EXCHANGE_SUM ,                                                                                                
    SH_HANDLE_SUM     ,                                                                                                
    SH_CALC_PRICE     ,                                                                                                
    SH_LASTPRICE_UP ,                                                                                                
    SH_PERCENT_OVER                                                                             
    from japan j, shanghai s where    j.JP_CUR_DAY = s.SH_CUR_DAY
);

步骤2:加入2个表中剩余的数据到临时表中

步骤3:排序
将临时表中的所有数据进行排序

(3)使用toad导出数据
从ORACLE数据库导出成为EXCEL文件
利用TOAD连接上数据库,访问某个表,我本机是选中表“EXP_JS”, 右键“Save as...”
为了解决中文乱码问题,所以选择类型为"XLS Instance",如果存在长数字型字符串被改变的问题,
请选中“String Fields as Strings”
选择文件的存放路径 Destination directory
点击“OK”,会打开一个EXCEL文件,文件中已经是导出的数据,点击保存,将这个文件保存即可。




本文转自 tianya23 51CTO博客,原文链接:http://blog.51cto.com/tianya23/343695,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9489 0
海量数据处理利器greenplum——初识
简介及适用场景 如果想在数据仓库中快速查询结果,可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性: 第一,完善的标准支持:GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展;从应用编程接口上讲,它支持ODBC和JDBC。
1184 0
鹰角网络全球海量数据,一键轻松统一存储与处理
对于鹰角网络遇到的数据激增以及数据统一收治方面的问题,阿里云对象存储 OSS 为其提供了统一的数据存储 池,方便鹰角网络将全球收集到的海量不同数据进行统一存储,同时阿里云对象存储 OSS 可无缝对接 云原生数据湖 分析 DLA,DLA 提供扫描量版与 CU 版的 SQL 服务,可以针对 Kudu 与 OSS 做开箱即用的数据分析。帮助鹰角网 络快速产出数据报表,让 IT 人员能投入到更多的精力在技术上,推进业务发展。
655 0
如何实现海量数据的处理 | 《5G移动无线通信技术》之二
本书全面地介绍了全球范围内对5G应用和需求、网络架构和关键技术的研究成果。对于在通信行业的专家、学者、工程师和在校学生,以及关心移动无线通信技术 5G技术和应用的读者都有较高的参考价值。
822 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13172 0
封装多线程处理大量数据操作
们需要解决WaitAny和取得异步执行的返回值的问题。地球人都知道Thread和ThreadPool接受的委托都是没有返回值的。要想取的返回值,我们就得自己动手了,我们需要构造一个AsyncContext类,由这个类来保存异步执行的状态以并存储返回值。
619 0
13694
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载