数据集成 Data Integration

首页 标签 数据集成 Data Integration
# 数据集成 Data Integration #
关注
2913内容
数加DataWorks在国网浙江电力的最佳实践
2017云栖大会dataworks专场,国网浙江电力大数据平台架构师陈振带来dataworks在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起,引出企业级数仓架构设计,着重通过数据集成和企业级管理为大家分享了具体的应用情况,最后作了简要的展望。
通过Datax将CSV文件导入Hbase,导入之前的CSV文件大小和导入之后的Hadoop分布式文件大小对比引入的思考
由于项目需要做系统之间的离线数据同步,因为实时性要求不高,因此考虑采用了阿里的datax来进行同步。在同步之前,将数据导出未csv文件,因为需要估算将来的hbase运行的hadoop的分布式文件系统需要占用多少磁盘空间,因此想到了需要做几组测试。
免费试用