一、大数据概述
二、视频大客户对于数据中心的需求
三、传统大数据技术演进
四、EMR介绍
五、为什么选择EMR
弹性动态伸缩
基于ECS之上，快捷的扩容、缩容EMR Hadoop集群。
灵活软件栈选择
灵活、快速部署开源大数据服务(HBase、Kafka、Impala、Flink等)。
数据存储成本低
D1机型使用本地盘，价格远低于云盘；OSS低成本存储冷数据。
运维机制
钉钉群支持，快速解决集群使用问题。减少运维工作，更专注于业务。
六、典型问题及解决方案
数据迁移问题
Hive，HBase数据库结构同步，HDFS数据PB级历史数据同步。如何保证线上实时任务不受影响？
元数据库同步：Hadoop distcp filter (Hadoop 2.8之后支持)。Flume配置双写，多个sink。
数据倾斜问题
现象：MapReduce任务卡在最后一个或几个Reduce。
原因：数据分布不均匀，导致大量的数据分配到了一个节点。
问题：
执行Hive任务时，Flume刚好rename文件，会提示文件不存在的错误。
解决办法：hdfs.inUsePrefix=.生成的文件名增加前缀。
问题：
多台服务器同时写入，默认的文件名重复。
解决办法：修改HDFS sink源码，生成的文件默认增加当前服务器的hostname。
问题：
实时性与小文件过多。
解决办法：离线insert overwrite table，重新生成文件。通过MapReduce 在map之后生成新文件的特性，合并小文件。
