开发者学堂课程【阿里云离线数仓实战1:项目介绍及架构设计:项目技术选型】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/102/detail/1789
技术选型
1.数据采集运输的选择
有两个需求 日志文件 业务数据
阿里云框架采用 Flume、DataHub 来采集日志文件 RDS 来采集业务数据.
开源框架采用 Flume、Kafka 来采集日志文件 Sqoop、Datax 采集业务数据
2.数据存储
阿里云采用 MaxCompute、DataWor rks 开源采用 MySql、Hadoop、HBase
3.数据计算:
阿里云采用 MaxCompute、DataWorks 开源采用 Hive、Spark、Flink
4.数据可视化
阿里云采用 QuickBI Tableau 开源采用 Echarts、Kibana