项目技术选型 | 学习笔记

简介: 快速学习项目技术选型

开发者学堂课程【阿里云离线数仓实战1:项目介绍及架构设计项目技术选型】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/102/detail/1789


技术选型

 

1.数据采集运输的选择

有两个需求 日志文件 业务数据

阿里云框架采用 Flume、DataHub 来采集日志文件 RDS 来采集业务数据.

开源框架采用 Flume、Kafka 来采集日志文件 Sqoop、Datax 采集业务数据

2.数据存储

阿里云采用 MaxCompute、DataWor rks 开源采用 MySql、Hadoop、HBase

3.数据计算:

阿里云采用 MaxCompute、DataWorks 开源采用 Hive、Spark、Flink

4.数据可视化

阿里云采用 QuickBI Tableau 开源采用 Echarts、Kibana

相关文章
|
6月前
|
人工智能 编解码 测试技术
万相,开源!
万相,开源!
1931 1
|
存储 人工智能 移动开发
【八大数据排序法】快速排序法的图形理解和案例实现 | C++
排序算法是我们在程序设计中经常见到和使用的一种算法,它主要是将一堆不规则的数据按照递增或递减的方式重新进行排序。在如今的互联网信息时代,随着大数据和人工智能的发展,大型企业的数据库中有亿级的用户数据量。因此对其进行处理,排序算法也就成为了其中必不可缺的步骤之一。
404 0
【八大数据排序法】快速排序法的图形理解和案例实现 | C++
|
存储 内存技术
STM32内部flash详解(1)(下)
STM32内部flash详解(1)
|
前端开发
第33/90步《前端篇》第8章 重构记分板、背景、页面和游戏对象 第24课
今天学习《前端篇》第8章 重构记分板、背景、页面和游戏对象 第24课 创建页面对象,这节课开始创建游戏页面。
185 0
|
JavaScript
Vue 组件化开发——组件详解
将一个复杂的问题拆分成很多个可以处理的小问题,再将其放入整体当中,很大的问题也会迎刃而解。
262 0
Vue 组件化开发——组件详解
|
移动开发 JavaScript 前端开发
『前端大事记』之「几件大事」
不知道大家都听没听说过这句哈:前端的江湖总是不缺话题,且从没有消停过!!! 你要说没听说过,那就对了,这句话是我刚刚说的。但是这句话想必大家都听说过:铁打的后台,流水的前端。
3521 0
|
资源调度 JavaScript
ElasticSearch_学习_01_单实例安装与分布式安装
一、前言       二、下载 1.下载地址 https://www.elastic.co/downloads/past-releases     三、单实例安装 直接解压,window下运行 elasticsearch.bat 即可。
1250 0
|
4天前
|
人工智能 运维 安全
|
2天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!