一、大数据概述
1、概念
大数据主要解决，海量数据的采集、存储和分析计算问题。
按顺序给出数据存储单位：bit、Byte、 KB、MB、GB、TB、PB、EB、ZB、YB、 BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T
2、特点
大量、高速、 低价值密度
3、应用场景
推荐用户喜欢的东西（抖音 、广告、房产 、金融、保险）
4、大数据开发组成
二、Hadoop
1、解决什么问题
主要解决，海量数据的存储和海量数据的分析计算问题
（大数据解决的是采集、存储、分析计算 hadoop就占2个）
2、Hadoop 三大发行版本
Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。
Apache 版本最原始（最基础）的版本，对于入门学习最好。2006
官网地址：http://hadoop.apache.org 下
载地址：https://hadoop.apache.org/releases.html
Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008
官网地址：https://www.cloudera.com/downloads/cdh
Hortonworks 文档较好，对应产品 HDP。2011 Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP。 HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统
官网地址：https://hortonworks.com/products/data-center/hdp/
3、hadoop组成
Hadoop1.x、2.x、3.x区别
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。
Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器
MapReduce 将计算过程分为两个阶段：Map 和 Reduce
1）Map 阶段并行处理输入数据 2）Reduce 阶段对 Map 结果进行汇总
HDFS、YARN、MapReduce 三者关系
4、大数据生态体系
数据来原层
数据库（结构化数据）：mysql存储关系型数据
文件日志：存储半结构化属性
视频、ppt非关系型数据
数据传输层
Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。
Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume 支持在日志系统中定制各类数据发送方，用于收集数据；
Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；也可用于收集半结构化数据
数据存储层
Hbase：非结构化数据存储的数据库。
hdfs：文件存储
资源管理层
yarn资源管理 数据能不能存储下等
数据计算层
MapReduce ：完全基于硬盘的 离线计算（是需要写代码的）
hive:为了解决MR麻烦的写代码查询 使用hive类sql方式更块
Spark core：一部分基于内存的 计算效率更高些，但也是需要写代码的 于是就有了类sql的spark sql 和 spark milb
上面都是离线的
spark streaming实时计算
flink 实时计算（最新）
storm实时计算（老项目使用）
任务调度
Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。
Azkaban：也是任务调度框架
多个任务按顺序执行就要这个任务调度处理
综合
ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、 名字服务、分布式同步、组服务等。
三、千人千面推荐框架技术
