hadoop离线01--大数据导论、Apache Zookeeper

理解大数据基本概念
掌握数据分析基本步骤、分布式集群概念
理解zookeeper功能与作用
掌握zookeeper架构原理
学会搭建zookeeper集群
掌握shell客户端操作zk
理解zookeeper典型应用

#大数据导论
  数据与数据分析  
  数据分析作用（商业）
    离线分析
    实时分析
    ML机器学习
  数据分析的基本步骤 （重要）
    大数据时代
      海量数据处理场景 （重要）
        如何存储？   分布式存储
        如何处理？   分布式计算
      大数据5V特征
        大数据应用
    分布式、集群
#Apache Zookeeper （重要）
  Zookeeper概念介绍  分布式协调服务软件
  Zookeeper是分布式小文件存储系统
  Zookeeper特性：全局数据一致性
  Zookeeper角色 主从架构
  Zookeeper集群的搭建
  Zookeeper的数据模型
  Zookeeper的操作
    shell command
  Zookeeper watcher监听机制
    Zookeeper典型应用场景

数据（data）是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。
#通过对客观事件进行计量和记录就会产生数据  数据量化

目的：分析方向  分析的主题  要解决什么问题 
思路：如何去开展数据分析 关键分析具有体系。
体系化也就是逻辑化，简单来说就是先分析什么，后分析什么，使得各个分析点之间具有逻辑联系
需要营销、管理类理论进行支撑  叫做数据分析方法论。 偏向于战略层面 从宏观角度指导。

企业常见数据源:
#1、业务数据（RDBMS 关系型数据库 比如：Mysql oracle 事务支持）
#2、日志数据、日志文件（服务器日志、应用日志、用户行为日志）
#3、爬虫数据
#4、其他事数据

结构化数据、半结构化数据、非结构化数据
大数据青睐什么？结构化数据。
#所谓的结构化数据指的是具有schema约束信息的数据。 通俗理解易于程序处理解读的数据。
半结构化数据（json xml）
#经过预处理把数据变成干净规则统一整洁的结构化数据。

#大数据侧重于海量数据的分析。
#云计算侧重于硬件资源的虚拟机技术。云cloud. 阿里云服务器。vmware。
公有云：把云资源当做产品卖。
私有云：自己公司内部搭建云服务器。
混合云：结合上面两点。

分布式：多台机器的环境。
协调服务：在分布式环境下，如何控制大家有序的去做某件事。
  顺序
  一致
  共同
  共享

IP
主机名
hosts映射
防火墙关闭
时间同步
ssh免密登录

#zk默认加载的配置文件是zoo.cfg 因此需要针对模板进行修改。保证名字正确。
cd zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
#修改
dataDir=/export/data/zkdata
#文件最后添加 2888心跳端口 3888选举端口
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

#在每台机器的dataDir指定的目录下创建一个文件 名字叫做myid
#myid里面的数字就是该台机器上server编号。server.N  N的数字就是编号
[root@node1 conf]# mkdir -p /export/data/zkdata
[root@node1 conf]# echo 1 >/export/data/zkdata/myid

[root@node2 ~]# mkdir -p /export/data/zkdata
[root@node2 ~]# echo 2 > /export/data/zkdata/myid 
[root@node3 ~]# mkdir -p /export/data/zkdata
[root@node3 ~]# echo 3 > /export/data/zkdata/myid 

#在哪个目录执行启动命令 默认启动日志就生成当前路径下 叫做zookeeper.out
/export/server/zookeeper/bin/zkServer.sh  start|stop|status
#3台机器启动完毕之后 可以使用status查看角色是否正常。
#还可以使用jps命令查看zk进程是否启动。
[root@node3 ~]# jps
2034 Jps
1980 QuorumPeerMain  #看我，我就是zk的java进程

[root@node1 ~]# vim stopZk.sh
#!/bin/bash
hosts=(node1 node2 node3)
for host in ${hosts[*]}
do
 ssh $host "/export/server/zookeeper/bin/zkServer.sh stop"
done

[root@node1 ~]# vim startZk.sh
#!/bin/bash
hosts=(node1 node2 node3)
for host in ${hosts[*]}
do
 ssh $host "source /etc/profile;/export/server/zookeeper/bin/zkServer.sh start"
done

/export/server/zookeeper/bin/zkCli.sh -server ip
#如果不加-server 参数 默认去连接本机的zk服务 localhost:2181
#如果指定-server 参数 就去连接指定机器上的zk服务
#退出客户端端 ctrl+c

[zk: localhost:2181(CONNECTED) 5] ls /itcast    #查看指定路径下有哪些节点
[a0000000000, b0000000002, a0000000001]
[zk: localhost:2181(CONNECTED) 6] get /itcast   #获取znode的数据和stat属性信息          
112233
cZxid = 0x300000003                      #创建事务ID
ctime = Mon Jan 30 20:52:49 CST 2023     #创建的时间
mZxid = 0x300000003                      #上次修改时事务ID
mtime = Mon Jan 30 20:52:49 CST 2023     #上次修改的时间
pZxid = 0x300000009
cversion = 3
dataVersion = 0           #数据版本号  只要有变化 就自动+1
aclVersion = 0
ephemeralOwner = 0x0      #如果为0 表示永久节点 如果是sessionID数字 表示临时节点
dataLength = 6            #数据长度
numChildren = 3           #子节点个数

[zk: node2(CONNECTED) 13] listquota /itcast   #查看限制
absolute path is /zookeeper/quota/itcast/zookeeper_limits
quota for /itcast does not exist.

#1、设置监听 然后zk服务执行监听
ls path [watch]
  没有watch 没有监听 就是查看目录下子节点个数
  有watch  有监听  设置监听子节点是否有变化
get path [watch]
  监听节点数据是否变化
e.g: get /itcast  watch 
#2、触发监听 
set /itcast 456  #修改了被监听的节点数据 触发监听
#3、回调通知客户端
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/itcast

state:SyncConnected type:NodeDataChanged path:/itcast
type：发生了什么
path:哪里发生的

排他锁（Exclusive Locks），又被称为写锁或独占锁，如果事务T1对数据对象O1加上排他锁，那么整个加锁期间，只允许事务T1对O1进行读取和更新操作，其他任何事务都不能进行读或写。

共享锁（Shared Locks），又称读锁。如果事务T1对数据对象O1加上了共享锁，那么当前事务只能对O1进行读取操作，其他事务也只能对这个数据对象加共享锁，直到该数据对象上的所有共享锁都释放。