阿里HBase高可用8年“抗战”回忆录
2011年毕玄和竹庄两位大神将HBase引入阿里技术体系,2014年接力棒转到东8区第一位HBase commiter天梧手中,多年来与淘宝、旺旺、菜鸟、支付宝、高德、大文娱、阿里妈妈等几乎全BU合作伙伴携手共进,支撑了双十一大屏、支付宝账单、支付宝风控、物流详情等核心业务。2018年双十一,HBase全天处理请求2.4万亿行,单集群吞吐达到千万级别。从一个婴儿成长为青年,阿里HBase摔过很多次,甚至头破血流,我们在客户的信任之下幸运的成长,感激涕零。
Apache Zookeeper常用命令
一.功能简述
Apache ZooKeeper是一种用于分布式应用程序的分布式开源协调服务;提供了命名服务、配置管理、集群管理、分布式锁、队列管理等一系列的功能
Ⅰ).角色功能
ZooKeeper主要包括leader、learner和client三大类角色,其中learner又分为follower和observer
功能描述
a).
HyperLedger Fabric 1.2 kafka生产环境部署(11.1)
11.1 Kafka模式简介 上一章介绍的Solo模式只存在一个排序(orderer)服务,是一种中心化结构,一旦排序(orderer)服务出现了问题,整个区块链网络将会崩溃,为了能在正式环境中稳定运行,需要对排序(orderer)服务采用集群方式,Hyperledger Fabric采用kafka方式实现排序(orderer)服务的集群,kafka模块被认为是半中心化结构。
Spark-Spark Streaming例子整理(二)
Spark Streaming从Flume
Poll数据
一、Spark Streaming on Polling from Flume实战
二、Spark Streaming on Polling from Flume源码
第一部分:
推模式(Flume push SparkStreaming) VS 拉模式(SparkStreaming poll Flume)
采用推模式:推模式的理解就是Flume作为缓存,存有数据。
Apache Kafka常用命令
1.查看topic详细信息
./kafka-topics.sh -zookeeper ip:port -describe -topic topicname
kafka/bin/kafka-topics.
搭建Hadoop的HA高可用架构(超详细步骤+已验证)
一、集群的规划
Zookeeper集群:
192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14)
Hadoop集群:
192.