# 微服务引擎 #
0
关注
8125内容
|
Cloudera Manager简介
Hadoop家族
整个Hadoop家族由以下几个子项目组成：
Hadoop Common：
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。
HDFS：
是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNo
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
1.大数据处理的常用方法
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：
在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。
|
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。
kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
|
zookeeper解决Error contacting service. It is probably not running.
应用场景
安装了zookeeper集群之后，应用命令zkServer.sh start后，启动了zookeeper服务，用jps进程发现存在QuorumPeerMain进程，但是查看zookeeper状态的时候，发现报Error contacting service. It is probably not running.错误，提示服务并没有启动，那这是什么原因呢？原因可能有多种造成的，下面我们来分析一下。
|
采用zookeeper的EPHEMERAL节点机制实现服务集群的陷阱
在集群管理中使用Zookeeper的EPHEMERAL节点机制存在很多的陷阱，毛估估，第一次使用zk来实现集群管理的人应该有80%以上会掉坑，有些坑比较隐蔽，在网络问题或者异常的场景时才会出现，可能很长一段时间才会暴露出来。
|
java.io.IOException: Connection reset by peer
一.场景: spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码:
点击(此处)折叠或打开
val zkUrl = "192.
免费试用