# 微服务引擎 #
0
关注
8149内容
|
Cloudera Manager简介
Hadoop家族
整个Hadoop家族由以下几个子项目组成：
Hadoop Common：
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。
HDFS：
是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNo
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
1.大数据处理的常用方法
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：
在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。
|
采用zookeeper的EPHEMERAL节点机制实现服务集群的陷阱
在集群管理中使用Zookeeper的EPHEMERAL节点机制存在很多的陷阱，毛估估，第一次使用zk来实现集群管理的人应该有80%以上会掉坑，有些坑比较隐蔽，在网络问题或者异常的场景时才会出现，可能很长一段时间才会暴露出来。
|
java.io.IOException: Connection reset by peer
一.场景: spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码:
点击(此处)折叠或打开
val zkUrl = "192.
ZooKeeper和Diamond有什么不同
本文主要是讨论下两个类似产品：ZooKeeper和Diamond在配置管理这个应用场景上的异同点。
Diamond，顾名思义，寄寓了开发人员对产品稳定性的厚望，希望它像钻石一样，提供稳定的配置访问。Diamond是淘宝网Java中间件团队的核心产品之一，服务于集团线上很多核心应用。目前已经开源，开
SpringBoot开发案例之整合Kafka实现消息队列
前言
最近在做一款秒杀的案例，涉及到了同步锁、数据库锁、分布式锁、进程内队列以及分布式消息队列，这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。
Kafka简介
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
免费试用