xiaohei.info_个人页

Kafka最佳实践

前言 Kafka 是一种分布式的，基于发布/订阅体系的消息队列系统。 能够以 时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证 常数时间复杂度 的访问性能。 即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。

Flink最佳实践（二）Flink流式计算系统

前言 在 Flink最佳实践（一）流式计算系统概述 中，我们详细讨论了流式计算系统中 时域、窗口、时间推理与正确性工具 等概念。 本文将以这些概念为基础，逐一介绍 Flink 的 发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API 等内容，让开发人员对 Flink 有较为全面的认识并拥有一些基础操作与编程能力。

Flink最佳实践（一）流式计算系统概述

前言 传统的批处理拥有巨大 吞吐量 的优势，但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展，传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代，大数据系统架构也由简单的批处理转向批流混合的Lambda架构，最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。

个人信息安全管理条例解释

一、前言 近年来，随着信息技术的快速发展和互联网应用的普及，越来越多的组织大量收集、使用个人信息。给人们生活带来便利的同时，也出现了对个人信息的 非法收集、滥用、泄露 等问题，个人信息安全面临严重威胁。

Spark最佳实践-项目规范

前言 大数据开发的日常工作中，开发人员经常需要使用 Spark、Flink 等计算引擎作为工具来实现一些 业务逻辑 的计算。 以 Spark 为例，开发人员会使用 SparkSQL、DataFrame、RDD 等不同形式的API来实现业务需求。

CDH集群部署最佳实践

一、集群规划 如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。 合理的集群规划应该做到以下几点： 充分了解当前的数据现状 与业务方深入沟通，了解将会在集群上运行的业务，集群将会...

Spark分布式计算引擎的应用

HBase生产环境配置与使用优化不完全指南

HBase客户端API使用

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51985735 篇幅中使用的HBase版本为1.

HBase性能优化指南

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51957401 垃圾回收...

HBase高级用法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51939417 行健设计...

HBase构架

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51891890 存储结构...

Hadoop集群管理

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51474289 HDFS...

构架Hadoop集群

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51404403 Hado...

MapReduce高级特性

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51366342 计数器 ...

KMeans算法检测网络异常入侵

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51354486 非监督学...

MapReduce的类型与格式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51346749 输入格式...

MapReduce工作机制

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51337323 运行流程...

MapReduce程序开发

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51325813 通过AP...

Hadoop I/O

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51318453 HDFS中的数据完整性 HDFSZ在写入数据的时候会计算数据的校验和，针对每个由dfs.

Hadoop核心组件之Yarn

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51295569 程序在Yarn上的运行流程 如图所示，Yarn上的应用程序运行会经过如下步骤： 1.

Drools KIE API

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51007446 在搭建D...

搭建Drools开发环境

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51001037 篇幅中使用的Drools版本为6.

Hadoop核心组件之HDFS

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50935586 HDFS...

MapReduce开发技巧

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50922796 数据类型...

大数据平台生产环境部署指南

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50922643 总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。

自定义分片策略解决大量小文件问题

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50771361 自定义分片策略解决大量小文件问题 @(Hadoop) 默认的TextInputFormat 应该都知道默认的TextInputFormat是一行行的读取文件内容，这对于一个或几个超大型的文件来说并没有什么问题，但是在实验读取大量小文件的时候，性能及其低下。

ItermCF的MR并行实现

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50751607 Iter...

MapReduce中的分布式缓存使用

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50751007 MapReduce中的分布式缓存使用 @(Hadoop) 简介 DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点的机器中，各个节点可以自行读取本地文件系统上的数据进行处理。

Hive配置与操作实践

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50580995 Hive配置与操作实践 @(Hadoop) 安装hive hive的安装十分简单，只需要在一台服务器上部署即可。

关于Web界面查看日志的权限问题

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549737 关于Web界面查看日志的权限问题 @(Hadoop) 访问集群的8088端口，通过web ui查看作业日志时，发现没有权限查看，8088主界面右上角显示Logged in as : dr.who，即匿名用户。

使用rsync进行多服务器同步

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164 使用rsync进行多服务器同步 @(Others) 当集群数量很大时，修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。

Hadoop平台配置汇总

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50524657 Hadoop平台配置汇总 @(Hadoop) Hadoop hadoop-env.sh和yarn-env.sh中export log和pid的dir即可和JAVA_HOME。

Hadoop 添加删除Slave

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50519025 Hadoop 添加删除Slave @(Hadoop) 在hdfs-site.

mr程序无法输出日志进行调试的解决方法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50518894 mr程序...

Hadoop数据目录迁移

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50513425 Hadoop数据目录迁移 @(Hadoop) 随着数据的不断导入和增大，原本集群部署的目录磁盘空间不足了，所以要把hadoop存储数据的位置迁移到另外一个巨大的磁盘上，另外的一个用意是将数据和程序分离开，以免互相影响。

Oracle数据迁移至HBase操作记录

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50507091 Oracle数据迁移至HBase操作记录 @(HBase) 近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中，过程中遇到了许多苦难和疑惑，在此记录一下希望能帮到一些有同样需求的兄弟。

Hadoop端口一览表

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50505599 Hado...

Hadoop Maven pom文件示例

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50504970 Hadoop Maven pom文件示例 @(Hadoop) 4.

HBase设计与开发

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50504941 HBase设计与开发 @(HBase) 适合HBase应用的场景 成熟的数据分析主题，查询模式已经确定且不会轻易改变。

Sqoop操作实践

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50504925 Sqoo...

关于大数据的那些事儿（一）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50396896 关于大数据的那些事儿（一） 作为开发者，在大数据时代我们到底需要会什么？ 大数据到底是什么？ 它是为了解决海量数据的存储和计算所出现的技术，包括结构化和非结构化数据 以及，存储数据的成本。

简单理解云计算的模式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50396674 简单理解云计算的模式 关于IaaS、PaaS和SaaS的相关概念网上一抓一大把，不再累述，可以参考一下文章： http://blog.csdn.net/it_man/article/details/8441902 既然想要了解云计算，那么八成你是一个开发人员，或者和IT行业密切相关的人。

Docker核心技术

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50396651 Docker核心技术 1、cgroup 即controller group，其重要概念是子系统，首先挂载子系统，然后才有control group。

Kubernetes用户指南（三）--在生产环境中使用Pod来工作、管理部署

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/49156557 一、在生产环境中使用Pod来工作 本节将介绍一些在生产环境中运行应用非常有用的功能。

使用Faric+Git进行分布式代码管理

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/49129921 Fabric是一个Python库，可以通过SSH在多个host上批量执行任务。

Kubernetes用户指南（二）--部署组合型的应用、连接应用到网络中

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/49026825 一、部署组合型的应用 1、使用配置文件启动replicas集合 k8s通过Replication Controller来创建和管理各个不同的重复容器集合（实际上是重复的pods）。

Kubernetes用户指南（一）--快速开始、使用k8s配置文件

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/48832067 一、快速开始 1、启动一个简单的容器。

AWS EC2服务器的HTTPS负载均衡器配置过程

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/48785505 A...

Spark（十二）--性能调优篇

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/48505701 一段程序只能完成功能是没有用的，只能能够稳定、高效率地运行才是生成环境所需要的。