突突修_个人页

Hive动态分区

Hive动态分区 一）hive中支持两种类型的分区： 静态分区SP（static partition） 动态分区DP（dynamic partition） 静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。

Hive高级优化

Hive中文件存储格式及大小比较测试

file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration) | RCFILE -- (Note: Available in Hive 0.

创建带压缩格式的orc表

文件存储格式： [STORED AS file_format]

Hive的HQL执行计划

一个Hive查询被转换成一个序列(更多的是一个有向无环图)的阶段。这些阶段可能是映射/还原阶段，甚至可能是进行转移或文件系统操作(如移动和重命名)的阶段

Hive|| beeline连接的Invalid URL

YARN的日志聚集配置使用

Hive中分区表及陷阱

Hive中的表操作

Hive的管理表和外部表

Hive配置日志文件并测试

HDFS清理坏块

Hive配置元数据库metastore

在hive的conf目录下创建一个hive-site.xml文件 说明：在linux系统中vi 一下hive-site.xml 并保存 配置一下hive-site.

linux下为Hive安装mysql

1、安装了mysql server 查看是否安装rpm -qa|grep mysql 卸载 rpm -e --nodeps mysql-libs-5.

Hive初级使用

创建表student，创建文件student.txt ，文件里面有学生数据行数据之间的列用制表（tab）符分割。 需求：把文件中的数据导入到student表中。

Hive安装使用

文档及下周网址 官网http://hive.apache.org 文档https://cwiki.apache.org/confluence/display/Hive/GettingStarted https://cwiki.

Hive架构优点及使用场景

先阅读初识hive Hive在大数据生态环境中的位置 Hive架构图 client 三种访问方式 1、CLI(hive shell)、command line interface（命令行接口） 2、JDBC/ODBC(ja.

Hive初识

背景 mapreduce编程的不变性，开发成本较高。比较死板。 MapReduce is hard to program 【八股文】格式编程，三大部分 No Schema, lack of query lanaguages, eg.

大数据||日志文件数据存储、收集、预处理和分析

项目实战之四日志文件数据存储、收集、预处理和分析 日志文件： 每天的文件安装【日期】存放在对应的文件夹中 一天之内只产生一个文件，以每天零点为准 收集数据 &&程序 put hdfs * flume * shell 脚本 处理数据 && 预处.

大数据||日志数据Nginx及业务需求

Nginx语法 日志格式 实际日志 "27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.

Hadoop三大发行版本

Apache 企业实际使用并不多。最原始（基础）版本。这是学习hadoop的基础。 cloudera 对hadoop的升级，打包，开发了很多框架。

HDFS集中式缓存管理

Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文 件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在 DataNode的内存当中。

HDFS文件系统数据备份

HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的 也可以是一部分。常用来作为数据备份，防止用户错误和容灾快照功能。 HDFS实现功能： Snapshot 创建的时间 复杂度为O(1)，但是不包括INode 的寻找时间 只有...

YARN HA架构部署测试

ResourceManager(RM)负责跟踪集群中的资源，并调度应用程序(例如MapReduce作业)。 在Hadoop 2.4之前，ResourceManager是纱线集群中的单一故障点。

HDFS Using QJM

HDFS 使用分布式日志管理，日志管理的是nameNode的fsimages和eidts日志文件。 原理图

Zookeeper的ZKFailoverController（ZKFC）

ZKFailoverController(ZKFC)是一个新的组件，它是一个ZooKeeper客户端，它还监视和管理NameNode的状态。运行NameNode的每台机器也运行ZKFC，他们之间是一对一的关系。

大数据||zookeeper来实现HDFS自动故障转移

namenode启动都是standby。 利用zookeeper来选举一个为active ZooKeeper客户端ZKFC： ZKFailoverController 给namenode添加失效备缓监控器（ZKFC： ZKFailoverCon...

对HDFS的HA进行测试

查看目录 bin/hadfs dfs -ls / 报错： 报错 错误原因：是因为client在访问代理的时候出错了。找不到ns1。

大数据||启动HDFS HA的守护进程

请先参看规划HA的分布式集群服务器HDFS HA配置详解 一定要严格按照顺序执行 严格按照顺序执行 说明：如果不安装启动顺序来就会出现，第五步的错误。

大数据||HDFS HA配置详解

根据HA架构图，规划HA的分布式集群服务器 HA集群规划 配置参考图 根据官方文档配置HA 部分说明 Architecture 在典型的ha集群中，两台独立的机器被配置为namenode。

大数据||HDFS HA 设计

背景 Hadoop 2.0 之前，在HDFS 集群中 NameNode 存在单点故障（SPOF ）。对于只有一个NameNode 的集群，若NameNode 机器出现故障，则整个集群将无法使用，直到NameNode 重新启动。

大数据||HDFS

HDFS元数据 image.png datanode image.png

大数据|| 分布式协作服务框架Zookeeper分布式安装部署

准备zookeeper环境 上传zookeeper包到opt/app cp /opt/sofewares/zookeeper-3.4.5.tar.gz -R /opt/app/ chmod u+x zookeeper-3.

分布式协作服务框架Zookeeper

一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。 设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。

大数据||hadoop集群的时间同步

各大银行、证券、通讯集群内部时间同步，找一台机器作为时间基准，其他机器同步一次时间。 时间服务器配置 检测是否安装ntp工具 rpm -qa|grep ntp 修改vi /etc/ntp.conf 开启#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap并把192.168.1.0修改为192.168.57.0 去掉注解（本地网络上的主机限制较少。

大数据||分布式部署常遇到的问题及基准测试

启动yarn时报错 异常信息 错误原因 在启动子节点（senior02,senior03）时读取slaves时报错。原因是slaves文件有问题。

大数据||hadoop分布式部署分发、基本测试及监控

先看文章大数据||hadoop分布式集群安装 分发包括：通过主节点给子节点分发数据。免密形式 基本测试包括：创建目录，上传文件、读取文件等 HDFS namenode节点格式化（131） 命令bin/hdfs namenode -format 说明：只有第一次部署的格式化。

大数据||hadoop分布式集群安装

集群前先计划虚拟机，看文章大数据||Hadoop分布式部署虚拟机 基于伪分布式环境安装进行展开 规划机器与服务（） HDFS 文件系统 YARN “云操作系统” JobHistoryServer 历史服务监控 修改配置文件，设置服务运行...

大数据||Hadoop分布式部署虚拟机

分布式部署 伪分布式。一台机器运行所有的守护进程，从节点datanode、nodemanager 完成分布式。 有多个从节点。 datanodes、nodeManager。

大数据||MapReduce的shuffle

mapreduce的数据处理过程中，shuffle出于map和Reduce之间。 Shuffle：洗牌或弄乱。 Collections.shuffle(List)：随机地打乱参数list里的元素顺序。

大数据||MapReduce编程模板

标准模板代码 package com.lizh.hadoop.mapreduce; import java.io.IOException; import org.

大数据||MapReduce数据类型

数据类型都实现了Writable接口，以便这些类型定义的数据可以被序列化进行网络传输和文件存储。 基本数据类型 BooleanWritable：标准布尔型数值 ByteWritable :单字节数值 DoubleWritable：双字节数值 FloatWritable：浮点型 IntWritable：整型数 LongWritable：长整型 Text NullWritable：当中的key或value为空使用。

大数据||MapReduce之wordcount处理过程

文件分割 将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成对，下图所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数（Windows/Linux环境不同）。

编写WordCount程序之一固定格式讲解

WordCount因果图 MapReduce中 map和reduce函数格式 MapReduce中，map和reduce函数遵循如下常规格式： map: (K1, V1) → list(K2, V2) reduce: (K2...

并行计算框架MapReduce编程模型

思想：分而治之 map：对每一部分进行处理 reduce :汇总map结果 map是MapReduce最核心的。 mapreduce编程模型 一种分布式计算模型，解决海量数据计算问题 MapReduce把整个并行计算的过程抽象到两个函数，map和reduce函数。

大数据||slider

帮助把存在的分布式框架部署在yarn环境上。

大数据|| YARN对集群资源进行管理与调度及配置节点资源

1、查看是否启用了yarn服务并启动yarn服务 2、查看yarn集群 说明：内存8G 、CPU 是8核。其实没有那么多，我虚拟机只给了2G 1核。

YARN发展和架构组件功能详解

YARN的架构 YARN业务架构图 ResourceManager 全局资源管理器，整个集群只有一个，负责集群资源的统一管理和调动分配。

李笑来最新演讲：你必须比坏人更强，才有资格做一个好人

image 来源：区块链资本论 大家好，终于是2018年了，先问候大家一声新年快乐，2018是一个特别吉利的数字，所以，我想各位读者也都会有一个非常幸运的一年。

大数据||HDFS启动时安全模式（safemode）

安全模式期间：nameNode启动成功后到收到99.99%的datanode块数据。 HDFS的Namenode等待DataNode向其发送块报告，当NameNode统计总模块和发送过来的块报告中的统计信息达到99.999%的时候，表示不存在块的丢失，此时安全模式才会退出。