突突修
突突修_个人页
突突修
文章
197
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2018-02-08
大数据||HDFS||SecondaryNameNode辅助功能
secondaryNameNode辅助nameNode，当镜像及日志文件特别大的时候。估计nameNode启动都是问题。 SecondaryNameNode的作用是定期把fsimages镜像文件和edit日志文件定期（一个小时一次）合并，并生成新的fsimages镜像文件。
-
发表了文章 2018-02-08
大数据||HDFS||NameNode启动过程详解
NameNode数据存放的地方有2个 1、内存 2、本地磁盘。镜像文件（fsimages）和日志文件（edits） 说明：格式化namenode目的是生成 fsimages文件。
-
发表了文章 2018-02-08
大数据||HDFS的API在JAVA中进行新增、删除、查看目录
1、在HDFS文件系统中新增目录 新增代码 查看结果 2、删除目录 删除代码 查看结果 3、查看目录 代码 执行结果 代码 package com.
-
发表了文章 2018-02-08
大数据|java API写入HDFS文件-put
1：创建一个可以上传到hdfs文件系统的文件（wc.input） 2：编写java代码调用api完成附件的上传相当于执行-put命令 3：查看执行结果 全部代码 package com.
-
发表了文章 2018-02-08
大数据|java API读取HDFS文件
第1步：在pom.xml文件中引入hadoop-client及junit包 好处：使用maven进行项目管理，它会自动把需要的包及包依赖的包自动下载。
-
发表了文章 2018-02-07
HDFS的linux下开发环境准备
上传工具elicpse和maven 安装maven 解压命令： unzip apache-maven-3.0.5-bin.zip -d /opt/modules/ 配置maven环境变量 vi /opt/profile ...
-
发表了文章 2018-02-07
HDFS的shell命令
文件系统（FS）的shell命令bin/hdfs dfs 对文件进行操作 说明：所有的FS的shell命令都是以url作为参数。格式： URI格式是scheme://authority/path。
-
发表了文章 2018-02-07
HDFS存储架构剖析
HDFS架构图(Hadoop distribute File System) image.png NameNode 介绍 Namenode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。
-
发表了文章 2018-02-06
java工程师转大数据工程师
由于本人是从Java开发通过大概3个月的自学转到大数据开发的。所以我主要分享一下自己的学习路劲。 第一阶段: 01.Linux学习（跟鸟哥学就ok了） 02.
-
发表了文章 2018-02-06
Hadoop 2.x本地库native lib及如何源码编译
执行命令bin/hdfs dfs -ls报错 image.png 报错原因 运行的代码与natvie中的代码版本不一致造成 image.
-
发表了文章 2018-02-04
Hadoop各服务组件如何配置在指定服务器运行
HDFS指定服务器运行 修改$hadoop/etc/hadoop/core-site.xml 指定namenode配置服务器 指定datanode配置服务器 修改slaves文件 image.
-
发表了文章 2018-02-04
Hadoop组件启动的三种方式及配置SSH无密码登入
第一种方式，逐一启动 第二种，分开启动 image.png 第三种，一起启动(不推荐使用) start-all.sh 因为在生产环境中namenode和datanode不可能在一台机器上。
-
发表了文章 2018-02-03
YARN的日志聚集配置使用
修改yarn-site.xml文件 说明：修改路径$hadoop/etc/hadoop下的yarn-site.xml。新增两个属性并保存上传服务器。 属性1：表示在yanr上开启聚合日志服务。
-
发表了文章 2018-02-03
hadoop的mapReduce历史服务配置及查看
查看MapReduce历史执行情况报错 查看已经运行完成的MapReduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。
-
发表了文章 2018-02-03
hadoop配置垃圾回收时间
1、修改$hadoop/etc/hadoop/core-site.xml文件 添加 fs.trash.interval分钟 Number of minutes after which the checkpoint gets deleted.
-
发表了文章 2018-02-03
hadoop 配置文件
hadoop的配置文件分为两种，一种是默认类型、一种是自定义配置文件。我们先从默认类型开始。根据自己的实际业务对自定义配置文件进行修改。例如：是否开启hadoop数据存放目录，yarn的聚集日志文件的配置、hadoop垃圾箱的自动清空的天数，hdfs的域名映射等等。
-
发表了文章 2018-02-03
hadoop初学者MapReduce常见错误
image.png 主机与ip地址的映射，不可以出错配置完后hostname一下 image.png core-site.xml 正确配置 fs.
-
发表了文章 2018-02-02
Hadoop|启动yarn及在yarn上运行mapreduce
YARN on Single Node 修改yarn环境配置文件yarn-env.sh image.png 修改yarn配置文件yarn-site.
-
发表了文章 2018-02-01
linux|目录介绍及/etc
linux目录 /bin,/sbin,/usr/bin,/usr/sbin区别 image.png /etc etc不是什么缩写，是and so on的意思 来源于 法语的 et cetera 翻译成中文就是 等等 的意思.
-
发表了文章 2018-01-31
Hadoop 2.x环境搭建准备
一：下载Hadoop image.png 二：安装说明 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html 三：查看是否安装jdk 四：强力卸载已将安装的JDK 空格分开卸载项。
-
发表了文章 2018-01-31
Hadoop 2.x生态系统中常用框架
图片1.png
-
发表了文章 2018-01-31
HDFS和Yarn和MapReduce
image.png nameNode是主节点，datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep。 HDFS存储方式 是以块的形式存储的，128M最小单元。
-
发表了文章 2018-01-31
hadoop概述
大数据应用发展前景 image.png image.png image.png image.png google image.
-
发表了文章 2018-01-30
Shell 字符串
字符串是shell编程中最常用最有用的数据类型（除了数字和字符串，也没啥其它类型好用了），字符串可以用单引号，也可以用双引号，也可以不用引号。 单引号 单引号字符串的限制： 单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的； 单引号字串中不能出现单引号（对单引号使用转义符后也不行）。
-
发表了文章 2018-01-30
shell之自定义变量
定义变量 定义变量时，变量名称前不加$号 image.png 注意事项 image.png 使用变量 使用一个定义过的变量，只要在变量名前面加$即可，如： image.png 注意：{}是可选项，加花括号是为了帮助解释器识别变量的边界 定义只读变量 使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。
-
发表了文章 2018-01-30
shell之数组
数组可以存放多个值，bash shell只支持一维数组，初始化时不需要指定数组大小。下标从0开始。 语法 Shell 数组用括号来表示，元素用"空格"符号分割开 array_name=(value1 .
-
发表了文章 2018-01-28
linux|计划任务
计划任务分类 image.png at 一次性计划任务 shemme image.png 查看任务 image.
-
发表了文章 2018-01-28
shell之函数
函数语法 image.png 函数样例 image.png 函数调用 image.png 系统文件中的函数 vi /etc/init.
-
发表了文章 2018-01-28
shell之while循环
语法 image.png image.png 样例1 vi forsum.sh image.png image.png
-
发表了文章 2018-01-28
shell之if和case
语法 image.png if样例1 image.png 赋权并运行 image.png if样例2 说明：if 和中括号之间没有空格 if样例2 说明：if 和中括号之间没有空格 运行 运行 if样例3 说明：else后面没有then image.
-
发表了文章 2018-01-28
shell之for循环
语法 image.png 第一种写法：利用for循环创建50个文件夹 image.png image.png 第二种java写法：利用for循环创建50个文件夹 image.
-
发表了文章 2018-01-27
shell编程书写规范与执行方式
执行方式 image.png 创建sh文件 vi 1.sh 开头固定写法（linux默认解析环境） image.png 除了第一行外所有“#”都是注释 image.
-
发表了文章 2018-01-27
linux|取字符串
image.png 修改文件名的时候经常用 image.png image.png
-
发表了文章 2018-01-27
linux | date
date修改时间 image.png 格式化输出 image.png 备份7天前的数据 image.png image.png
-
发表了文章 2018-01-27
shell命令|逻辑操作符
image.png -a 与 image.png -o或 image.png image.png
-
发表了文章 2018-01-27
shell命令|文件测试
image.png image.png image.png -e 文件或者目录是否存在则为真（0） -e :exit -e 文件或者目录是否存在则为真（0） -d和-f -d:目录。
-
发表了文章 2018-01-27
shell| 字符串比较
必须放到[]中 =等于则为真 !=不相等则为真 n not zero 字符段长度不为0 z zero表示字符段长度位0 = 和！=的样例 image.
-
发表了文章 2018-01-27
shell|内置测试判断
必须放到[]中 内置测试判断是linux的根基 image.png image.png image.png image.
-
发表了文章 2018-01-26
shell|基本运算符
image.png image.png image.png image.png 关系运算符 image.
-
发表了文章 2018-01-25
shell|变量
环境变量 image.png 用户环境变量(home /.bash_profile) [root@localhost ~]# ls -a image.
-
发表了文章 2018-01-25
linux|正则表达式
image.png image.png image.png 使用正则表达的命令有grep、awk、sed image.
-
发表了文章 2018-01-25
linux|常用的系统监控命令
image.png 命令[root@localhost ~]# ifconfig image.png 命令top 资源整体使用情况 image.
-
发表了文章 2018-01-24
linux|yum安装软件包
列出所有可安装的软件包 [root@localhost Packages]# yum list [root@localhost Packages]#yum list | grep zlib-deve 安装软件包 yum -y install zlib-devel.x86_64 参数说明： -y 表示不用提醒直接下载依赖包。
-
发表了文章 2018-01-24
linux|rpm命令安装软件包
1、cd配置centos的ISO文件 image.png 2、挂载cdrom [root@localhost Packages]# mount /dev/cdrom /media 3、利用wc统计一下rpm按照包的个数 image.png 查看某文件是否安装 [root@localhost Packages]# rpm -qa | grep yp-tools image.png 参数说明： -q 表示查询 --query -a --all -f,--file FILE 查询结果为空表示此文件没有安装。
-
发表了文章 2018-01-24
如何在公共场合收拾熊孩子
首先，我要反驳一种流行的错误观点，就是认为孩子还小，还没有规则意识，所以孩子熊就让他们熊。这是错误的。3岁的孩子已经可以明白，承诺和合作的意义了，已经可以发展出合作精神了。
-
发表了文章 2018-01-24
linux|挂载硬盘及分区
首先查看磁盘情况使用fdisk -l命令 image.png 目前只有一个硬盘是/dev/sda,linux中所有的设备在/dev/下，在linux中一切皆是文件。
-
发表了文章 2018-01-23
linux|解压和压缩命令
压缩包后缀类型： tar.gz tar.bz2 zip tar.gz image.png 压缩 image.png zcvf 说明 -z表示压缩成gz格式，调用gzip命令 -c表示创建 -v显示解压过程 -f使用文件名，之后立即加文件名 解压 image.png 解压后在varlog.tar.gz上面多了一个var目录。
-
发表了文章 2018-01-23
linux|权限修改chmod和chown
chmod修改的是文件的读、写、执行。 chown修改的是文件的用户或者组的权限。 chmod例子 image.png 举例：如果某文件权限为7则代表可读、可写、可执行(4+2+1). 若权限为6(4+2)则代表可读、可写。
-
发表了文章 2018-01-23
linux|文件目录权限
image.png image.png 我们来看文件.gnome2的权限蓝色表示第一组：表示文件的拥有者权限红色表示第二组：文件拥有组权限黑色表示第三组：其他所有人 image.png -是一个占位符表示没有次权限。
-
发表了文章 2018-01-23
linux|创建用户和组及修改密码
image.png 创建用户 image.png image.png 默认创建组并且组名称与用户名称相同 image.
暂无更多信息
-
发表了文章
2018-03-13
Hive动态分区
-
发表了文章
2018-03-13
Hive高级优化
-
发表了文章
2018-03-13
Hive中文件存储格式及大小比较测试
-
发表了文章
2018-03-13
创建带压缩格式的orc表
-
发表了文章
2018-03-13
Hive的HQL执行计划
-
发表了文章
2018-03-09
Hive|| beeline连接的Invalid URL
-
发表了文章
2018-03-09
YARN的日志聚集配置使用
-
发表了文章
2018-03-06
Hive中分区表及陷阱
-
发表了文章
2018-03-05
Hive中的表操作
-
发表了文章
2018-03-05
Hive的管理表和外部表
-
发表了文章
2018-03-05
Hive配置日志文件并测试
-
发表了文章
2018-03-05
HDFS清理坏块
-
发表了文章
2018-03-02
Hive配置元数据库metastore
-
发表了文章
2018-03-02
linux下为Hive安装mysql
-
发表了文章
2018-02-28
Hive初级使用
-
发表了文章
2018-02-28
Hive安装使用
-
发表了文章
2018-02-28
Hive架构优点及使用场景
-
发表了文章
2018-02-28
Hive初识
-
发表了文章
2018-02-27
大数据||日志文件数据存储、收集、预处理和分析
-
发表了文章
2018-02-27
大数据||日志数据Nginx及业务需求
滑动查看更多
暂无更多信息
暂无更多信息