biehl_个人页

作为完美主义者(强迫症)如何将linux的eth1网卡修改为eth0网卡

摸索出来的chrom调试前后台数据(Java&&Ajax)交互的方法分享一下咯！！！

Intellij Idea中Backspace无法使用，Ctrl+c/Ctrl+d等等快捷键无法使用的问题的解决

java.lang.Exception: 资源处理失败，失败原因：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column '?????‰' in 'where clause'

Server Tomcat v7.0 Server at localhost failed to start.

zeromq的安装，部署（号称最快的消息队列，消息中间件）

Spark入门，概述，部署，以及学习（Spark是一种快速、通用、可扩展的大数据分析引擎）

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

1：我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

实验手册——搜狗搜索日志分析系统

前奏：请提前搭建好你的集群和必要的软件:hadoop + jdk + hive + Sqoop + HBase； 数据（链接是网友的，感谢，感谢，感谢。里面有测试数据）：链接：http://pan.baidu.

Scala的安装，入门，学习，基础

1：Scala的官方网址：http://www.scala-lang.org/ 推荐学习教程：http://www.runoob.com/scala/scala-tutorial.html 　　Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。

导入别人的项目源码，如何才可以正常运行呢？？？

犹犹豫豫，不断有人问，开始写的时候是十月份，后来对某些只是为了应付大作业的人，我实在不想写，搁置两个月，今天有一个问的，一气之下，找到草稿，最后一次更新自己当初bug不断的图书管理系统。 1：本来不想写此篇博客的，但是之前上传一个关于图书管理系统的源码，好心网友下载了，然后直接说不好使，404，报错，等等问题，但是我想说，那也许是你对工具运用不够熟练，自己没有搞清楚一些问题，这里特别用一篇博客来证明我上传的源码，没有问题。

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

1：这个问题都被大家玩烂了，这里我也记载一下，方便以后脑补： 1 SLF4J: Class path contains multiple SLF4J bindings. 2 SLF4J: Found binding in [jar:file:/E:/360Downloads/hadoop-2.

网站点击流数据分析项目----之现学现卖

1：网站点击流数据分析项目推荐书籍： 可以看看百度如何实现这个功能的：https://tongji.baidu.com/web/welcome/login 1 网站点击流数据分析，业务知识，推荐书籍： 2 《网站分析实战——如何以数据驱动决策，提升网站价值》王彦平，吴盛锋编著 http://download.

我的博客即将搬运同步至腾讯云+社区

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan

sqoop数据迁移（基于Hadoop和关系数据库服务器之间传送数据）

1：sqoop的概述： （1）：sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。（2）：导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；（3）：导出数据：从Hadoop的文件系统中导出数据到关系数据库...

工作流调度器azkaban（以及各种工作流调度器比对）

1：工作流调度系统的作用： （1）：一个完整的数据分析系统通常都是由大量任务单元组成：比如，shell脚本程序，java程序，mapreduce程序、hive脚本等；（2）：各任务单元之间存在时间先后及前后依赖关系；（3）：为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；...

日志采集框架Flume以及Flume的安装部署（一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统）

Flume支持众多的source和sink类型，详细手册可参考官方文档，更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南：  1：Flume的概述和介绍： （1）：Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

Hive thrift服务（将Hive作为一个服务器，其他机器可以作为客户端进行访问）

 步骤一：启动为前台：bin/hiveserver2 步骤二：启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.

Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/hive-0.12.0/conf/hive-site.xml; lineNumber: 5; columnNumber: 2; The markup in th

1：Hive安装的过程（Hive启动的时候报的错误），贴一下错误，和为什么错，以及解决方法： 1 [root@master bin]# ./hive 2 17/12/11 23:22:56 INFO Configuration.

[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface

1：出现此种错误应该是jar版本包冲突了，启动hive的时候，由于hive依赖hadoop，启动hive，会将hadoop的配置以及jar包等等导入到hive中，导致jar包版本冲突，下面贴一下错误，然后贴一下解决方法： 1 [root@master bin]# .

Caused by: java.net.ConnectException: Call From master/192.168.199.130 to master:9000 failed on connection exception: java.net.ConnectException: Conne

1：安装好hive，准备启动的时候出现下面的错误（由于hive是基于Hadoop的，所以必须先将你的集群启动起来，我就是没有启动集群，直接启动hive导致的错误）： 1 [root@master bin]# .

file /usr/share/mysql/charsets/README from install of MySQL-server-5.1.73-1.glibc23.i386 conflicts with file from package mysql-libs-5.1.73-8.el6_8.i6

1：也许之前的机器安装过Mysql，但是自己不知道，账号密码也忘记了，又执行安装操作，导致Mysql不兼容问题。Linux上安装MySQL时出现不兼容的解决办法，错误如下所示： 1 [root@master package]# rpm -ivh MySQL-server-5.

大数据平台网站日志分析系统

1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： 　　ETL即hive查询的sql; 　　但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 　　　　1) 数据采集：定制开发采集程序，...

The authenticity of host 'slaver2 (192.168.199.132)' can't be established. RSA key fingerprint is cc:4e:23:01:ca:97:52:21:85:78:bc:29:ca:b

1：ssh登录　The authenticity of host 192.168.199.132 can't be established.　的问题    问题出现了，总要解决吧，百度一下，详细介绍的很多，这里不做多叙述，使用百度的方法可以很好解决问题，这里脑补一下： ssh  -o StrictHostKeyChecking=no  192.

Hadoop集群最迅速的配置免密码登陆方法

1：多台机器互相免密登陆的思路（默认你的linux操作系统已经安装好ssh）： 第一步：在各自的机器上面生成密钥： 　　在第1台机器上生产一对钥匙： ssh-keygen -t rsa 　　在第2台机器上生产一对钥匙： ssh-keygen -t rsa 　　在第3台机器上生产一对钥匙： ssh-keygen -t rsa 　　.

前后台交互经常使用的技术汇总（后台：Java技术，前台：Js或者Jquery）

1：由于针对特定的前后台交互用到的知识总结，所以不大量贴代码，主要给出思路，方便自己以后脑补和技术总结，当然也希望可以帮助到别人。 后台Json和其他格式转化，之前总结过Json和对象，集合，字符串的转化或者互相转化，这里我想网上有很多demo。

java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)

1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误： 详细错误如下所示： java.

17/11/24 05:08:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2017-11-24 21:20:25 1：什么叫失望，什么叫绝望。总之是一脸懵逼的继续...... 之前部署的hadoop都是hadoop-2.4.1.tar.gz，这几天换成了hadoop-2.6.4.tar.gz，部署老生常谈，启动就不一样了，本来吧，也就是warn，不是error，启动hdfs和yarn，节点都可以正常启动，但是对于我这种强迫症，能容忍下面这一大推错误吗？当你看到这篇的时候，显然是不能，虽然网上已经有很多了，但是貌似好多还是不好使。

org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /eclipse20171118

1：如果有一天，你有幸看到了这个错误，也许你像我一样low，因为此时，你已经准备开发Zookeeper程序了，却还没有把Zookeeper的服务启动起来。 1 org.apache.zookeeper.

java.net.UnknownHostException: master

1：如果你报这个错误，第一反应应该是本地的host文件没有配置服务器名称和对应的ip地址，这个反应就对了。贴一下错误和解决方法： 1 java.net.UnknownHostException: master 2 at java.

Give root password for maintenance(or type control -D to continue)

2017-09-30 18:12:08 1：错误如图，本来开机准备用一下虚拟机，就出现一个这，为啥记录一下呢，因为网上好多不是很靠谱。 原因可能是之前关闭虚拟机的时候不小心出现异常了： 2：解决办法： 　　个人根据自己的磁盘分区情况，进行修复即可； 解决方法，在鼠标停留的地方输入...

软件自动化部署脚本

2017-11-16 20:19:53 1：设计思路： 　　（1）软件自动化部署脚本，即在一台虚拟机运行脚本，就将其他虚拟机上面的软件安装好了； 　　（2）而前提是自己的机器搭建好了yum网络版仓库（本地yum仓库的安装配置，如果没网了，做一个局域网内的yum仓库），这样在一台机器上面运行脚本...

关于yum网络版仓库（本地yum仓库的安装配置，如果没网了，做一个局域网内的yum仓库）

2017-11-13 22:49:48 1：两种方式：  　　a、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/　　b、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库，然后将其发布到web服务器中，其他节点就可以通过http:/...

一脸懵逼学习keepalived（对Nginx进行热备）

1：Keepalived的官方网址：http://www.keepalived.org/ 2：Keepalived：可以实现高可靠； 　　高可靠的概念： 　　　　HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。

一脸懵逼学习Nginx及其安装，Tomcat的安装

1：Nginx的相关概念知识： 　　1.1：反向代理： 　　　　反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。

一脸懵逼学习Linux的Shell编程

1：什么是Shell？？？ （1）Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell（2）Shell也是一门编程语言，即shell脚本（3）一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的sh...

一脸懵逼学习KafKa集群的安装搭建--（一种高吞吐量的分布式发布订阅消息系统）

1：KafKa的官方网址：http://kafka.apache.org/ 开发流程图，如： 2：KafKa的基础知识： 2.1：kafka是一个分布式的消息缓存系统2.2：kafka集群中的服务器都叫做broker2.

一脸懵逼学习Storm的搭建--（一个开源的分布式实时计算系统）

Storm的官方网址：http://storm.apache.org/index.html 1:集群部署的基本流程(基本套路)： 集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群;  1：安装一个zookeeper集群，之前已经部署过，这里省略，贴一下步骤； 安装配置zooekeeper集群：        1.

一脸懵逼学习HBase的搭建（注意HBase的版本）

1：Hdfs分布式文件系统存的文件，文件存储。 2：Hbase是存储的数据，海量数据存储，作用是缓存的数据，将缓存的数据满后写入到Hdfs中。 3：hbase集群中的角色： 　　（1）、一个或者多个主节点，Hmaster； 　　（2）、多个从节点，HregionServer；  1...

一脸懵逼学习HBase---基于HDFS实现的。（Hadoop的数据库，分布式的，大数据量的，随机的，实时的，非关系型数据库）

1：HBase官网网址：http://hbase.apache.org/ 2：HBase表结构：建表时，不需要指定表中的字段，只需要指定若干个列族，插入数据时，列族中可以存储任意多个列（即KEY-VALUE，列名称-列值）;一个value可以有多个版本，通过版本号来区分（时间戳） 3：要查询某一...

一脸懵逼学习Hive的元数据库Mysql方式安装配置

1：要想学习Hive必须将Hadoop启动起来，因为Hive本身没有自己的数据管理功能，全是依赖外部系统，包括分析也是依赖MapReduce； 2：七个节点跑HA集群模式的： 第一步：必须先将Zookeeper启动起来（HA里面好多组件都依赖Zookeeper）： 　　切换目录，启动Zookeeper（master节点，slaver1节点，slaver2节点）：.

一脸懵逼学习Hive的安装（将sql语句翻译成MapReduce程序的一个工具）

Hive只在一个节点上安装即可： 1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧： 2.

一脸懵逼学习Hive（数据仓库基础构架）

Hive是什么？其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端** Hive的自定义函数UDF* 1：什么是Hive（一）：　　（1）Hive 是建立在 Hadoop  上的数据仓库基础构架。

一脸懵逼学习Hdfs---动态增加节点和副本数量管理（Hdfs动态扩容）

1：按照上篇博客写的，将各个进程都启动起来： 集群规划：    主机名        　　IP                　　安装的软件                    　　　　运行的进程   master     192.

一脸懵逼学习Hadoop分布式集群HA模式部署（七台机器跑集群）

1）集群规划：主机名       　　 IP      安装的软件                    　　运行的进程master    192.168.199.130   jdk、hadoop                    　　NameNode、DFSZKFailoverController(zkfc)slaver1    192.

一脸懵逼学习Hadoop-HA机制（以及HA机制的配置文件，测试）

1：能否让两个NameNode都正常影响客户端请求？ 　　应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求，相应请求的必须为Active状态的那一台。 2：standBy状态的节点必须能够快速无缝的切换为active状态： 　　意味着两个NameNode必须时刻保持元数...

一脸懵逼学习Zookeeper（动物园管理员）---》高度可靠的分布式协调服务

 1：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 　　A、zookeeper是为别的分布式程序服务的 　　B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，Zookeeper就能正常服务） 　　C、Zookeeper所提供的服务涵盖：...

一脸懵逼搭建Zookeeper分布式集群

1：首先将http://zookeeper.apache.org/ 　　下载好的zookeeper-3.4.5.tar.gz上传到三台虚拟机上，之前博客搭建好的（安装Zookeeper之前记得安装好你的jdk哦）。

一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）

1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

一脸懵逼学习Hadoop中的MapReduce程序中自定义分组的实现

1：首先搞好实体类对象： 　　write 是把每个对象序列化到输出流，readFields是把输入流字节反序列化，实现WritableComparable，Java值对象的比较：一般需要重写toString(),hashCode(),equals()方法 1 package com.