哈沙给
哈沙给_个人页
哈沙给
文章
1100
问答
0
视频
0
个人介绍
渣渣一枚
擅长的技术
-
发表了文章 2016-11-30
linux中nc详解
|是管道符号，表示左边的输出作为右边的输入。 1、TCP端口扫描 # nc -v -z -w2 127.0.0.1 1-100 Connection to 127.0.0.1 22 port [tcp/ssh] succeeded! Connection to 127.
-
发表了文章 2016-11-29
linux设置所有slave节点和master节点时钟同步
..
-
发表了文章 2016-11-29
ZooKeeper分布式集群安装
我特意选择了稳定版...... 奇数意思是说奇数和偶数对故障的容忍度是一致的....所以建议配置奇数个，并不是必须奇数... 一、master节点上安装配置 1、下载并解压ZooKeeper-3.
-
发表了文章 2016-11-29
交叉链表公共结点
考虑链表的单向性，因此两个相交的链表应该呈现出Y开状，而不是X形状，即第一个交点后的长度相同，这样通过遍历两个链表可以判断开头部分的长度之差。设链表A – B = M，则先让A链表先遍历M的结点，然后A，B两链表同时遍历，比较两个结点，第一个相同的结点则为第一个交点。
-
发表了文章 2016-11-24
如何运行Spark程序
[hxsyl@CentOSMaster spark-2.0.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.0.2.jar 注意在hxsyl下，在root下运行提示hdfs上的historyserverforSpark没有权限，擦，好奇怪啊，另外运行后在hdfs上查看结果spark的用户是dr.who没有权限，fuck，奇葩。
-
发表了文章 2016-11-24
Hadoop2.x Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp"
在hadoop2中查看网页中的/tmp目录出现下面的错误： Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp" 修改权限就好了。
-
发表了文章 2016-11-24
Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
以前hadoop也有这个问题，没注意，用spark也提示，解决一下。 首先找到对应自己hadoop版本的的lib包，编译好后，名字类似hadoop-native-64-2.4.1.tar ，放到lib下的覆盖native。
-
发表了文章 2016-11-22
Jquery打叉怎么办
选中报错文件右键MyEclipse>Exclude From xxxx
-
发表了文章 2016-11-22
Hadoop中JAVA不经过Catch(Exception e)直接到finally或者退出原因
原来是被变成Throwable抛出来了！而Exception是Throwable的子类，所以无法捕捉到，只有捕捉Throwable的时候，才可以将错误信息打印！
-
发表了文章 2016-11-22
Namenode主节点停止报错 Error: flush failed for required journal
主节点间歇性报错其他没有问题 ，SNN的NN没有问题，相关的journalNode也都在，就是主节点的NN会停止。 查看hadoop主节点的NN日志。 2016-11-21 22:36:40,908 WARN org.
-
发表了文章 2016-11-22
SCP注意事项
scp hdfs-site.xml hxsyl@192.168.58.181:/home/..../etc/hadoop/ 中间路径省略了，刚开始没加冒号提示同样的文件，还以为是scp需要特殊指令才能复制同样的文件，查了发现不是，下面还有个提醒是hxsyl@...不是目录，这就奇怪了，吧注解当成目录了，然后发新啊少了冒号。
-
发表了文章 2016-11-21
MapReduce实现WordCount
package algorithm; import java.io.IOException; import java.util.StringTokenizer; import org.
-
发表了文章 2016-11-20
Linux 输出重定向>和>>的区别
>是定向输出到文件，如果文件不存在，就创建文件；如果文件存在，就将其清空；一般我们备份清理日志文件的时候，就是这种方法：先备份日志，再用`>`，将日志文件清空（文件大小变成0字节）； >>这个是将输出内容追加到目标文件中。
-
发表了文章 2016-11-17
linux远程登陆其他主机并执行命令的若干方式
一、命令行登陆 ssh后，一定后边加双引号 写命令，否则命令实在本地执行的，多条命令的话用双引号隔开， ssh user@remoteNode "cd /home ; ls" 二、脚本登陆 #!/bin/bash ssh root@192.
-
发表了文章 2016-11-17
linux中sh基本语法
介绍：1 开头程序必须以下面的行开始（必须方在文件的第一行）：#!/bin/sh 有人说是bash符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。
-
发表了文章 2016-11-17
linux授予文件执行权限
chmod u+x 文件 u表示文件所有者
-
发表了文章 2016-11-16
Hadoop设置环境变量注意事项
路径是/etc/profile。 这个东西不能再普通下设置，打开是彩色的，即便是“:wq!”也不能保存，必须去root下，黑白的。 然后root下source /etc/profile,然后exit，source /etc/profile，这样在普通用户下就生效了。
-
发表了文章 2016-11-16
FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:hdfs:192.*
运行的参数配置 hdfs:192.168.58.180/cf/userItem.txt 应该写成 hdfs://192.*
-
发表了文章 2016-11-16
上传文件到hdfs注意事项
我在MapReduceInput下创建CFItemSet文件夹，下面有itemSet.txt。 我想上传到cf下，然后想着hdfs上会显示cf/itemSet.txt。 hdfs dfs -put itemSet.txt /cf 但是发现hdfs上只有cf文件，注意并不是文件夹，好奇怪，只能先删除（否则提示cf已存在）再重新上川。
-
发表了文章 2016-11-14
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
16-11-14 21:23:41,540 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: starting log segment 4234 failed for required journal (JournalAndStream(mgr=QJM to [192.
-
发表了文章 2016-11-14
Hadoop jobhistory历史服务器
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 $ sbin/mr-jobhistory-daemon.sh start historyserver 这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。
-
发表了文章 2016-11-14
Invalid initial heap size: -Xms
-Xxs512m注意 Xxs 和 512m中间无空格就行了。
-
发表了文章 2016-11-14
hdfs删除文件夹
hdfs dfs -rm -r /hxsyl
-
发表了文章 2016-11-14
Matlab中cell存储为txt
clc clear all [data1,data3]=textread('E:\RSWeb\mahoyt数据集\movielens\u.user','%s%*d%s%*s%*s','delimiter', '|'); fuhao = cellstr(repmat(',',length(d...
-
发表了文章 2016-11-14
Matlab以特殊分隔符写入txt（dlmwrite）
clc clear all load('E:\RSWeb\mahoyt数据集\movielens\u.data'); dlmwrite('E:\RSWeb\mahoyt数据集\movielens\newdata.txt',u(:,[1 2 3]) , ','); 原始数据是1 23 4 78675645，表示用户1对项目23的平分为4，评分的unix时间为78675645。
-
发表了文章 2016-11-14
Matlab读入含有特殊分隔符的文件（textread）
笔者在此基础上进行运行，修改得到以下内容，希望大家给与补充： textread 基本语法是： [A,B,C,…] = textread（filename,format） [A,B,C,…] = textread（filename,format,N）其中filename就是文件名， format就是要读取的格式，A,B,C就是从文件中读取到的数据。
-
发表了文章 2016-11-13
Matlab中fsolve传递系数变量
比如AX= b，求解x，但是要找不同b下的x，100个b。 fsolve（‘fun，[X0,b]）这样是不行的，因为这样的话b也当成了变量，也会变。 两种方法 1.全局变量 global b;多个的话 中间用空格不用都好。 2.函数句柄 @一直无法识别。 全局变量挺好用的。
-
发表了文章 2016-11-10
MongoDB安装与启动
我本人电脑是win8系统64位，下载64位的zip包，下载完成后解压缩到D:\MongoDB目录 创建数据库目录D:\MongoDB\data，接下来打开命令行窗口，切换到D:\MongoDB\bin 目录执行如下命令： 其中 --dbpath是指定数据库存放目录，这里要注意有两个 "-" ...
-
发表了文章 2016-11-10
The user operation is waiting for "Building workspace" to complete
1.选择菜单栏的“Project”,然后把菜单栏中“Build Automatically”前面的对钩去掉。 2.当你修改或添加代码后，选择菜单栏的“Project”,然后选择菜单栏中“Build All”就可以再次编译了。
-
发表了文章 2016-11-08
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
[hxsyl@CentOSMaster hadoop-2.6.4]$ mahout MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
-
发表了文章 2016-11-08
Maven配置不成功
配置了MAVEN_HOME，新建了java文件，在d:/java/MAVEN_HOME/apach....，path下输出%MAVEN_HOME%bin，为什么cmd下mvn不行呢？因为MAVEN_HOME最后多加了个分好，那么path下就是 d:/java/MAVEN_HOME/apache-maven-3.
-
发表了文章 2016-11-08
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava
这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样 需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上将其替换
-
发表了文章 2016-11-07
Slave2: no datanode to stop（权限）
有些datanode没有启动，要么是id不一致，我删除了还是不行，要么是权限问题，我邮件属性查看权限，发现不是hxsyl组，我删除，重建。
-
发表了文章 2016-11-07
HA模式手动切换namenode状态
查看状态 hdfs haadmin -getServiceState nn1 有时候通过网页访问两个namenode的http-address，看到默认的主namenode状态变成了standy，这时可以通过下面命令来实现主namenode的状态切换成active。
-
发表了文章 2016-11-03
ResourceManager没启动
终端看着没问题，然后进入hadoop的logs文件夹下找打yarn-hxsyl-resoucemanager.log，发现里面报错了，是因为fairscheduler需要放在etc/hadoop下，我把它放在了etc下，尴尬。
-
发表了文章 2016-11-03
Slave2: no datanode to stop（HADOOP_PID_DIR）
HADOOP_PID_DIR 本想在环境变量里设置，在相关文件里直接尹用，但是我想起来那时候的JAVA_HOME都不行，还是一个一个设置吧。 有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，因为基于java开发的程序，想要停止程序，必须通过进...
-
发表了文章 2016-11-03
sbin/hadoop-daemon.sh: line 165: /tmp/hadoop-hxsyl-journalnode.pid: Permission denied
原来在logs下 该权限，还是不行，以root登陆可以了，但是其他节点是普通用户啊，还会出其他问题，仔细看是/tmp，就是linux根目录下的tmp，改他的权限吧，不知道重启会不会变化。
-
发表了文章 2016-11-03
linux中授予普通用户root权限
本来也更改了/etc/passwd，改成0:0淡水其他地方又出问题，所以又改回来了。 chown -R hxsyl .Spark_Relvant 当前在hadoop-2.6.4下，‘.’表示当前目录。
-
发表了文章 2016-11-02
主机和虚拟机能相互ping通但是不能复制
1.本机能ping通虚拟机 2.虚拟机也能ping通本机 3.虚拟机能访问自己的web 4.本机无法访问虚拟己的web 后来发现是防火墙将80端口屏蔽了的缘故。 检查是不是服务器的80端口被防火墙堵了，可以通过命令： telnet {服务器ip}80 来测试。
-
发表了文章 2016-11-01
Linux中/etc/hosts文件总是被自动修改
关闭NetworkManager服务即可。 临时关闭： service NetworkManager stop 永久关闭： chkconfig NetworkManager off 在centos6.x系列Linux版本修改完/etc/hosts之后重启被修改，是由于NetworkManager服务，关闭后再修改hosts文件，重启就不会变回去了。
-
发表了文章 2016-11-01
警告 “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”
http://blog.csdn.net/sagaryu/article/details/52137989 我的是2.6.4，用上面链接提供的编译好的资源覆盖原来的就好了。 不管也没事。 就是因为系统位数问题。
-
发表了文章 2016-11-01
Hadoop启动报Error: JAVA_HOME is not set and could not be found解决办法
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法： 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
-
发表了文章 2016-11-01
Linux下更改目录及其下的子目录和文件的访问权限
做hadoop时候原来吧hadoop文件按照root下考过来的，现在普通下，启动hdfs的时候无法访问，想着更改一下权限， 想一次修改某个目录下所有文件的权限，包括子目录中的文件权限也要修改，要使用参数－R表示启动递归处理。
-
发表了文章 2016-11-01
SSH无密码登陆Agent admitted failure to sign using the key
A :CentOS_Master B:Slave_1 C:Slave_2 普通用户hxsyl 1.现在A 上 ssh-keygen -t rsa 一路回车，不需要输入密码 执行该操作将在/home/hxsyl/.
-
发表了文章 2016-11-01
linux中/和/root（~） 和 /home
winodws是森林型目录结构，它有很多根，如C、D、E、F等都是它的根目录，然后在其实创建子目录linux是树型目录结构，它只有一个根就是/目录，然后在/目录在有子目录如/root、/home、/etc/、/bin等。
-
发表了文章 2016-11-01
更改虚拟机名字（其实是主机名）
直接百度更改虚拟机名字的胡出来的是左侧，那不是需要的，其实我们要的是更改主机名，是有车的。 [root@SY-0130 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=SY-0130
-
发表了文章 2016-11-01
VMware“该虚拟机似乎正在使用中”问题
在用VMware虚拟机的时候，有时会发现打开虚拟机时提示“该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权。否则，请按“取消(C)”按钮以防损坏。
-
发表了文章 2016-11-01
虚拟机克隆后找不到eth0
使用 VMware 虚拟机的克隆功能，快速复制已安装好的 Linux 系统。 克隆完成之后，发现没有 eth0 网卡。 【解决方法】 1. 编辑 /etc/udev/rules.d/70-persistent-net.
-
发表了文章 2016-11-01
linux永久更改eth0的ip地址后仍然ping不通过
编辑文件/etc/sysconfig/network-scripts/ifcfg-eth0 引用:DEVICE=eth0 //设备名称，不要修改 BOOTPROTO=static //不要修改 BROADCAST=10.
-
发表了文章 2016-11-01
linux永久更改eth0的ip地址
linux中永久修改ip和子网掩码，可以用命令也可以直接到文件里修改。这里推荐直接到文件中修改。1、进入网卡配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ethN (ifcfg-ethN是你要修改的网卡，可以用ifconfig查看你要修改的网卡）2、进入文件进行编辑，更改其中的ip 和子网掩码。
暂无更多信息
-
发表了文章
2017-11-02
数据处理不等式：Data Processing Inequality
-
发表了文章
2017-04-12
JSP显示页面和数据库乱码
-
发表了文章
2017-03-17
Sqoop导入到hdfs
-
发表了文章
2017-03-17
sqoop导出到hdfs
-
发表了文章
2017-03-15
Sqoop: ERROR manager.SqlManager: Error reading from database: java.sql.SQLException:
-
发表了文章
2017-03-15
Sqoop找不到主类 Error: Could not find or load main class org.apache.sqoop.Sqoop
-
发表了文章
2017-03-04
[YARN] 2.2 GB of 2.1 GB virtual memory used. Killing container.
-
发表了文章
2017-03-04
设置Tab键缩进2字符
-
发表了文章
2017-03-03
linux中apt-get和yum和wget的区别
-
发表了文章
2017-03-02
linux命令行下修改系统时间、时区
-
发表了文章
2017-02-27
linux设置命令行启动
-
发表了文章
2017-02-27
linux下授予某用户对某文件夹的读写权限
-
发表了文章
2017-02-27
如何运行Hadoop自带的例子
-
发表了文章
2017-02-26
Visio中如何绘制黑白图像
-
发表了文章
2017-02-25
Word中如何从某一页重新开始页码
-
发表了文章
2017-02-25
如何用visio（word）绘制图片表格
-
发表了文章
2017-02-25
如何调整word中表格某一列占半分比
-
发表了文章
2017-01-10
win开启远程链接（可以被连接）
-
发表了文章
2017-01-06
Office2016打开doc字符间距过小
-
发表了文章
2016-12-26
word中公式居中标号没有右对齐
滑动查看更多
暂无更多信息
暂无更多信息