专注于前后端服务器交互,人工智能,NLP领域
这里有几个主要关系: 1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。 2.ZooKeeper跟Hadoop Core、HBase有什么关系呢?ZooKeeper都提供了哪些服务呢?主
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA注意:apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 一.重新编译 原因是had
首先先安装好 thirft 1、添加依赖 jar <dependency> <groupId>org.apache.thrift</groupId> <artifactId>libthrift</artifactId> <version>0.8.0</version> &
简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 http://sqoop.apache.org/ 导出导入的数据与字段的顺序进行匹配
hive 的 表与hdfs数据关系映射放在元数据库中,也就是mysql中,而真正的数据放在 hdfs中,通过mysql中表 ,字段等与hdfs上数据的映射来查询 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快
要想讨论正确处理InterrupedtException的方法,就要知道InterruptedException是什么。根据Java Doc的定义Thrown when a thread is waiting, sleeping, or otherwise occupied, and the thread is interrupted, either before or during th
nohup ./start_navicat & 终端打开程序,关掉后程序退出 find . -name '*.exe' -type f -print -exec rm -rf {} \; 说明: find:使用find命令搜索文件,使用它的-name参数指明文件后缀名。 . :是当前目录,因为Linux是树形目录,所以总有一个交集目录,这里根据需要设置 '*.exe'
注意:如果A机器需要免密码登录B机器,则需要把A机器的公钥id_rsa.pub 加到 B机器的authorized_keys,不要弄反了 ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以CentOS为例。 有机器A(192.168.1.155),B(192.168.1.181)。现想A通过ssh免密码登录到B。 1.在A机
(1)把自定义模块的路径,导入sys.path,可以在任何地方直接导入自定义模块。 import sys print sys.path sys.path.append('/usr/local/pythonpath')(2)导入自定义包下的模块 包导入路径内的每个目录内都必须有__init__.py文件,__init__.py可包含python代码,但通常为空, 仅用于扮演包初始化
(1)spring 默认是单例, 单例情况下:所有线程对于同一个类共同拥有一个对象,此时如果在类里面创建一个类变量如下 由于所有线程共享一个类对象,所以也共享一个类变量,每次请求都会增加 @Controller @RequestMapping("/user") public class User { private int i=0;//类变量 @RequestMapp
1、下载解压phantomjs文件,并设置环境变量, 本人的phantomjs 是直接下载的phantomjs压缩文件,直接解压的,需要把它加入环境变量,不然pyspider 运行时找不到phantomjs (1)编辑 /etc/profile 在最后加入export PATH=${PATH}:/usr/local/soft_download/python_file/phanto
(1) easy_install:yum install python-setuptools 使用 命令: 安装:easy_install pyspider 删除:easy_install -m pyspider 升级:easy_install --upgrade pyspider (2) pip : yum install python-pip 使用命令: 安装
(1)jd-gui (2)小颖java 反编译 本人试过jd-gui ,反编译还不错,但是碰到匿名内部类会出错。 小颖反编译 同事使用过,说还不错。 下面是收集于网上 今天我们要来分享一些关于Java的反编译工具,反编译听起来是一个非常高上大的技术词汇,通俗的说,反编译是一个对目标可执行程序进行逆向分析,从而得到原始代码的过程。尤其是像.NET、Java这样的运行在虚拟机
MySQL 的默认设置下,当一个连接的空闲时间超过8小时后,MySQL 就会断开该连接,而 c3p0 连接池则以为该被断开的连接依然有效。在这种情况下,如果客户端代码向 c3p0 连接池请求连接的话,连接池就会把已经失效的连接返回给客户端,客户端在使用该失效连接的时候即抛出异常 解决这个问题的办法有三种: 1. 增加 MySQL 的 wait_timeout 属性的值。 修改 /et
1、下载phantomjs linux版本 解压即可 单独使用方法:../bin/phantomjs create_img.js xxx.com(可选) 示例,抓取网页截图: 建立一个pageload.js文件 编写以下js var page = require('webpage').create(); page.open('http://
phantomjs安装 phantomjs 是一款基于webkit的无界面浏览器,提供多种js api;可以方便的进行扩展: yum --skip-broken install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 wget https://bitbucket.org/ariya/phantomjs/d
1. 下载破解文件 crack , 注意下载后里面有crack.jar 2. 关闭myeclipse,运行crack 命令:java -jar crack.jar 注意要先配置java环境 java -version 查看版本 3. 按步骤走 点击 systemId可能会出现错误, (1)如找不到主机bogon,可以编辑 /etc/hosts 加上一行
拦截固定后缀 匹配url正确配置为 /**/*.htm 错误:**.htm /**.htm *.htm <mvc:interceptors> <!-- <bean class="com.host.app.web.interceptor.AllInterceptor"/> --> <mvc:interce
(1)加上produces = {"application/json;charset=UTF-8"} @RequestMapping(value="/birthday.chtm",produces = {"application/json;charset=UTF-8"}) (2)在spring-mvc.xml中配置 注意 4+版本的spring-mvc要使用 ht
一、确定python版本在2.7及以上 强烈建议升级python2.7后再安装pip与setuptools,如果不这样操作会出现很多莫明的问题,让你酸爽到天明!! 如果你是升级到python2.7,更大的可能性是全部通过python setup.py 编译安装,所需要的包含但不限于这些包 lxml,zope.interfac
获取Python 3.4.3 通过官网https://www.python.org/downloads/下载Python 3.4.3源码; 源码获取命令如下:wget https://www.python.org/ftp/python/3.4.3/Python-3.4.3.tgz 2 安装Python 3.4.3 1、解压Python 3.
CORS介绍 它在维基百科上的定义是:跨域资源共享(CORS )是一种网络浏览器的技术规范,它为Web服务器定义了一种方式,允许网页从不同的域访问其资源。而这种访问是被同源策略所禁止的。CORS系统定义了一种浏览器和服务器交互的方式来确定是否允许跨域请求。 它是一个妥协,有更大的灵活性,但比起简单地允许所有这些的要求来说更加安全。 而W3C的官方文档目前还是
首先 安装 openssl :yum install openssl 第一步:生成证书 1)创建保存证书的目录:mkdir -p /usr/local/ssl 2) 生成证书: 首先,进入你想创建证书和私钥的目录,例如: # cd /usr/local/ssl 创建服务器私钥,命令会让你输入一个口令: # openssl genrs
首先 安装 openssl :yum install openssl 1:: 证书 1)创建保存证书的目录:mkdir -p /usr/local/ssl 2) 生成证书: 首先,进入你想创建证书和私钥的目录,例如: # cd /usr/local/ssl 创建服务器私钥,命令会让你输入一个口令: # openssl genrsa -des3
1.安装前准备 准备tomcat压缩包 jdk 压缩包 2.安装jdk (1)解压即可 (2)用文本编辑器打开/etc/profile ·在profile文件末尾加入: export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HO
线程 (1)在catch(){} 中的语句要保证不会出现异常,或者catch中的语句再次捕获了异常, (2) 线程中try中的语句出现异常,会直接跳过try中的sleep,导致不停地循环 (3)线程的while循环中如果不适用try catch 会导致当出现异常时,线程直接挂掉, package com.hlzt.wx.thread; import java.util
1、 log4j 打印sql 要把日志等级调成debug才会显示sql log4j.rootLogger=info,Console Console log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.Console.layout=org.apache.log4j.Patt
我们在spring mvc 中controller方法中的参数,spring mvc会自动为我们进行数据绑定。 spring mvc 方法中不一定要全部都有 form表单提交的属性, 也可以有 请求属性中 没有的参数(这时候只会把对应不上的参数设为null),这两种情况都不会报错。 但是有几种情况会报错,可能会提示HTTP status 400, The request sent b
package com.hlzt.wx.util.http; import org.apache.http.client.methods.HttpGet; import org.apache.http.client.methods.HttpPost; import org.apache.http.impl.client.DefaultHttpClient; import com.hl
1,多数情况下是连接数据库时出现问题, 2,如果使用mybatis 请查看 xml映射文件是否和对应的java 的dao文件名字相同,或者<mapper namespace="com.hlzt.wx.dao.TextReplyDao" > <resultMap id="BaseResultMap" type="TextReply" > 的命名空间 com.hlz
输入法盖住文本框 解决办法:把文本框外的div设置成固定定位 fixed 输入框文本时时变化激发的方法 :onpropertychange="***"兼容ie 。 oninput="***"兼容非IE,两者可同时使用
XStream是thoughtworks公司发布的一个简单的Java类库,用于将JavaBean序列化为XML,并且能够将XML文件反向转换为JavaBean. 实例: user.java [java] view plain copy import java.io.Serializable; public
首先按照下面的方法打开powershell工具 点击“开始”菜单,然后再弹出功能中,点击“运行”,在打开的“运行”对话框中输入powershell并回车就可以打开powershell工具了 powershell工具打开后就如下图所示了,第一眼给人的感觉是这就是cmd命令行工具,呵呵,其实并不是的,只
注意不管是重写还是redirect重定向,匹配的url都要写成当前网站的url,也就是真是真实可以访问的,如当前网站ip为127.0.0.1,可以写成^127.0.0.1$ (1)url重写(可以实现伪静态) IIS实现反向代理 新建两个站点,端口分别使用 80 和 81,在DNS中新建A记录,指向该计算机(10.4.34.41) 配置过程如下: 1.在Wind
重定向作用: 重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置。举例说明:就像我XX公司,之前用的网络域名是“www.bb.com”,但是后来他们申请到了新的域名“www.ff.com”,但是你会发现当你输入之前的地址域名时候,仍然可以用,只不过他跳转到了新域名的地址下了。这也就是重定向后的作用之一。 设置步骤: IIS6下 1、
1.当使用游标赋值结果集时,变量名不能使用列明,不然赋值为null BEGIN DECLARE stopindex INT DEFAULT 0; DECLARE id1 int; DECLARE title VARCHAR(1000); DECLARE description VARCHAR(1000); DECLARE insertdate DATETIME; DECLARE
一、 Mybatis+Ehcache配置 为了提高MyBatis的性能,有时候我们需要加入缓存支持,目前用的比较多的缓存莫过于ehcache缓存了,ehcache性能强大,而且位各种应用都提供了解决方案,在此我们主要是做查询缓存,提高查询的效率. 整合MyBatis和ehcache需要的jar包如下: ehcache-core-2.4.4.jar
pom构建: [html] view plain copy print? <modelVersion>4.0.0</modelVersion> <groupId>com.x.redis</groupId> <artifactId>springredis&l
redis 命令可以去菜鸟教程http://www.runoob.com/redis/redis-tutorial.html 或者以下地址去学习http://www.cnblogs.com/huangxincheng/category/755864.html redis在linux下的安装及启动 下载地址:http://redis.io/download,下载最新文档版本
(1) 当使用mysql数据库时,要确定五个编码。(1)首先我们要设置数据库的编码;(2)然后确定程序中的请求和响应的编码和数据库一致;(3)连接数据库的编码和数据库一致,jdbc:mysql://127.0.0.1:3306/数据库名?useUnicode=true&characterEncoding=utf-8(注意这句话一定不要写错了)(4)页面编码和数据库一致。
首先提示一点,当使用新增用户登陆失败: root@controller:~# mysql -h localhost -ukeystone -ppassword ERROR 1045 (28000): Access denied for user 'keystone'@'localhost' (using password: YES)解决方法: 增加普通用户后,执行: mysq
一、发现问题 在eclipse中新建Dynamic Web Project,配置好本地的tomcat并写好代码后选择Run on Server,但运行后发现在tomcat的安装目录下的webapps并没有出现所建立的工程名字。 二、验证 很明显项目并没有自动部署到Tomcat的Webapps中而是部署在了别的容器中。在内置浏览器中输入http://localhost:808
<properties> <dev.version>0.0.1-SNAPSHOT</dev.version> <!-- 主要依赖库的版本定义 --> <spring.version>4.0.4.RELEASE</spring.version> <spring-asm.version>3.1
所有项目都依赖这个父项目 父项目 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.
本人使用的版本是navicat_for_mysql_10.0.11_cn_linux,使用官网上下的11版本的无法打开 注意解压目录不要放在中文目录下,会出现各种问题,本人就出现打开之后添加列名添加不上。 (1).先安装wine环境 yum install wine 如果yum源中没有,可以使用下面这个源 wget http://download.fedoraproject.
mangodb可以有多个instance,一个instance可以有多个database, database又可以有多个collection,每个collection也可以有多个document 1、文档(Document) mongoDB的基本单位,相当于关系数据库中的行。它是一组有序的key/value键值对, 使用json格式,如:{"
本文是基于 3.2 版本 的命令行配置 的说明总结 mongod.lock 再次打开mongdb,若数据库出现如不能连上,提示***.lock,则是一个data目录下的mongod.lock文件的问题, 可以用如下的修复的命令, mongod --repair 查看查询效率 查看查询效率时使用explain();里面可以看到是否使用了索引查询,使用了什么索引,及查询耗时等属性
本文使用的是最新的3.0版本驱动包。maven地址 <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</artifactId> <version>3.0.0</version> </depend
要说嵌入式运行Jetty,最常用的还应该是运行一个标准的war文件或者指定一个webapp目录。 0. 首先需要添加Jetty运行时webapp的依赖包,下面是一个完整的pom.xml文件 [html] view plain copy print? <project xmlns="http://maven.apache.o
spring 配置 注意红色字体 (1)懒加载要设为true,(2)引入配置文件 注意不能懒加载不能设为false,否则$不能引入配置文件中的变量 第一种配置 jdbc连接池 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/b