http://liujiacai.net/
<div class="markdown_views"> <p>在 Hive 0.14 之前,Hive QL 一直不支持insert、update、delete 操作,这显然很不方便,尤其是在构建数据仓库的过程中,一个比较常见的例子是<code>维度表</code>经常需要更新某列,在 Hive 中需要更新历史所有数据,这显然是不合理的。</p> <p>在 Hive 0.14
<div class="markdown_views"> <p>## 引言 <br> shell这门语言,作为与Linux交互效率最高的工具,我相信每个code monkey在工作中或多或少都会用到;我今天要讲的是这门语言中最基本的部分——变量。shell中的变量与类C语言差异较大,相信大家看完后都会有所收获。</p> <h2 id="语法">语法</h2> <p>在she
<div class="markdown_views"> <p>本文原发于我的<a href="http://liujiacai.net/blog/2015/02/01/javascript-oop/">个人博客</a>,经多次修改放到csdn上,主要是做备份用,为了更好的阅读体验,请到我的个人博客上阅读。</p> <hr> <p>最近工作一直在用nodejs做开发,有了no
<div class="markdown_views"> <p>接触过hadoop的人都知道hadoop的搭建过程非常麻烦,尤其是对于初学者,幸运的是有cloudera这样的公司为我们做了一些发行版,我们可以直接使用apt-get,yum等包管理工具进行安装。 <br> 下面我要说得是,在centos6.5 64位下,通过yum安装cdh5.1.0,需要注意的是5.1.0默认是
<p>本文内容来自man bash。</p> <h2>一. bash分类<br> </h2> <p>bash从不同角度看分为两种,一种是是否登录(login),另一种是是否交互式(interactive)。</p> <p>登录式shell是启动时:</p> <p>1. 第0个参数以“-”开头</p> <p>2. 或使用--login选项</p> <p>交互式shell是启动时:
<p><img src="http://img.blog.csdn.net/20140927094116390" alt=""></p> <p>1. ClientService</p> <p>应用提交、终止;传递应用、队列、集群统计、ACL信息,初此以外,还负责对连接过来的客户端做验证,一般用kerberos,或这自带的delegation token</p> <p>2. Admin
<p>ganglia英文意思是“中枢神经”,那么意思就很明显了,<a target="_blank" href="http://monitor.millennium.berkeley.edu/" rel="external nofollow" title="" class="ext-link" style="">UC Berkeley Grid</a> 搞出来的,用于监控集群状态的,而ha
<p>先看个yarn的整体架构<br></p> <p><img src="http://img.blog.csdn.net/20140818230608465" alt="" height="500" width="500"></p> <p><img src="http://img.blog.csdn.net/20141016120355251" alt=""><br></p> <p
<p><br></p> <p>今后这个博客不再更新,迁移至</p> <p><a target="_blank" href="http://jiacai2050.github.io/"><br></a></p> <h1> <a target="_blank" href="http://liujiacai.net/">http://liujiacai.net/</a><br> </h1>
<p>目前公司使用gitlab搭建了git服务器,在此记录一下工作中经常要用的命令。</p> <p>git介绍最权威的当然还是官网,下面调重点来说:</p> <p>参考链接<a target="_blank" href="http://git-scm.com/book/zh/%E8%B5%B7%E6%AD%A5-Git-%E5%9F%BA%E7%A1%80">http://git-sc
<p><span style="font-family:System"></span></p> <p><span style="font-family:System">本篇文章记录工作中比较实用,能减轻工作量的bash命令。</span></p> <h3><span style="font-family:System">1.字符串截取</span></h3> <p><span sty
<p>这是cascading官方userguide的中文翻译,其中有些概念看过一段时间又忘了,在此做个记录,一是方便自己复习,二是方便新手。</p> <p>关于cascading我不想多说了,你如果写过原生mapreduce程序,然后再接触cascading,你会发现cascading Great job。它对Map和Reduce进行了高度抽象,用Tap、Pipe、Function、Op
<p>预告:先来一段长长的唠叨!</p> <p>作为一名比较能折腾的初级程序员,对一切都充满了好奇心,强迫症是个比较流行的词,我想我也应该是中毒份子吧。</p> <p>这几天在公司折腾环境,一直用的是ubuntu,很好很强大,但是用上两个显示屏后就变得特别慢(绝对无法忍受),ubuntu10.10后一直采用的事unity桌面,后来在google上发现原来是个bug(<a target=
<p><span style="font-family:KaiTi_GB2312"><span style="font-size:14px">如果你连vim都不知道是什么,那么请你不要再看下文。</span></span></p> <p><span style="font-family:KaiTi_GB2312"><span style="font-size:14px">本文主要适合听说
<p>最近一直用hadoop处理数据,处理完以后要对数据进行分析,由于我们的数据不是很大,每次我都是把要分析的文件从hdfs下载到本地,然后再用python、shell脚本进行分析与统计,那hadoop生态系统中都有什么数据分析工具呢,目前据我所知,有两个:pig和hive。因为pig我以前看过,需要用Pig Lation(pig自己的脚本语言),为了省事,我这次直接看基于sql语句的hi
<p>大家都知道ubuntu下office系列是用的libreoffice,我用这个打开一些word文档,然后这个word文档里面的格式就乱了,我很无言,于是想起来openoffice这个老牌软件,于是开始安装:</p> <p>1.首先去官网下载deb包:<a target="_blank" href="http://www.openoffice.org/download/other.h
<p><img src="http://blogread.cn/it/plugins/ueditor/php/upload/44051358316063.jpg" alt=""></p> <p><span style="font-size:18px">以前大家用的广告屏蔽软件或方法对于其他类的网站都可以,但唯独优酷不行,99%会出现上面那种情况。下面这个方法是从网上找的,可行,无广告干扰
<p><span style="font-size:18px">这个问题的答案来自于stackoverflow,老外人家回答问题就是细心、认真,学习一下。<br> A:Can anyone explain the difference between use and require, both when used directly and as:use and :require in t
java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)<br><span style="white-space:pre"></span>at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)<br>
<p>最近虽说到了考试周了,但还是忍不住会编一些程序,最近再看《JavaScript王者归来》一书,以前我就知道JavaScript这门语言十分的神奇,虽说直接用jquery来做应用比较简单,但是想完完整整了解这个语言的特性我还是差的太远了,不废话了,推荐大家都看看这本书。</p> <p>利用JavaScript的常见攻击有以下几种:</p> <p>1.伪造表单提交目的地,从而窃取数据
1:增加一个swift用户:<br><p style="text-indent:2em">sudo useradd -mk /home/swift -s/bin/bash swift</p> <p style="text-indent:2em">为swift用户添加密码:<br></p> <p style="text-indent:2em">sudo passwd swift</p>
<p style="margin-top:0px; margin-bottom:0px; padding-top:0px; padding-bottom:0px; color:rgb(69,69,69); font-family:Tahoma,Helvetica,Arial,STHeiti; font-size:14px; line-height:21px"> <strong>再用了ub
今年的蓝桥杯又已经结束了,做的还是不怎么样,很多题目不难但就是算不出最终的结果,很是纠结,看来路还很长,另外昨天(2013-5-7)也受到了也受到了微软的thank you letter了,哎,都是苦逼的一天。不说了,直接看题吧,如果你对我的做法有异议或者有更好的解法,请给我留言,我会及时更新~~~~~ <h1>1.高斯日记</h1> <p> 大数学家高斯有个好习惯:无论如何都要记日记
<p>最近一直在做hadoop的应用,但是无奈于并行加速比一直不理想,两台机器运行的时间和一台机器运行的时间差不多,老师还一直要这个数据,并行计算比至少应该为1.5,这样的并行程序才有意义。</p> <p>加了个qq群,发现了问题所在,再说我解决方法之前,先说一下我hadoop集群的配置:</p> <p>2台笔记本,其中1台为lenovo z460,CPU为Core i3,主机名为:l
<br><p>今年再次报名了蓝桥杯算法程序设计比赛,去年没能进全国赛区的比赛总觉得有些遗憾,虽说自己不是什么牛人,但是就凭借着我这一颗热爱编程的心,也该让我进的呀。。。<img alt="哭" src="http://static.blog.csdn.net/xheditor/xheditor_emot/default/cry.gif"></p> <p>废话不多说了,直接看题</p>
<p>最新一直在学一门很苦逼的课程《数值分析》,哎,高等数学没学好现在后悔了呀,哎回来再恶补,现在说正事。</p> <p>龙格库塔很牛掰的名字,是两个国外数学家的名字的合并,应该又是两个大牛。</p> <p>这个方法主要是用来解决微分方程的解,大体思路就是用差分代替微分。细节我就不说了,大家可以去百度,我这里直接给出龙格库塔家族的通式:</p> <p><img src="http:/
<p>我下面举的例子是在Thinking in Java中摘取的,讲的比较透彻,这里与大家一起分享。</p> <p></p> <pre name="code" class="java">package com.thinking.chapter4; class Bowl { public Bowl(int i) { System.out.println(i + " from Bo
<p>题目描述:</p> <p>设整型数组A中有n个元素,输出从这n个数中取出的k个数的所有组合(k<=n)。例如:若A中存放的数是1,2,3,4,5,k为3,则输出结果应为:123,124,125,134,135,145,234,235,245,345</p> <p>题目分析:</p> <p>从数组A中选出K(本题中k=3)个元素,为了避免重复和泄漏,可分别求出包括A[0]和
<pre name="code" class="cpp">#include <stdio.h> #define OUT 0 #define IN 1 int main(void) { int c,state,nl,nc,nw; state = OUT; nl = nw = nc = 0; while((c=getchar())!=EOF) { nc++; if
<p>最近一直再看《hadoop in action》这本书,这本书整体讲的不错,就是hadoop不同版本之间的区别比较大,大家学习时一定要用统一版本,否则事倍功半。</p> <p>书上第4章第四节讲的是版本间的区别,我这里简单整理一下:</p> <p>去hadoop的官网可以找到如下信息:</p> <p></p> <ul style=""> <li style="margin-t
<p>题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1003</p> <p></p> <pre name="code" class="cpp">#include <stdio.h> #include <string.h> #include <math.h> #define MAX 21 int a[MAX
<p>题目链接:</p> <p>http://acm.hdu.edu.cn/showproblem.php?pid=1002<br></p> <p><br></p> <pre name="code" class="cpp">#include <stdio.h> #include <string.h> #define MAX 1010 char a[MAX],
<p><span style="font-size:14px"><span style="color:#ff0000">视频演示:<a target="_blank" href="http://v.youku.com/v_show/id_XNTY4NDM3NDQ4.html">http://v.youku.com/v_show/id_XNTY4NDM3NDQ4.html</a></span
<p style="margin-top:1em; margin-bottom:0px; margin-left:0.8em; padding-top:0px; padding-bottom:0px; list-style-type:none; border:none; color:rgb(17,17,17); font-size:1.6em; line-height:28px; font
<p><span style="font-size:14px">首先说一下Hadoop中预定义的Mapper 与Reducer</span></p> <p><span style="font-size:14px"><img src="" alt=""><br></span></p> <p><span style="font-size:14px"><img src="http://img
<p><span style="font-size:14px">WordCount2中我们使用Hadoop框架中给我们提供的类来实现,我们的目的是用最少的代码来完成同样的任务</span></p> <p></p> <pre name="code" class="java">import java.io.IOException; import org.apache.hadoop.fs.P
<p><span style="font-size:14px">人们对于Mapreduce程序刚开始时都认为只需要一个reduce就够了。毕竟,在你处理数据之前一个reducer已经把数据都分好类了,有谁不喜欢分好类的数据呢。但是这样我们就忽略了并行计算的优势。如果只有一个reducer,我们的云计算就退化成了一个小雨点。</span></p> <p><span style="font-
<p><span style="font-family:Courier New; font-size:14px">mapreduce的过程是:</span></p> <p><span style="font-family:Courier New; font-size:14px">map:(k1,v1)------list(k2,v2)</span></p> <p><span style
<p>在这里记录下学习hadoop 的过程,并对重要内容记录下来,以备以后查漏补缺。</p> <p>要从Hadoop文件系统中读取文件,一般有两种方式:</p> <p>1.使用java.net.URL对象</p> <p></p> <pre name="code" class="java">package com.ytu.chapter3; import java.io.IOExc
<h2>1.颜色提示修改</h2> <p>大家用过ubuntu都知道在11.04后,ubuntu采用来unity这个桌面,无疑很多人不适应这个界面,但是对于开发人员来说,这些都是小事了,但是对于一个铁血java当来说,eclipse的提示颜色看不清这可真是要命了的,我结合网上的文章,自己探索一一种好用的方法。</p> <p><br></p> <p><span style="font-
<p style="margin-top:10px; margin-bottom:10px; padding-top:0px; padding-bottom:0px; color:rgb(51,51,51); background-color:rgb(248,248,248); text-indent:28px; font-family:宋体; font-size:14px; line-h
今天,在 ubuntu的软件源中添加了一个 virtualbox 的软件源,之后使用命令<br><table border="1" cellpadding="1" cellspacing="1" style="width:353px; height:30px"><tbody><tr> <td> sudo apt-get update</td> </tr></tbody></table>
<p><span style="font-size:14px">接触linux是从ubuntu这个分支开始的,刚开始用的是wubi安装,但是后来系统出了不少毛病,网上搜索人家建议不要wubi安装,wubi玩玩还可以,真正要用的时候还是不合适的,然后就有开始硬盘安装,这期间历经坎坷,试了很多的版本,包括长期支持的10.04、11.04、12.04,但是都是不稳定,不知道是我电脑的原因还是这个
<p><span style="font-size:18px">题目地址:</span></p> <p><span style="font-size:18px">http://acm.hdu.edu.cn/showproblem.php?pid=1004</span></p> <p><span style="font-size:18px">参考代码:</span></p> <p></
<strong>首先:</strong> <p>打开一个终端,输入 lsusb,就会看到当前连接电脑的所有USB设备,比如:</p> <p><span style="color:#ff0000">Bus 002 Device 003: ID 046d:c06a Logitech, Inc. </span> </p> <p><span style="color:#ff0000">Bu
<p>android系统管理联系人的URI如下<br> ContactsContract.Contacts.CONTENT_URI 管理联系人的Uri<br> ContactsContract.CommonDataKinds.Phone.CONTENT_URI 管理联系人的电话的Uri<br> ContactsContract.CommonDataKinds.Email.CONTEN
<p style="line-height:23px; font-family:Verdana; font-size:14px"><br></p> <p style="line-height:23px; font-family:Verdana; font-size:14px"> 数据挖掘非常清晰的界定了它所能解决的几类问题。这是一个高度的归纳,数据挖掘的应用就是把这几类问题演绎的一个过
<p style="line-height:23px; font-family:Verdana; font-size:14px">一直在做各种项目接各种需求,但你的代码能力得到提高了吗?不停的项目经历虽然能够增加你的代码行数,但不一定能提升你的代码质量,所以除了构建阶段的代码细扣,项目之后的代码总结是至关重要的。</p> <p style="line-height:23px; font-
<pre name="code" class="java"><pre name="code" class="java">package mars.listview; import java.util.ArrayList; import java.util.HashMap; import android.app.ListActivity; import android.os.Bundle
<p>Android provides user experience themes that give apps the look and feel of the underlying operating system. These themes can be applied to your app within the manifest file. By using these bui