松伯
松伯_个人页
松伯
文章
187
问答
0
视频
0
个人介绍
技术专家 专注于大数据领域 博客园地址：https://www.cnblogs.com/yangsy0915/
擅长的技术
-
发表了文章 2015-11-05
Redis常用方法
首先构建非切片连接池jedisPool对象，写好配置redis连接的方法。 /** * 构建redis切片连接池 * * @param ip * @param port * @return JedisPool */ ...
-
发表了文章 2015-11-04
用两个栈实现队列
用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。 队列嘛，先进先出，栈嘛，先进后出。 于是乎，把第一个栈扔满，然后再一一放到另一个栈中，然后再一一取出来。 没了- - public class reconstructionQueue { ...
-
发表了文章 2015-11-03
Spark1.4启动spark-shell时initializing失败
错误信息如下: 5/11/03 16:48:15 INFO spark.SparkContext: Running Spark version 1.4.1 15/11/03 16:48:15 WARN spark.
-
发表了文章 2015-11-03
从尾到头打印链表
输入一个链表，从尾到头打印链表每个节点的值。 public class ListNode { public int data; public ListNode next = null; public ListNode(int data){ this.
-
发表了文章 2015-11-02
Hbase的安装（hadoop-2.6.0,hbase1.0)
Hbase的安装相对很简单啊。。。只要你装了Hadoop 装Hbase就是分分钟的事 如果要装hadoop集群的话 hadoop分类的集群安装好了，如果已经装好单机版~ 那就再配置如下就好~ 一、vi ~/.
-
发表了文章 2015-11-02
执行sh文件 进行MongoDB的业务逻辑导入
将从HDFS中的数据转化为Json格式写入文件后，十个文件的文件名为 文件名_01 ...._02 ....03格式。 编写个简单的sh文件 通过for do循环让i+1 文件名对应上就可以的- -执行时要传入文件名称以及需要导入的数据文件的路径，之所以要传进去 也是为了方便项目后续更改目录嘛~ .sh文件： 然而并没有什么乱用！ 发现 ./mongo -h 10.1.235.62 -port 27017 --eval "db."${name}".drop()" 不管用！ 是--eval的问题。
-
发表了文章 2015-11-02
Scala第二章学习笔记
最基本的练习~: 使用伴生对象： object holder{ class Foo{ private var x = 5} object Foo{def im_in_yr_foo(f: Foo) = f.x} } import holder.Foo val x = new Foo Foo.im_in_yr_foo(x) 基本的会话: Scala的if块是个表达式。
-
发表了文章 2015-11-02
替换空格
请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。 方法1:replace函数 public String replaceBackend(String word){ String a = word.
-
发表了文章 2015-11-01
二维数组中的查找
在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。 public class sort{ public boolean Find(int [][] array,int target){ int a = array.
-
发表了文章 2015-11-01
Scala第一章学习笔记
面向对象编程是一种自顶向下的程序设计方法。用面向对象方法构造软件时，我们将代码以名词（对象）做切割，每个对象有某种形式的表示服(self/this)、行为（方法）、和状态（成员变量)。识别出名词并且定义出他们的行为之后，再定义出名词之间的交互。
-
发表了文章 2015-11-01
kafka_2.11-0.8.2.2的搭建
一、下载官网的压缩包~ 修改conf/server.properties host.name=10.10.224.12 （修改为主机ip,不然服务器返回给客户端的是主机的hostname,客户端并不一定能够识别） 二、解压并启动Zookeeper tar zxvf kafka_2.
-
发表了文章 2015-10-31
用CRT connect MongoDB 使用Backspace无效
这是个很蛋疼的小问题。。。 使用./mongo 10.1.235.62:27017 连接上后 打错了无法删除！？ 这是在逗我，那就修改CRT个设置，点击选项，会话选项，仿真，把终端改成Linux就行了~如图：
-
发表了文章 2015-10-31
Hadoop 2.6.0集群搭建
yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl...
-
发表了文章 2015-10-30
MongoDB 3.0 导入命令
在MongoDB的bin目录下执行 ./mongoimport -h 192.168.77.129 --db test --collection restaurants --drop --file /usr/local/mongodb-linux-x86_64-3.0.6/DW_LABEL_DATAS_1_0.csv 还有些参数没有加上~ 需要的话可以加上~ 通过 mongoimport --help命令查找你需要的命令哦~不过要注意的是 csv里的文件格式要是Json格式哦~ 我也觉得很变态。
-
发表了文章 2015-10-29
MongoDB项目中常用方法
使用MongoDB连接池MongoOptions来进行连接 以及相关方法的调用 //获得驱动地址（这里的驱动 写入了配置文件中) String serverAddressStr = Configure.
-
发表了文章 2015-10-28
Redis简介及3.0.2编译安装
由于项目需要Redis作为内存数据库，所以也开始搞Redis~ Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。
-
发表了文章 2015-10-26
json字符串相关转换方法
/** json转换为Map * @param jsonStr json * @return map集合 */ public static HashMap json2HashMap(String jsonStr) { HashMap data = new HashMap(); ...
-
发表了文章 2015-10-23
linux下安装mysql数据库与相关操作
如下命令都是用root身份安装，或者在命令前加上sudo 采用yum安装方式安装 yum install mysql #安装mysql客户端 yum install mysql-server #安装mysql服务端 判断MYSQL是否安装好: chkconfig --list|grep m...
-
发表了文章 2015-10-23
使用SparkSQL实现多线程分页查询并写入文件
一、由于具有多张宽表且字段较多，每个宽表数据大概为4000万条，根据业务逻辑拼接别名，并每张宽表的固定字段进行left join 拼接SQL。这样就能根据每个宽表的主列，根据每个宽表的不同字段关联出一张新的集合。
-
发表了文章 2015-10-23
Hive架构及Hive On Spark
Hive的所有数据都存在HDFS中. (1)Table:每个表都对应在HDFS中的目录下，数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中，如NFS或本地文件系统。
-
发表了文章 2015-10-23
Spark作业调度
Spark在任务提交时，主要存在于Driver和Executor的两个节点. (1)Driver的作用: 用于将所有要处理的RDD的操作转化为DAG，并且根据RDD DAG将JBO分割为多个Stage,最后生成相应的task,分发到各个Executor执行.
-
发表了文章 2015-10-21
最最简单的~WordCount¬
sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(_+_).foreach(println) 不使用reduceByKey sc.
-
发表了文章 2015-10-21
MongoDB的基本使用
use library 使用use函数切换已有的数据库或创建新的数据库 show dbs 查看MongoDB中目前所有可用的数据库 show collections 查看当前数据库中的所有集合 在集合中插入数据 >document = ({"Type":"Book","Title":"Definitive Guide to MongoDB 2nd ed.
-
发表了文章 2015-10-21
单点登录的实现
从第三方系统单点登录到目标系统，第三方系统会发送token进行验证，通过解析token，获取相应的用户信息的json串。将其set到自己系统的session中。 public class sessionFilter extends OncePerRequestFilter{ // 登录页面 private String LoginPage = Configure.
-
发表了文章 2015-10-14
SparkSQL的解析详解
SparkSQL继承自Hive的接口，由于hive是基于MapReduce进行计算的，在计算过程中大量的中间数据要落地于磁盘，从而消耗了大量的I/O，降低了运行的效率，从而基于内存运算的SparkSQL应运而生。
-
发表了文章 2015-10-14
spark transformation与action操作函数
一、Transformation map(func) 返回一个新的分布式数据集，由每个原元素经过函数处理后的新元素组成 filter(func) 返回一个新的数据集，经过fun函数处理后返回值为true的原元素组成 flatMap(func) 类似于map,但每个输入元素会被映射为0个或多个输...
-
发表了文章 2015-10-13
工作中Linux常用命令
rpm -qa|grep -i mysql rpm -ev mysql-server-5.1.73-5.el6_6.x86_64 如果报： error: Failed dependencies: libmysqlclient.
-
发表了文章 2015-10-12
Hbase与hive整合
//hive与hbase整合create table lectrure.hbase_lecture10(sname string, score int) stored by 'org.apache.hadoop.
-
发表了文章 2015-10-10
Spark工程开发常用函数与方法(Scala语言)
import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode, DataFrame}import scala.
-
发表了文章 2015-10-10
Topology的构建
public class BlackListBolt extends BaseRichBolt{ private static Logger logger = Logger.getLogger(BlackListBolt.
-
发表了文章 2015-10-10
hadoop-spark-hive-hbase配置相关说明
1. zookeeper 配置 cp app/ochadoop-och3.0.0-SNAPSHOT/zookeeper-3.4.5-cdh5.0.0-beta-2-och3.0.0-SNAPSHOT/conf/zoo_sample.
-
发表了文章 2015-10-10
Spark运行流程概述
Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。 Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的运行环境。
-
发表了文章 2015-10-10
Spark RDD简介与运行机制概述
RDD工作原理： 主要分为三部分：创建RDD对象，DAG调度器创建执行计划，Task调度器分配任务并调度Worker开始运行。 SparkContext(RDD相关操作)→通过(提交作业)→(遍历RDD拆分stage→生成作业)DAGScheduler→通过（提交任务集）→任务调度管理(TaskScheduler)→通过（按照资源获取任务)→任务调度管理(TaskSetManager) 举例：以下面一个按 A-Z 首字母分类，查找相同首字母下不同姓名总个数的例子来看一下 RDD 是如何运行起来的。
-
发表了文章 2015-10-10
Spark配置参数调优
1．配置多个executor 在项目中，由于数据量为几百万甚至千万级别，如果一个executor装载的对象过多，会导致GC很慢。项目中，我们使一个worker节点执行app时启动多个executor，从而加大并发度，解决full GC慢的问题。
-
发表了文章 2015-10-10
Hadoop系统架构
一、Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: ResourceManager –处理客户端请求 –启动/监控ApplicationMaster –监控NodeManager –资源分配与调度 NodeManager –单...
-
发表了文章 2015-10-10
Hadoop常用命令
HDFS基本命令:hadoop fs -cmdcmd: 具体的操作，基本上与UNIX的命令行相同args:参数HDFS资源URI格式：scheme://authority/pathscheme：协议名，file或hdfsauthority：namenode主机名path：路径示例：hdfs://localhost:9000/user/chunk/test.txt假设已经在core-site.xml里配置了 fs.default.name=hdfs://localhost:9000，则仅使用/user/chunk/test.txt即可。
-
发表了文章 2015-10-10
Spark参数配置说明
1 修改$SPARK_HOME/conf目录下的spark-defaults.conf文件 添加以下配置项 spark.sql.hive.convertMetastoreParquet false hive.exec.compress.output false 如果spark.sql.hive.convertMetastoreParquet不设置为false，前台清单预览看到的内容为乱码。
暂无更多信息
-
发表了文章
2018-10-22
数据技术工程师成长之路
-
发表了文章
2018-08-24
项目研发流程及管理之我见
-
发表了文章
2018-06-28
思维体系---技术思维、业务数据思维、产品思维、复合思维
-
发表了文章
2018-02-24
Hive metastore整体代码分析及详解
-
发表了文章
2018-02-19
Hive metastore表结构设计分析
-
发表了文章
2017-12-18
Kudu存储实战笔记
-
发表了文章
2017-09-11
Hive metastore源码阅读（三）
-
发表了文章
2017-08-30
Hive metastore源码阅读（二）
-
发表了文章
2017-08-17
Hive metastore源码阅读（一）
-
发表了文章
2017-07-03
Hadoop源码学习之HDFS（一）
-
发表了文章
2017-07-02
Hadoop源码分类概要整理
-
发表了文章
2017-04-30
sparksql工程小记
-
发表了文章
2017-04-15
阿里入职一个月思考（随笔）
-
发表了文章
2017-03-19
hiveql函数笔记（二）
-
发表了文章
2017-03-19
hiveql笔记（一）
-
发表了文章
2017-02-12
spark集成hbase与hive数据转换与代码练习
-
发表了文章
2016-12-11
大数据全体系年终总结
-
发表了文章
2016-12-10
SparkStreaming（源码阅读十二）
-
发表了文章
2016-12-09
Netty的TCP粘包/拆包（源码二）
-
发表了文章
2016-12-08
Spark Netty与Jetty （源码阅读十一）
滑动查看更多
暂无更多信息
暂无更多信息