松伯
松伯_个人页
松伯
文章
187
问答
0
视频
0
个人介绍
技术专家 专注于大数据领域 博客园地址：https://www.cnblogs.com/yangsy0915/
擅长的技术
-
发表了文章 2016-06-05
Storm Ack框架笔记
Storm利用Acker Bolt节点跟踪消息，当Spout发送出去的消息以及这些消息所衍生出来的消息均被处理后，Spout将受到对应于该消息的Ack。实现要点： 1、Storm中每条发送出去的消息都会对应一个随机的消息ID。
-
发表了文章 2016-06-04
Hadoop SequenceFile数据结构介绍及读写
在一些应用中，我们需要一种特殊的数据结构来存储数据，并进行读取，这里就分析下为什么用SequenceFile格式文件。 Hadoop SequenceFile Hadoop提供的SequenceFile文件格式提供一对key,value形式的不可变的数据结构。
-
发表了文章 2016-05-31
Hbase集群搭建及所有配置调优参数整理及API代码运行
最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。
-
发表了文章 2016-05-31
RPC远程过程调用协议
最近学习Hadoop、Hbase、Spark及Storm原理，经常会出现RPC这样的传输术语，为了更好地理解，将知识点详细的整理下吧~ RPC-----它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
-
发表了文章 2016-05-30
Hbase条件筛选
需求来自于，模糊查找当天的所有记录，并查找对应列的记录数 public static void main(String[] args) throws Exception{ //创建HBase连接 Configuration conf = HBaseConfiguration.
-
发表了文章 2016-05-28
Hadoop数据读写原理
数据流 MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop把输入数据划分成等长的小数据发送到MapReduce，称之为输入分片。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数来分析每个分片中的记录。
-
发表了文章 2016-05-28
Hbase客户端API基础小结笔记(未完)
客户端API：基础 HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的，通过这个类，用户可以完成向HBase存储和检索数据，以及删除无效数据之类的操作。
-
发表了文章 2016-05-25
MapReduce Shuffle原理 与 Spark Shuffle原理
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。
-
发表了文章 2016-05-25
MapReduce、Hbase接口API实践
读取hdfs中文件并做处理，取出卡号，通过卡号连接hbase查询出对应客户号，写入redis,因为不用输出，所以不调用context.write方法，整个操作在一个map中便可完成 protected HTable connect //setup方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。
-
发表了文章 2016-05-21
Spring技术揭幕----DispatcherServlet
Spring MVC是一个MVC模式的实现。在Spring MVC的使用中，需要在web.xml中配置DispatcherServlet，也就是说其核心是一个Servlet，这个DispatcherServlet实现的是Sun的J2EE核心模式中的前端控制器模式(Front Controller)，所有的Web请求都需要通过它来处理，进行转发、匹配、数据处理后，并转由页面进行展现，因此这个DispatcherServlet可以看成是Spring MVC实现最为核心的部分。
-
发表了文章 2016-05-21
Redis应用场景
Redis开创了一种新的数据存储思路，使用Redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用Redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。
-
发表了文章 2016-05-15
HBase体系结构
HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegion服务器(HRegion Service)群和HBase Master服务器(HBase Master Server)构成。Hbase Master服务器负责管理所有的HRegion服务器，而Hbase中所有的服务器是通过Zookeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误的。
-
发表了文章 2016-05-15
Hadoop的管理目录
HDFS文件结构 1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。
-
发表了文章 2016-05-14
Storm Bolt接口
Bolt是Topology中数据处理的基本单元，也是Storm针对处理过程的编程单元。Topology中所有的处理都是在这些bolt中完成的。 Bolt可以将数据项发送至多个数据流（Stream)。
-
发表了文章 2016-05-14
Hadoop I/O操作原理整理
I/O操作中的数据检查 校验和方式是检查数据完整性的重要方式。一般会通过对比新旧校验和来确定数据情况，如果两者不同则说明数据已经损坏。比如，在传输数据前生成了一个校验和，将数据传输到目的主机时再次计算校验和，如果两次的校验结果不同，则说明数据已经损坏。
-
发表了文章 2016-05-13
Storm Topology及分组原理
Storm的通信机制，需要满足如下一些条件以满足Storm的语义。 1、建立数据传输的缓冲区。在通信连接没有建立之前把发送的数据缓存起来。数据发送方可以在连接建立之前发送消息，而不需要等连接建立起来，可是的接收方是独立运行的。
-
发表了文章 2016-05-08
行为科学统计第一章知识点总结
1、什么是总体？什么是样本？总体是一个研究的所有研究对象的个体的集合。样本是被选择出来的参与研究的特定的个体集合。样本被期望能够代表总体。 2、描述总体的特性的，如总体的平均数，被称为 参数。 3、总体和参数之间的关系与样本和 统计量 之间的关系是一样的。
-
发表了文章 2016-05-08
JVM垃圾回收参数说明整理
java -Xms4g -Xmx4g -Xmn3g -Xss256k -server -XX:PermSize=64M -XX:MaxPermSize=64M -XX:+UseConcMarkSweepGC -XX:+UseAdaptiveSizePolicy -XX:+CMSClassU...
-
发表了文章 2016-05-06
SparkContext源码阅读
SparkContext是spark的入口，通过它来连接集群、创建RDD、广播变量等等。 class SparkContext(config: SparkConf) extends Logging with ExecutorAllocationClient { private val creationSite: CallSite = Utils.
-
发表了文章 2016-05-06
Spark RDD类源码阅读
每天进步一点点~开搞~ abstract class RDD[T: ClassTag]( //@transient 注解表示将字段标记为瞬态的 @transient private var _sc: SparkContext, // Seq是序列，元素有插入的先后顺序，可以有重复的元素。
-
发表了文章 2016-05-02
Scala学习笔记
1、for循环格式for(i System.err.print(e) case_ => //should never happen }finally { } 7、定长数组 val array_name = new Array[String](5),也可以 val a = Array(...
-
发表了文章 2016-04-30
JAVA虚拟机类型转换学习
Java虚拟机包括血多进行基本类型转换工作的操作码，这些执行转换工作的操作码后面没有操作数，转换的值从栈顶端获得。Java虚拟机从栈顶端弹出一个值，对它进行转换，然后再把转换结果压入栈。进行int、long、float和double类型之间转换的操作码。
-
发表了文章 2016-04-29
工程开发实用类与方法总结(未完）
一、com.google.common.base.Preconditions包 便捷的参数判断,不需要自己来逐个写方法判断，简化代码。 Preconditions里面的方法： 1 .checkArgument(boolean) ： 功能描述：检查boolean是否为真。
-
发表了文章 2016-04-27
JAVA 几种引用类型学习
1、对象的强、软、弱和虚引用 在JDK 1.2以前的版本中，若一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于可触及（reachable）状态，程序才能使用它。从JDK 1.2版本开始，把对象的引用分为4种级别，从而使程序能更加灵活地控制对象的生命周期。
-
发表了文章 2016-04-27
JAVA虚拟机垃圾回收算法原理
除了释放不再被引用的对象外，垃圾收集器还要处理堆碎块。新的对象分配了空间，不再被引用的对象被释放，所以堆内存的空闲位置介于活动的对象之间。请求分配新对象时可能不得不增大堆空间的大小，虽然可以使用的总空闲空间是足够的。
-
发表了文章 2016-04-26
JVM 类型的生命周期学习
Java虚拟机通过装载、连接和初始化一个JAVA类型，使该类型可以被正在运行的JAVA程序所使用，其中，装载就是把二进制形式的JAVA类型读入JAVA虚拟机中；而连接就是把这种读入虚拟机的二进制形式的类型数据合并到虚拟机的运行时状态中去。
-
发表了文章 2016-04-24
使用BlockingQueue的生产者消费者模式
BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。使用场景。 首先它是一个队列，而一个队列在数据结构中所起的作用大致如下图所示： 通过一个共享的队列，可以使得数据由队列的一端输入，从另外一端输出；在生产者消费者模式中，通过队列的方式可以很方便的实现两者之间的数据共享。
-
发表了文章 2016-04-23
MapReduce编程实现学习
MapReduce主要包括两个阶段：一个是Map，一个是Reduce. 每一步都有key-value对作为输入和输出。 Map阶段的key-value对的格式是由输入的格式决定的，如果是默认的TextInputFormat,则每行作为一个记录进程处理，其中key为此行的开头相对文件的起始位置，value就是此行的字符文本。
-
发表了文章 2016-04-20
XML封装与验证消息
Document document = DocumentHelper.createDocument(); document.setXMLEncoding(ChARSET_UTF_8); Element root = document.
-
发表了文章 2016-04-02
Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析
废话就不多说了，直接开始啦~ 安装环境变量: 使用linx下的解压软件,解压找到里面的install 或者 ls 运行这个进行安装 yum install gcc yum install gcc-c++ 安装make，这个是自动编译源码的工具 yum install make ...
-
发表了文章 2016-03-11
海量数据处理技术学习
海量数据处理的常用技术可分为: 外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。 MapReduce：分布式处理技术 hash技术：以Bloom filter技术为代表 外排序：主要适用于大数据的排序、去重。
-
发表了文章 2016-03-07
算法学习
决策树是一种树状结构，它的每一个叶节点对应一个分类，非叶节点对应在某个属性上的划分，根据样本在该属性上的不同取值将其划分为若干子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行划分。 ID3算法 1、对当前样本集合计算所有属性的信息增益。
-
发表了文章 2016-02-02
1分钟内检查Linux服务器性能的命令
1、uptime 在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。 2、dmesg|tail 命令会输出系统日志的最后10行，这些日志都可以排查性能问题。
-
发表了文章 2016-01-31
总体参数的估计（概念）
举例：到底北京人同意北京大力发展轨道交通，由于不大可能询问所有的一千多万北京市民，人们只好进行抽样调查以得到样本，并用样本中同意发展轨道交通的比例来估计真实的比例，从不同的样本得到的结论也不会完全一样。
-
发表了文章 2016-01-30
PageRank算法
PageRank,网页排名，又称网页级别，传说中是PageRank算法拯救了谷歌，它是根据页面之间的超链接计算的技术，作为网页排名的要素之一。它通过网络浩瀚的超链接关系来确定一个页面的等级。Google把从A页面到B页面的链接解释为A页面给B页面投票，根据投票的来源(甚至来源的来源，即链接到A页面的页面）和投票目标的等级来决定新的等级。
-
发表了文章 2016-01-30
机会的度量:概率和分布
在概率论中所说的事件(event)相当于集合论中的集合(set)。 互补事件的概率 如果一个不出现，则另一个肯定出现的两个事件成为互补事件(complementary events，或者互余事件或对立事件).按照集合的记号，如果一个事件记为A，那么另一个记为的补集。
-
发表了文章 2016-01-27
统计学中抽样调查和一些常用的方法
抽样调查的领域涉及如何用有效的方式得到样本。这些调查都利用了问卷，而问卷的设计则很有学问。它设计如何用词、问题的次序和问题的选择与组合等等。涉及包括心理学、社会学等知识。问题的语言应该和被调查者的文化水平相适应。
-
发表了文章 2016-01-25
获取表头信息
sparksql中获取表头信息 方法一: 可以使用 describe table; 方法二: 先 SET hive.cli.print.header=true; 然后 select * from table limit 0; 代码中的使用直接通过list tableHead = jdbcBaseDao.
-
发表了文章 2016-01-23
前一天数据偏移至当日数据
客户画像项目中可能会遇到此类问题，因为客户画像要求的是对单个用户信息的查询。 但倘若以日周期为准，今日梳理的数据宽表中某个字段为null,但此类字段不能以null显示，要以前一天有数据的值为今日的值，就需要做case when处理。
-
发表了文章 2016-01-22
邻接矩阵学习
邻接矩阵：是表示顶点之间相邻关系的矩阵。因此，用一个一维数组存放图中所有顶点数据；用一个二维数组存放顶点间的关系（边或弧）的数据，这个二维数组称为邻接矩阵。邻接矩阵又分为有向图邻接矩阵和无向图邻接矩阵。
-
发表了文章 2016-01-20
Spark on Yarn年度知识整理
大数据体系结构: Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。
-
发表了文章 2016-01-20
HBASE解析
Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。
-
发表了文章 2016-01-16
Storm的数据处理编程单元:Bolt 学习整理
Bolt是Topology中的数据处理的单元，也是Storm针对处理过程的编程单元。Topology中所有的处理都是在这些Bolt中完成的，编程人员可以实现自定义的处理过程，例如，过滤、函数、聚集、连接等计算。
-
发表了文章 2016-01-12
jsch ssh服务器调用Linux命令或脚本的小问题
代码如下: public static boolean execshell(String command, String user, String passwd, String host) throws JSchException, IOException { c...
-
发表了文章 2016-01-12
storm的数据源编程单元Spout学习整理
Spout呢，是Topology中数据流的源头，也是Storm针对数据源的编程单元。一般数据的来源，是通过外部数据源来读取数据项(Tuple)，并读取的数据项传输至作业的其他组件。编程人员一般可通过OutputFieldsDeclarer类的declareStream()方法来声明多个流，指定数据将要发送的流，然后使用SpoutOutputCollector的emit方法将数据发送。
-
发表了文章 2016-01-11
Spark1.6 DataSets简介
Apache Spark提供了强大的API，以便使开发者为使用复杂的分析成为了可能。通过引入SparkSQL，让开发者可以使用这些高级API接口来从事结构化数据的工作（例如数据库表，JSON文件)，并提供面向对象使用RDD的API，开发只需要调用相关 的方法便可使用spark来进行数据的存储与计算。
-
发表了文章 2016-01-10
storm的作业单元：Topology
Storm系统的数据处理应用单元，是被打包的被称为Topology的作业。 它是由多个数据处理阶段组合而成的，而每个处理阶段在构造时被称为组件(Component),在运行时被称为任务。 那么，组件根据作用的不同，在Storm中分为两类:Spout组件和Bolt组件。
-
发表了文章 2016-01-10
storm系统架构学习
Storm架构如下图所示: 1、主控节点(Master Node) 运行Storm nimbus后台服务的节点(Nimbus)，它是storm系统的中心，负责接收用户提交的作业(如同spark submit一样 即为jar包形式保存的topology代码)，通过Zookeeper向每个工作节点分配处理任务（有进程级的也有线程级别的） 2、工作节点(Work Node) 运行Storm supervisor后台服务的节点。
-
发表了文章 2016-01-10
storm概念学习及流处理与批处理的区别
在过去10 年中，随着互联网应用的高速发展，企业积累的数据量越来越大，越来越多。随着Google MapReduce、Hadoop 等相关技术的出现，处理大规模数据变得简单起来，但是这些数据处理技术都不是实时的系统，它们的设计目标也不是实时计算。
-
发表了文章 2016-01-10
Spark on Yarn 架构解析
。 一、Hadoop Yarn组件介绍: 我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器 和 任务调度监控 分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。
暂无更多信息
-
发表了文章
2018-10-22
数据技术工程师成长之路
-
发表了文章
2018-08-24
项目研发流程及管理之我见
-
发表了文章
2018-06-28
思维体系---技术思维、业务数据思维、产品思维、复合思维
-
发表了文章
2018-02-24
Hive metastore整体代码分析及详解
-
发表了文章
2018-02-19
Hive metastore表结构设计分析
-
发表了文章
2017-12-18
Kudu存储实战笔记
-
发表了文章
2017-09-11
Hive metastore源码阅读（三）
-
发表了文章
2017-08-30
Hive metastore源码阅读（二）
-
发表了文章
2017-08-17
Hive metastore源码阅读（一）
-
发表了文章
2017-07-03
Hadoop源码学习之HDFS（一）
-
发表了文章
2017-07-02
Hadoop源码分类概要整理
-
发表了文章
2017-04-30
sparksql工程小记
-
发表了文章
2017-04-15
阿里入职一个月思考（随笔）
-
发表了文章
2017-03-19
hiveql函数笔记（二）
-
发表了文章
2017-03-19
hiveql笔记（一）
-
发表了文章
2017-02-12
spark集成hbase与hive数据转换与代码练习
-
发表了文章
2016-12-11
大数据全体系年终总结
-
发表了文章
2016-12-10
SparkStreaming（源码阅读十二）
-
发表了文章
2016-12-09
Netty的TCP粘包/拆包（源码二）
-
发表了文章
2016-12-08
Spark Netty与Jetty （源码阅读十一）
滑动查看更多
暂无更多信息
暂无更多信息