终日而思一_个人页

深入浅出 Hadoop YARN

一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Hadoop 成为大数据中最稳固的那一块基石。

从 hadoop 1.0 到 hadoop 2.0 的演化

Hadoop 1.0 到 Hadoop 2.0 的演化是怎样的呢，从中我们又能学到什么。。。

一个故事告诉你什么才是好的程序员

大数据存储的进化史 --从 RAID 到 Hdfs

我们都知道现在大数据存储用的基本都是 Hdfs ，但在 Hadoop 诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看 Hadoop Hdfs。

Spark 读取 Hbase 优化 --手动划分 region 提高并行数

Mysql 流增量写入 Hdfs（二） --Storm + hdfs 的流式处理

一. 概述 上一篇我们介绍了如何将数据从 mysql 抛到 kafka，这次我们就专注于利用 storm 将数据写入到 hdfs 的过程，由于 storm 写入 hdfs 的可定制东西有些多，我们先不从 kafka 读取，而先自己定义一个 Spout 数据充当数据源，下章再进行整合。

Spark SQL，如何将 DataFrame 转为 json 格式

贝叶斯分类算法实例 --根据姓名推测男女

从分治算法到 MapReduce

Actor并发编程模型浅析

Actor 模型其实就是定义一组规则，这些规则规定了一组系统中各个模块如何交互及回应。在一个 Actor 系统中，Actor 是最小的单元模块，系统由多个 Actor 组成。每个 Actor 有两个东西，一个是 mailbox，一个是自身状态。

聊聊 scala 的模式匹配

Scala 中的异步事件处理

python Kmeans算法解析

Spark DataFrame 的 groupBy vs groupByKey

Scala Try 与错误处理

spark RDD，reduceByKey vs groupByKey

hadoop，spark，Zookeeper，，， 这些名字都是怎么来的呢？

hadoop，spark，Zookeeper，，， 这些名字都是怎么来的呢？

spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread

spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread

JVM 之类加载

一.概述 Java不同于C/C++这类传统的编译型语言，也不同于php这一类动态的脚本语言。可以说Java是一种半编译语言，我们所写的类会先被编译成.class文件，这个.class是一串二进制的字节流。

Java内存管理 -JVM 垃圾回收

一.概述 相比起C和C++的自己回收内存，JAVA要方便得多，因为JVM会为我们自动分配内存以及回收内存。 在之前的JVM 之内存管理 中，我们介绍了JVM内存管理的几个区域，其中程序计数器以及虚拟机栈是线程私有的，随线程而灭，故而它是不用考虑垃圾回收的，因为线程结束其内存空间即释放。

Java的内存 -JVM 内存管理

一.综述 如果你学过C或者C++，那么你应该感受过它们对内存那种强大的掌控力。但是强大的能力往往需要更强大的控制力才能保证能力不被滥用，如果滥用C/C++的内存管理那么很容易出现指针满天飞的情况，不出问题还好，一出问题debug起来简直让人头疼得不要不要的。

记录一次spark连接mysql遇到的问题

在使用spark连接mysql的过程中报错了，错误如下 08:51:32.495 [main] ERROR - Error loading factory org.apache.calcite.jdbc.

ThreadPoolExecutor源码解析（二）

1.ThreadPoolExcuter运行实例 　　首先我们先看如何新建一个ThreadPoolExecutor去运行线程。然后深入到源码中去看ThreadPoolExecutor里面使如何运作的。 public class Test { public static void main(S.

ThreadPoolExecutor源码解析（一）

1.ThreadPoolExcuter原理说明　　首先我们要知道为什么要使用ThreadPoolExcuter，具体可以看看文档中的说明： 　　线程池可以解决两个不同问题：由于减少了每个任务的调用开销，在执行大量的异步任务时，它通常能够提供更好的性能，并且还可以提供绑定和管理资源（包括执行集合任务时使用的线程）的方法。

kafka connect，将数据批量写到hdfs完整过程

版权声明：本文为博主原创文章，未经博主允许不得转载 本文是基于hadoop 2.7.1，以及kafka 0.11.0.0。kafka-connect是以单节点模式运行，即standalone。   一. 首先，先对kafka和kafka connect做一个简单的介绍 　　kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

Java-- String源码分析

　　本篇博文基于java8，主要探讨java中的String源码。 　　首先，将一个类分为几个部分，分别是类定义（继承，实现接口等），全局变量，方法，内部类等等，再分别对这几个部分进行说明，这样到最后类的全貌也就比较直观了。

将excel文件内容存储到数据库，并可以实时在前端查看（不必生成文件）

版权声明：本文为博主原创文章，未经博主允许不得转载 本文主要讲前端内容，后端涉及较少，可以认为是使用Java。 首先是excel文件上传，这个较为简单，可以html5的数据接口FormData()进行操作。

slick对超过22个属性的表进行映射的两种办法

版权声明：本文为博主原创文章，未经博主允许不得转载 slick是scala的一个FRM（Functional Relational Mapper）框架，即函数式的关系数据库编程工具库。使用slick不同于使用java的hibernate或者是mybatis，对其进行迭代开发非常方便，因为其对表的映射基于函数式的编程方式。

存储器层次结构 --《深入理解计算机系统》第六章读书笔记

1.几种存储技术 随机访问存储器RAM，RAM又分为两类：静态的SRAM和动态的DRAM。 静态SRAM特点：容量较小，速度较之动态DRAM要快很多，故而价格也较高。一般用作CPU与内存的缓存。

以C语言为例的程序性能优化 --《深入理解计算机系统》第五章读书笔记

　　其实大多数的编译器本身就能提供一些简单的优化，比如gcc就能通过使用 -O2 或者 -O3 的选项来优化程序。但编译器的优化始终也是有限，因为它必须小心翼翼保证优化过程不对程序的功能有改动。故而程序员本身应该对程序有优化意识。