姚兴泉_个人页

Kafka的offset管理

消费者需要自己保留一个offset，从kafka 获取消息时，只拉去当前offset 以后的消息。Kafka 的scala/java 版的client 已经实现了这部分的逻辑，将offset 保存到zookeeper 上 1.

机器学习算法常用指标总结

https://www.cnblogs.com/maybe2030/p/5375175.html

Spark面对OOM问题的解决方法及优化总结

https://blog.csdn.net/yhb315279058/article/details/51035631

ACM-ICPC 常用算法刷题网站整理（转）

ACM-ICPC 常用算法刷题网站整理          转载From http://blog.csdn.net/bat67/article/details/72765485          以及http://blog.csdn.net/pinellina/article/details/46843165  感谢原作者。

JAVA 将接口的引用指向实现类的对象

        有一个很简单的例子,java.util中的类ArrayList实现了接口List则生成ArrayList对象时可用以下语句. List list=new ArrayList();         也就是说所有实现了接口List的类,都可以用List接口来声明对象类型,然后用实体类进行实例化.

Java中的异常

         异常指不期而至的各种状况，如：文件找不到、网络连接失败、非法参数等。异常是一个事件，它发生在程序运行期间，干扰了正常的指令流程。Java通 过API中Throwable类的众多子类描述各种不同的异常。

理解RESTful架构

越来越多的人开始意识到，网站即软件，而且是一种新型的软件。  这种"互联网软件"采用客户端/服务器模式，建立在分布式体系上，通过互联网通信，具有高延时（high latency）、高并发等特点。

几种常用的排序算法 回顾

0. 概述         排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。

计算机中的大小端问题

1、大小端问题的由来 在计算机内存中，通常是以字节（Byte），也就是 8 个位（Bit）为基本存储单元（也有以 16 位为基本存储单元的）。 对于像C++中的char这样的数据类型，占用一个字节的大小，不会产生什么问题。

supervisor 管理进程

        Supervisor（http://supervisord.org/）是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。

Docker的4种网络模式

我们在使用docker run创建Docker容器时，可以用--net选项指定容器的网络模式，Docker有以下4种网络模式： · host模式，使用--net=host指定。

如何才能让自己说话清晰有逻辑？

罗振宇说：职场，或者说当代社会，最重要的能力是表达能力。因为，在未来社会最重要的资产，是影响力。影响力怎么构成？两个能力——第一写作，第二演讲。 一 、先确定，再回答         有时候我们在去和领导或者同事相互配合做一件事的时候，对方可能会噼里啪啦给我们安排一堆事情，这个时候我们就要先和对方确认我们要做事情的点，一是什么？二是什么？以及这些点要达到的目的。

如何提升自己的编程能力

1. 练习白板写代码         你必须不需要任何指令地从零开始编写自己的代码。也就是说你要从一个空白文档（白板、白纸等）开始，然后在不听从任何指示的情况下自己敲出每行代码。

非常酷的一门小众语言 - Scala（原创）

查看我的思维导图：     https://share.mindmanager.com/#publish/NYfJPdvdJQ-YQnz2ECLGng7jHj-9ninfZXn-KsUI

Java记忆篇 - 关键字与保留字

共“53”个关键字（含2个保留字） 保留字 1).const  有道释义：n. 常量，常数               用于修改字段或局部变量的声明。它指定字段或局部变量的值是常数，不能被修改    2).goto   有道释义：vi. 转到            指定跳转到标签，找到标签后，程序将处理从下一行开始的命令。

Java 多线程 && 集合

1. 多线程 启动          MyThread my =new MyThread(); 　　 my.start(); 2. 集合 ArrayList LinkedList       ...

爱情必修（学习笔记 最近更新 20180813）

查看 思维导图  2018/08/13 日更新          https://share.mindmanager.com/#publish/m2iboGoGvg_M-MNMMYIHl9rFpH40bnnBwbrTikH_ 快速加载版：     https://share.

监督学习与无监督学习

学习的过程就是举一反三的过程。  例如，中学阶段通过做大量的练习题，为的就是在高考解决问题。高考的题目一般来说是之前肯定没有遇到过的，但是这并不意味着这些题目我们无法解决。

数据挖掘与机器学习关系与区别

一、概念定义 机器学习：广泛的定义为 “利用经验来改善计算机系统的自身性能。”，事实上，由于“经验”在计算机系统中主要是以数据的形式存在的,因此机器学习需要设法对数据进行分析,这就使得它逐渐成为智能数据分析技术的创新源之一,并且为此而受到越来越多的关注。

Spark Streaming中的操作函数分析

参考链接：             https://blog.csdn.net/dabokele/article/details/52602412

Git 分支 - 分支的新建与合并

参考链接： https://git-scm.com/book/zh/v1/Git-%E5%88%86%E6%94%AF-%E5%88%86%E6%94%AF%E7%9A%84%E6%96%B0%E5%BB%BA%E4%B8%8E%E5%90%88%E5...

git、github、gitlab之间的关系

Git - 版本控制工具 Github - 一个网站，提供给用户空间创建git仓储，保存用户的一些数据文档或者代码等 GitLab - 基于Git的项目管理软件 Git分布式版本控制系统 Git是一款自由和开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。

大数据算法（原创）

思维导图：         https://share.mindmanager.com/#publish/xBxVMkv4nth0ELAtIbPWpyXfSd3o0a8T3RRxQn3A

zookeeper的投票机制

原则     默认是采用投票数大于半数则胜出的逻辑。 选举流程简述 目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下： 服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。

深入分析Docker镜像原理

https://www.csdn.net/article/2015-08-21/2825511

10张图带你深入理解Docker容器和镜像（真棒）

http://dockone.io/article/783

深刻理解Docker镜像大小

https://blog.csdn.net/shlazww/article/details/47375009

大数据生态

HBase原理及实践（原创）

参考思维导图：         https://share.mindmanager.com/#publish/GGoEmfYUxb79itlAfvo3_9AlD_pCKmtrqUU3xFDq

同宿舍的程序员毕业五年的现状：有人年薪百万，有人月薪一万（转）

工作五年是个分水岭，大部分程序员从初级工程师成长为中高级工程师，薪资较刚毕业时翻几番。 同一个宿舍毕业的人有不同的发展轨道，有人年薪百万，有人仍在基层搬砖。

kafka原理与实践（原创）

参考思维导图：         https://share.mindmanager.com/#publish/Ru0_lRWqOv_fitRQjEIqvVXATBxK3QXuRZ6La7Xu

数据预处理（精品原创）

参考我的云笔记分享链接：     http://note.youdao.com/noteshare?id=b3fafb4c4c8f2e70afb1621e5b097ed6&sub=E9531545BEAC41F78B24F9372115AFF0 ...

Spark算子总结版

Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。

Hive与数据库的异同

一、Hive简介     Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

Redis原理与实践（原创）

原理（参考思维导图）         https://share.mindmanager.com/#publish/4BYt5vE-2pJA_yrTh4Ch7aur9zDk6uoyIxdbkGPY 代码示例         https://www.

kafka与zookeeper之间的关联

kafka与zookeeper：  一个典型的Kafka集群中包含若干Produce，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。

大数据组件Flume总结（原创）

1）见思维导图         https://share.mindmanager.com/#publish/H_yLoCb7JMY6Qh6unY5qw4wtlpbDjA8xCIqlxYGd

分布式系统（原创）

欢迎查看我的有道云笔记链接，17年做的旧笔记了：         http://note.youdao.com/noteshare?id=cfd9bd202b6aca2c83c85d631b02cc92&sub=D745D390DCC843D8808C...

Hive操作大全（原创）

1、建库 create database mydb; create database if not exists mydb; create database if not exists mydb location "/aa/bb"; 2、查询数据...

Hive的几个复杂情况

行转列与列转行：         https://blog.csdn.net/jx_870915876/article/details/52403472 lateral view语句         https://blog.

Hive原理

Hive 不是 一个关系数据库 一个设计用于联机事务处理（OLTP） 实时查询和行级更新的语言 Hiver特点 它存储架构在一个数据库中并处理数据到HDFS。

Spark在不同集群中的运行架构

        Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。

SQL语句（方便记忆版）

1.  DML 2. DDL 3.  例子 -- 建表 use mydb; createtable user( userid int, username varchar(20), password varchar(20...

HDFS常用命令（方便大家记忆版）

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中的文件 /usr/local/hadoop$bin/hadoop dfs -ls in (...

探讨Java中的父子类转化问题

 有两个问题：  （1）子类对象可以转化为父类对象吗？  （2）父类对象可以转化为子类对象吗？ ------------------------------------------------------------------------------------------------------------------------------------         第（1）个问题应该都不陌生，也没什么好探讨的，肯定可以，因为在多态中经常用到。

Linux深层原理（原创）

请点击查看我的有道云笔记 http://note.youdao.com/noteshare?id=50ba601bc935913962c6f025aec59cf2&sub=0F4F897E6B2B48BD9535A34807C0F17F ...

时间管理3 - 高效规划

（一）时间观 时间管理不意味着被时间束缚，而是通过时间去试探自己的极限，实现生命更大的自由。 （二）番茄工作法 注意事项： 番茄法仅适用于个人专注时间，不适合娱乐、外出、沟通讨论等场景； 使用番茄钟之前，请确认自己的时间不会被打断。

时间管理2 - 高效行动

（一）行动力的心理模型 在上图中，“自我”的小人想走A路线，达成长远的目标，最终收获大树上的果实（即长远利益）；而“感受”的小人想走B路线，获得眼前的快乐，不断采摘路边的小花（即短暂利益）。

时间管理1 - 时间管理的本质

时间管理的本质 一般而言，有两个方向：一是提高做事的效率，二是去做更有价值的事。 提高效率就是把它塞得更满，而提高含金量，就是往里面放更值钱的东西。