小金子
小金子_个人页
小金子
文章
343
问答
11
视频
0
个人介绍
热爱分布式技术
擅长的技术
-
发表了文章 2017-08-27
一个分布式测试系统利器
Create an EC2 instance Sign up for AWS In Services -> EC2, click “Launch Instance” Choose the 64 bit Debian Jessie image ...
-
发表了文章 2017-06-10
Kudu
Goal Kudu 主要面向 OLAP 应用，支持大规模数据存储，支持快速查询，并且支持实时数据更新。相比Hive 之类的SQL on Hadoop，性能会好不少，并且支持数据实时更新，这也是 Hive 的一个痛点；相比于一个传统的 OLAP 数据库，它所支持的数据规模可能要大一点，毕竟 Kudu 是水平扩展的。
-
发表了文章 2017-05-02
Spark Streaming和Flink的Word Count对比
准备： nccat for windows/linux 都可以 通过 TCP 套接字连接，从流数据中创建了一个 Spark DStream/ Flink DataSream, 然后进行处理, 时间窗口大小为10s 因为 示例需要, 所以 需要下载一个netcat, 来构造流的输入。
-
发表了文章 2017-02-23
Java反射在JVM的实现
本文目录 什么是Java反射，有什么用？ Java Class文件的结构 Java Class加载的过程 反射在native的实现 附录 1. 什么是Java反射，有什么用？ 反射使程序代码能够接入装载到JVM中的类的内部信息，允许在编写与执行时，而不是源代码中选定的类协作的代码，是以开发效率换运行效率的一种手段。
-
发表了文章 2017-02-15
Mysql的索引和慢查询优化
MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。
-
发表了文章 2017-02-15
OLTP新贵G家F1的替代者TiDB
HBase 简介 众所周知，在 SQL 方面处于顶级的有两个公司，一个是 Oracle，他们已经积累了大量的经验，另一个是谷歌，谷歌 F1 在2012年发布了一篇论文，个人认为它是全球最优秀的 SQL OLTP 数据库。
-
发表了文章 2017-02-15
Big Mysql的中间件
淘宝根据自身业务需求研发了TDDL（Taobao Distributed Data Layer）框架，主要用于解决分库分表场景下的访问路由（持久层与数据访问层的配合）以及异构数据库之间的数据同步，它是一个基于集中式配置的JDBC DataSource实现，具有分库分表、Master/Salve、动态数据源配置等功能。
-
发表了文章 2016-12-09
System.arraycopy
当我还年幼的时候，我很任性，复制数组也是，写一个for循环，来回倒腾，后来长大了，就发现了System.arraycopy的好处。 为了测试俩者的区别我写了一个简单赋值int[100000]的程序来对比，并且中间使用了nanoTime来计算时间差： ...
-
发表了文章 2016-12-09
java轻量级IOC框架Guice
Guice是由Google大牛Bob lee开发的一款绝对轻量级的java IoC容器。其优势在于： 速度快，号称比spring快100倍。 无外部配置(如需要使用外部可以可以选用Guice的扩展包)，完全基于annotation特性，支持重构，代码静态检查。
-
发表了文章 2016-12-09
Elasticsearch架构
Elasticsearch 是最近两年异军突起的一个兼有搜索引擎和NoSQL数据库功能的开源系统，基于Java/Lucene构建。最近研究了一下，感觉 Elasticsearch 的架构以及其开源的生态构建都有许多可借鉴之处，所以整理成文章分享下。
-
发表了文章 2016-12-09
Apache Solr vs Elasticsearch-feature
API Feature Solr 6.2.1 ElasticSearch 5.0 Format XML, CSV, JSON JSON HTTP REST API Bin...
-
发表了文章 2016-11-21
DistributedLog
我们在2016年五月开源了DistributedLog项目，引起了社区的广泛关注。大家常常问起的问题之一就是DistributedLog与Apache Kafka相对比，各有什么优劣。
-
发表了文章 2016-11-17
ES问题
Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。
-
发表了文章 2016-10-24
Palo
区别于Kylin它底层用的mpp，Palo是百度基础架构部数据团队所开发的一套面向大规模数据分析的并行数据库系统。主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析（OLAP）服务。
-
发表了文章 2016-10-22
Fully Convolutional Networks for Semantic Segmentation(全卷积网络FCN）
可以看看：https://github.com/jinhang/fcn 【论文信息】 《Fully Convolutional Networks for Semantic Segmentation》 CVPR 2015 best paper Reference link: http://blog.
-
发表了文章 2016-10-22
R-FCN: Object Detection via Region-based Fully Convolutional Networks
1. 简介 物体检测的深度网络按感兴趣区域 (RoI) 池化层分为两大主流：共享计算的全卷积子网络 (每个子网络与 RoI 无关) 和 不共享计算的作用于各自 RoI 的子网络。
-
发表了文章 2016-10-22
SSD: Single Shot MultiBox Detector
有参考：http://blog.csdn.net/u010167269/article/details/52563573 SSD: Single Shot MultiBox Detector By Wei Liu, Drago...
-
发表了文章 2016-10-10
ES in Hive
ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用，尤其是在添加数据的时候，可以使用分布式任务来添加索引数据，尤其是在数据平台上，很多数据存储在Hive中，使用Hive操作ElasticSearch中的数据，将极大的方便开发人员。
-
发表了文章 2016-10-10
ES集群安装配置
ElasticSearch是一个开源搜索服务框架，它已经成为搜索解决方案领域的重要成员。ElasticSearch还经常被用作文档数据库，这主要得益于它的分布式特性和实时搜索能力，另外，ElasticSearch支持越来越多的聚合功能，而且和Yarn、Hadoop、Hive、Pig、Spark、Flume等大数据处理框架的兼容性越来越好。
-
发表了文章 2016-10-10
SQL for ES
之前介绍过ElasticSearch，它部署简单，搜索聚合功能强大，而且和其他大数据框架整合起来使用，有一点比较不方便，就是查询都需要通过JSON作为请求Body来提交查询，请求响应也是JSON，作为习惯使用SQL的我，迫不及待的试用了一下Crate（crate.io），它是在ElasticSearch之上封装了SQL接口，用户可以通过SQL语句来完成搜索和统计，支持的SQL语法还蛮多的，很想MySQL。
-
发表了文章 2016-10-10
ES in BI
一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io）太过复杂，整个Druid由5、6个服务组成，而且加载数据也不太方便，性能一般，亦或是我还不太会用它。
-
发表了文章 2016-10-10
elasticsearch命令
1.如何关闭ES，elasticsearch关闭办法 1.使用head插件 找到想关掉的节点进行关停 2.使用命令kill杀掉服务器的ES进程即可 1.查找ES进程 ps -ef | grep elastic 2.杀掉ES进程 kill -9 2382（进程号） 3.重启ES sh elasticsearch -d 2.如何重启ES 没有重启的办法，只有参考上面关闭->开启这样。
-
发表了文章 2016-10-06
Prometheus
Visit prometheus.io for the full documentation, examples and guides. Prometheus, a Cloud Native Computing Foundation project, is a systems and service monitoring system.
-
发表了文章 2016-09-28
go解析Prometheus的数据
访问一个api, 返回如下数据： {"status":"success","data":{"resultType":"matrix","result":[{"metric":{},"values":[[1473820558.
-
发表了文章 2016-08-30
ACID
ACID，指数据库事务正确执行的四个基本要素的缩写。包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。
-
发表了文章 2016-08-10
面试-百度大数据部门RD
经过面试，顺利拿到了百度RD offer,大数据部门。 一面是下午在老校区篮球场打球接到的电话，聊了一点儿，由于有点儿吵，约在了第二天的早上八点，百度RD时间观念超强，一早就是八点整，不差一秒，接到电话后，开始就是问简历上的专业技能几个，重要问了我java、jvm、hadoop等一些问题，着重问了hadoop的底层原理和项目。
-
发表了文章 2016-08-07
java-工具-轮子
几乎每个程序员都知道要“避免重复发明轮子”的道理——尽可能使用那些优秀的第三方框架或库，但当真正进入开发时，我却经常发现他们有时并不知道那些轮子在哪里。最近，我在业余时间带几个年轻的程序员一起做了一个很小的商业项目，而在一起开发的过程中，我几乎在所有需要判断字符串是否为空的地方，看到了下面的代码： if(inputString == null || inputString.length == 0){......} 除了字符串判断是否为空之外，还有很多字符串处理或其他数据类型判断的方法，缺少经验的程序员们往往都会想办法自己来写。
-
发表了文章 2016-08-06
ES java api
2.0之后ES的java api用法有了很大变化。在此记录一些。 java应用程序连接ES集群，笔者使用的是TransportClient，获取TransportClient的代码设计为单例模式（见getClient方法）。
-
发表了文章 2016-08-06
elasticsearch2.1部署
Ubuntu下Elasticsearch 2.1集群部署过程与遇到的问题及解决方法（开机自启动、root用户启动） SEO：ES 2.0 2.1 Elastic Elasticsearch Linux Ubuntu root start stop 开机启动 开机自启动 安装 部署 使用 脑裂 无法 不能 发现 集群 节点 （本文适合有一定Linux基础的读者阅读。
-
发表了文章 2016-08-04
java-jvm-full gc频繁的分析及解决
返回博客列表 转 关于施用full gc频繁的分析及解决 DEC_LIU 发布时间: 2013/10/13 20:32 阅读: 3431 收藏: 14 点赞: 1 评论: 1 关于应用full gc频繁的分析及解决 很久前的工作日记了，移到ITeye上来。
-
发表了文章 2016-08-04
java-jvm-GC剖析
Java垃圾回收概况 Java GC（Garbage Collection，垃圾收集，垃圾回收）机制，是Java与C++/C的主要区别之一，作为Java开发者，一般不需要专门编写内存回收和垃圾清理代 码，对内存泄露和溢出的问题，也不需要像C程序员那样战战兢兢。
-
发表了文章 2016-08-02
java-优化-代码中的优化（1）
1.尽量使用final修饰符。 带有final修饰符的类是不可派生的。在JAVA核心API中，有许多应用final的例子，例如java.lang.String。为String类指定final防止了使用者覆盖length()方法。
-
发表了文章 2016-08-02
java-工具-okhttp(2)
http://blog.csdn.net/oncealong/article/details/52096477
-
发表了文章 2016-08-02
java-工具-tomcat-加载机制
最近看了Tomcat后, 对Tomcat类加载还不是很清楚, 在网上找了这篇文章, 很赞. 原文排版更精美, 推荐阅读原文. 前言 说到本篇的tomcat类加载机制，不得不说翻译学习tomcat的初衷。
-
发表了文章 2016-07-31
spark-2.0-从RDD到DataSet
DataSet API和DataFrame两者结合起来，DataSet中许多的API模仿了RDD的API，实现不太一样，但是基于RDD的代码很容易移植过来。 spark未来基本是要在DataSet上扩展了，因为spark基于spark core关注的东西很多，整合内部代码是必然的。
-
发表了文章 2016-07-30
java-基础-Clone()
假如说你想复制一个简单变量。很简单： int apples = 5; int pears = apples; int apples = 5; int pears = apples; 不仅仅是int类型，其它七种原始数据类型(boolean,char,byte,short,float,double.long)同样适用于该类情况。
-
发表了文章 2016-07-30
java-基础-static
“static方法就是没有this的方法。在static方法内部不能调用非静态方法，反过来是可以的。而且可以在没有创建任何对象的前提下，仅仅通过类本身来调用static方法。
-
发表了文章 2016-07-30
java-基础-类与继承
类文件是以.java为后缀的代码文件，在每个类文件中最多只允许出现一个public类，当有public类的时候，类文件的名称必须和public类的名称相同，若不存在public，则类文件的名称可以为任意的名称（当然以数字开头的名称是不允许的）。
-
发表了文章 2016-07-30
java-基础-接口和抽象类
对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。
-
发表了文章 2016-07-30
java-基础-final
谈到final关键字，想必很多人都不陌生，在使用匿名内部类的时候可能会经常用到final关键字。另外，Java中的String类就是一个final类，那么今天我们就来了解final这个关键字的用法。
-
发表了文章 2016-07-30
java-基础-内部类
说起内部类这个词，想必很多人都不陌生，但是又会觉得不熟悉。原因是平时编写代码时可能用到的场景不多，用得最多的是在有事件监听的情况下，并且即使用到也很少去总结内部类的用法。
-
发表了文章 2016-07-30
java-IO-字节流与和字符流
字节流与和字符流的使用非常相似，两者除了操作代码上的不同之外，是否还有其他的不同呢？ 实际上字节流在操作时本身不会用到缓冲区（内存），是文件本身直接操作的，而字符流在操作时使用了缓冲区，通过缓冲区再操作文件，如图12-6所示。
-
发表了文章 2016-07-30
java-IO-基本概念
1.什么是IO Java中I/O操作主要是指使用Java进行输入，输出操作. Java所有的I/O机制都是基于数据流进行输入输出，这些数据流表示了字符或者字节数据的流动序列。
-
发表了文章 2016-07-30
java-jvm-内存分区
学过C语言的朋友都知道C编译器在划分内存区域的时候经常将管理的区域划分为数据段和代码段，数据段包括堆、栈以及静态数据区。那么在Java语言当中，内存又是如何划分的呢？ 由于Java程序是交由JVM执行的，所以我们在谈Java内存区域划分的时候事实上是指JVM内存区域划分。
-
发表了文章 2016-07-30
java-工具-Webservice wsdl解析
原文链接：http://www.cnblogs.com/coshaho/p/5689738.html wsdl解析 首先必然是理解第三方webservice的接口描述，也就是解析wsdl文件。
-
发表了文章 2016-07-30
java-基础-TreeMap和HashMap
HashMap通过hashcode对其内容进行快速查找，而 TreeMap中所有的元素都保持着某种固定的顺序，如果你需要得到一个有序的结果你就应该使用TreeMap（HashMap中元素的排列顺序是不固定的）。
-
发表了文章 2016-07-30
java-基础-Arrays剖析
Arrays.sort()数组排序 Java Arrays中提供了对所有类型的排序。其中主要分为Primitive(8种基本类型)和Object两大类。 基本类型：采用调优的快速排序； 对象类型：采用改进的归并排序。
-
发表了文章 2016-07-30
java-基础-LinkedList剖析
一、源码解析1、 LinkedList类定义2、LinkedList数据结构原理3、私有属性4、构造方法5、元素添加add()及原理6、删除数据remove()7、数据获取get()8、数据复制clone()与toArray()9、遍历数据：Iterator()二、ListItr 一、源码解析 1、 LinkedList类定义。
-
发表了文章 2016-07-30
java-基础-ArrayList剖析
ArrayList是List接口的可变数组的实现。实现了所有可选列表操作，并允许包括 null 在内的所有元素。除了实现 List 接口外，此类还提供一些方法来操作内部用来存储列表的数组的大小。
-
发表了文章 2016-07-30
java-基础-hashset剖析
HashSet实现Set接口，由哈希表（实际上是一个HashMap实例）支持。它不保证set 的迭代顺序；特别是它不保证该顺序恒久不变。此类允许使用null元素。对于HashSet而言，它是基于HashMap实现的，HashSet底层使用HashMap来保存所有元素，因此HashSet 的实现比较简单，相关HashSet的操作，基本上都是直接调用底层HashMap的相关方法来完成。
暂无更多信息
-
发表了文章
2017-08-27
一个分布式测试系统利器
-
发表了文章
2017-06-10
Kudu
-
发表了文章
2017-05-02
Spark Streaming和Flink的Word Count对比
-
发表了文章
2017-02-23
Java反射在JVM的实现
-
发表了文章
2017-02-15
Mysql的索引和慢查询优化
-
发表了文章
2017-02-15
OLTP新贵G家F1的替代者TiDB
-
发表了文章
2017-02-15
Big Mysql的中间件
-
发表了文章
2016-12-09
System.arraycopy
-
发表了文章
2016-12-09
java轻量级IOC框架Guice
-
发表了文章
2016-12-09
Elasticsearch架构
-
发表了文章
2016-12-09
Apache Solr vs Elasticsearch-feature
-
发表了文章
2016-11-21
DistributedLog
-
发表了文章
2016-11-17
ES问题
-
发表了文章
2016-10-24
Palo
-
发表了文章
2016-10-22
Fully Convolutional Networks for Semantic Segmentation(全卷积网络FCN）
-
发表了文章
2016-10-22
R-FCN: Object Detection via Region-based Fully Convolutional Networks
-
发表了文章
2016-10-22
SSD: Single Shot MultiBox Detector
-
发表了文章
2016-10-10
ES in Hive
-
发表了文章
2016-10-10
ES集群安装配置
-
发表了文章
2016-10-10
SQL for ES
滑动查看更多
-
提交了问题
2016-07-09
多个consumer会出现错误
-
提交了问题
2016-07-09
突然拉不到数据了！！！！求助
-
回答了问题
2016-07-09
突然拉不到数据了！！！！求助
Re突然拉不到数据了！！！！求助 配置了teamcode 的 以前是可以拉去消息的，增加了consumer后就报错 https://github.com/alibaba/RocketMQ/issues/40 上说是：错误提示不太准确， 你start前设置一个不同的instance name赞0 踩0 评论0 -
回答了问题
2016-07-09
Customer Group已存在问题
ReCustomer Group已存在问题 多个consumer会报错！你解决了吗赞0 踩0 评论0 -
提交了问题
2016-07-01
关于第二题的100G数据！官方可否给大于100G的模拟数据
-
提交了问题
2016-07-01
tair超时问题但是可以put/get
-
回答了问题
2016-07-01
tair超时问题但是可以put/get
回 1楼浅墨的帖子 : 网络没有问题呀。 : 就是它自检的时候ping有问题。赞0 踩0 评论0 -
回答了问题
2016-06-29
关于测评精度问题
回 1楼玄弟的帖子 你好！老师，如何pc/无线 无线是0 怎么办？会出现这种情况吗赞0 踩0 评论0 -
提交了问题
2016-06-28
第二题环境问题
-
提交了问题
2016-06-20
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
-
回答了问题
2016-06-19
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行 HELP ME!!!!!!!!!!!!!!!!!!!!!! Fail to run nimbus java.lang.IllegalStateException: instance must be started before calling this method at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j ar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl. java:390) ~[curator-framework-2.5.0.jar:na] at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar: na] at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState. java:130) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32 9) ~[jstorm-core-2.1.1.jar:na] ------------------------- Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行 [ERROR 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:137 main] Fail to run nimbus java.lang.IllegalStateException: instance must be started before calling this method at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j ar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl. java:390) ~[curator-framework-2.5.0.jar:na] at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar: na] at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState. java:130) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32 9) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusUtils.cleanupCorruptTopologies(NimbusUtils.java:2 90) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.init(NimbusServer.java:168) [jstorm-core-2 .1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.launchServer(NimbusServer.java:132) [jstor m-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.main(NimbusServer.java:95) [jstorm-core-2. 1.1.jar:na] [INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:295 main] Notify to quit nimbus [INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:142 main] Quit nimbus赞0 踩0 评论0
滑动查看更多
暂无更多信息