使用Apache Arrow助力PySpark数据处理
Apache Arrow从Spark 2.3版本开始被引入，通过列式存储，zero copy等技术，JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。
java程序员转行大数据的优势
大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。
国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。
Kafka（分布式发布订阅消息系统）
http://kafka.apache.org/目前越来越多的开源分布式处理系统如Apache Storm、Spark都支持与Kafka集成。
使用场景：设想这样一个情景：想分析用户在网站上的的浏览行为。这些浏览日志，存数据库浪费，直接存硬盘又怕到时候操作效率低。
此时，消息系统就是一个选择。
1.组件
Broker
['brəʊkə] n.经纪人
Kafka集群包含一个或多个
BDS-HBase集群之间数据迁移同步的利器
BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出，从.