玩转阿里云EMR三部曲-入门篇
优异的自动化创建集群让小伙伴专心于业务开发，不再纠结于hadoop、spark版本，按需集群按小时计费模式替小伙伴们极大节省了开支，可以50个节点执行1小时，也可以3个节点执行5小时，非常灵活。可以保留更多精力和成本用于业务开发和维护，而把集群运维/存储问题托管给阿里云。
Spark2.1.0之内置RPC框架
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/80799622
在Spark中很多地方都涉及网络通信，比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。
即时通讯软件openfire+spark+smack
<p style="padding-left:30px"><span style="font-size:12px">所以我基本上分为三篇文章来介绍此类软件的开发：</span></p>
<p style="padding-left:30px"><span style="font-size:12px">第一篇是关于XMPP 协议是啥，IM 是啥以及一个比较有名的开源实现，该开源实现包括三个
[转载] 是时候学习真正的 spark 技术了
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
StreamingPro 简化流式计算配置
前些天可以让批处理的配置变得更优雅StreamingPro 支持多输入，多输出配置，现在流式计算也支持相同的配置方式了。另外未来等另外一个项目稳定，会释放出来配合StreamingPro使用，它可以让你很方便的读写HBase,比如可以为HBase 表 添加mapping，类似ES的做法,也可以不用mapping，系统会自动为你创建列(familly:column作为列名)，或者将所有列合并成一个字段让你做处理。
Spark学习之基础相关组件（1）
Spark学习之基础相关组件（1）
1. Spark是一个用来实现快速而通用的集群计算的平台。
2. Spark的一个主要特点是能够在内存中进行计算，因而更快。
3. RDD（resilient distributed dataset弹性分布式数据集）表示分布在多个计算节点上可以并行操作的元素的集合，是Spark的主要编程抽象。
4. Spark是一个大一