Spark

首页 标签 Spark
# Spark #
关注
9128内容
Redis Cluster 生产实践整理
1、最佳实践 1.1 应用做好容错机制 连接或者请求异常,进行连接retry和reconnect。 做存储使用的 Redis systemd 去掉 Auto Restart 配置,避免Master加载空dump.rdb,replicate到Slave,刷掉Slave数据。 重试时间应该大于c
Spark 多个Stage执行是串行执行的么?
上次在做内部培训的时候,我讲了这么一句:一个Job里的Stage都是串行的,前一个Stage完成后下一个Stage才会进行。 显然上面的话是不严谨的。
【Spark Summit East 2017】Clipper:一个低延迟在线预测服务系统
本讲义出自Dan Crankshaw在Spark Summit East 2017上的演讲,主要介绍了Clipper——一个通用的低延迟预测服务系统,介于最终用户应用程序和各种机器学习框架之间的Clipper模块化的体系结构来简化对于模型的跨框架部署,此外,Clipper通过引入缓存、批处理和自适应模型选择技术,减少了预测延迟并且提高了吞吐量和预测精度以及系统的鲁棒性。
Kubernetes知识小普及
   大部分概念Kubernete官网都有详细介绍,Kubernete中文官网 https://kubernetes.io/zh/docs/tutorials/kubernetes-basics/    官网还提供一个比较好的功能是能在线互动,见互动教程,类似实操命令初步感受。
流式计算领域新霸主Flink的那些事儿
很多人是在2015年才听到Flink这个词的,其实早在2008年,Flink的前身就已经是柏林理工大学的一个研究性项目
Hive 终于等来了 Flink
Flink 社区在集成 Hive 功能方面付出很多,目前进展也比较顺利,最近 Flink 1.10.0 RC1 版本已经发布,感兴趣的读者可以进行调研和验证功能。
StreamingPro 再次支持 Structured Streaming
之前已经写过一篇文章,StreamingPro 支持Spark Structured Streaming,不过当时只是玩票性质的,因为对Spark 2.0+ 版本其实也只是尝试性质的,重点还是放在了spark 1.6 系列的。
免费试用