开源大数据周刊-第78期
新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Rest Proxy组件
KAFKA介绍(分布式架构)
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
欢迎大家一起学习研究相关技术
愿意了解框架技术或者源码的朋友直接求求交流分享技术:2042849237
将预订topics并消费消息的程序成为consumer.
基于 Tracing 数据的拓扑关系生成原理
背景
随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。
Azure EventHub调研
Azure EventHub, AWS Kinesis, Kafka 这几个产品在数据模型和功能上比较接近,附件是去年做的一个调研,有需要的可以拿去参考。