Kafka

首页 标签 Kafka
# Kafka #
关注
9966内容
Kafka消息序列化和反序列化(上)
Kafka Producer在发送消息时必须配置的参数为:bootstrap.servers、key.serializer、value.serializer。序列化操作是在拦截器(Interceptor)执行之后并且在分配分区(partitions)之前执行的。
欢迎访问我的独立博客 tracefact.net
欢迎访问我的独立博客 tracefact.net 长期以来,我都同时维护着两个博客,博客园和 tracefact.net,感觉有点分散精力,所以博客园以后不再每篇文章都同步更新了,只挑选一些个人认为最好的文章。
Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的
得益于 balanced Kafka reader,从 Kafka 消费的 Spark 应用程序现在可以横向扩展,并具有任意并行度。平衡分区算法很简单,并且已被证明非常有效。由于这些改进,用于摄取日志记录事件的 Spark streaming 作业可以处理比以前多一个数量级的事件。
| |
来自: 云存储
日志服务数据加工的设计与实践
在日志类数据成为生产资料得到越来越多关注的今天,日志服务数据加工抽象了规整、分发、富化等操作,帮助数据在阿里云服务和开源生态间流动起来,让日志分析变得更容易。
免费试用