Flink-Kafka-Connector Flink结合Kafka实战
简介
Flink-kafka-connector用来做什么?
Kafka中的partition机制和Flink的并行度机制结合,实现数据恢复Kafka可以作为Flink的source和sink任务失败,通过设置kafka的offset来恢复应用
kafka简单介绍
关于kafka,我们会有专题文章介绍,这里简单介绍几个必须知道的概念。
Kafka消费者——从 Kafka读取数据
应用程序使用 KafkaConsumer向 Kafka 订阅主题,并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据,它涉及一些独特的概念和想法。
消息中间件MetaQ高性能原因分【对外公布版本】
## 简介
前面写了关于文件系统的三篇文章,[深入浅出文件系统][文件系统之读写基础篇],[文件系统之读写高级篇],此篇算是对文件系统相关文章的一个总结。
`MetaQ`是一款高性能的消息中间件,经过几年的发展,已经非常成熟稳定,历经多年双11的零点峰值压测,表现堪称完美。
`MetaQ`当前最新最稳定的稳本是`3.x`系统,`MetaQ 3.x`重新设计和实现,比之前的版本更优秀。
搞懂分布式技术21:浅谈分布式消息技术 Kafka
浅谈分布式消息技术 Kafka
本文主要介绍了这几部分内容:
1基本介绍和架构概览
2kafka事务传输的特点
3kafka的消息存储格式:topic和parition
4副本(replication)策略:主从.