kafka 的有序与无序
同时创建kafka生产者produce,kafka消费者consumer,其中我们的topic创建了3个分区,
生产者发送几条数据,使用命令查看消费。
可以看到刚刚生产的这几条数据,当我退出消费命令,重新使用消费者命令来消费数据时,看一下数据
这时候看到的数据时无序的,总结一点
单个分区:有序
全局分区:无序
1 4肯定是同一个分区的数据,如何保证生产环境下,全局有序呢,先说下必须要保持有序的需求情况,
有一张students表,对表操作的消息发送到kafka中,但是操控表有增加有删除的时候,必须增加先执行
完,才去删除,如果先执行删除了,在insert增加就是错误的了。
spring cloud 学习(8) - sleuth & zipkin 调用链跟踪
业务复杂的微服务架构中,往往服务之间的调用关系比较难梳理,一次http请求中,可能涉及到多个服务的调用(eg: service A -> service B -> service C...),如果想分析各服务间的调用关系,以及各服务的响应耗时,找出有性能瓶颈的服务,这时zipkin就派上用场,它是Twitter公司开源的一个tracing系统,官网地址为: http://zipkin.io/ , spring cloud可以跟它无疑集成。
时序数据在滴滴实时数据开发平台中的处理和应用
在阿里云栖开发者沙龙时序数据库技术专场上,滴滴高级研发工程师张婷婷为大家介绍了滴滴实时数据开发平台的架构变迁,为大家揭示了滴滴如何应用Druid、Spark Streaming以及Flink等主流技术来优化时序数据的加工、存储与查询。
kafka-Java-SpringBoot-API测试
测试三个方面,发送消息,接收消息,以及接收消息时bean的注入.把刚才的项目打包到本地仓库:
-Dmaven.home=E:\apache-maven-3.2.5 -Dclassworlds.conf=E:\apache-maven-3.
美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。