勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
暂无个人介绍
-
发表了文章 2022-05-25
Kafka到底有几个Offset？——Kafka核心之偏移量机制
Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkStreaming的流处理平台，自己进行实时的流处理。 Kakfa的Offset机制是其最核心机制之一，由于API对于部分功能的实现，我们有时并没有手动去设置Offset，那么Kafka到底有几个Offset呢？
-
发表了文章 2022-05-25
Kafka的消息会丢失和重复吗？——如何实现Kafka精确传递一次语义
我们都知道Kafka的吞吐量很大，但是Kafka究竟会不会丢失消息呢？又会不会重复消费消息呢？ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢，我们是否需要复杂的逻辑来自己处理消息重复的情况呢，这种情况恐怕相当复杂而难以处理。但是如果我们能保证消息exactly once，那么一切都容易得多。
-
发表了文章 2022-05-25
大数据实时处理的王者-Flink
大数据实时处理的王者-Flink
-
发表了文章 2022-05-25
Kafka监控工具汇总
对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
-
发表了文章 2022-05-25
实时计算大数据处理的基石-Google Dataflow
简要回顾一下，上一篇我们介绍了Streaming，批量与流式计算，正确性与推理时间的工具，数据处理模式，事件事件与处理时间，窗口化。 在这篇文章中，我想进一步关注上次的数据处理模式，但更详细。 这里会用到一些Google Cloud Dataflow[1]的代码片段，这是谷歌的一个框架，类似于Spark Streaming或Storm。
-
发表了文章 2022-05-25
Streaming-大数据的未来
分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch 那么流计算如何超越批处理呢？ 从这几个方面说明：实时流计算系统，数据处理模式，还有大数据的未来。
-
发表了文章 2022-05-25
什么是Kafka？
通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？
-
发表了文章 2022-05-25
Kafka多线程Consumer
Kafka多线程Consumer
-
发表了文章 2022-05-25
Kafka单线程Consumer及参数详解
Kafka单线程Consumer及参数详解
-
发表了文章 2022-05-25
Kafka快速入门
本文将带您快速的入门Kafka，体验Kafka的基本功能。 安装环境为centos7 jdk1.8 参考官网：http://kafka.apache.org/quickstart
-
发表了文章 2022-05-25
Kafka核心之Producer
本文介绍Kafka的核心之Producer。
-
发表了文章 2022-05-25
Kafka核心之Consumer
本文介绍Kafka的核心之Consumer。 了解了什么是kafka（ https://www.cnblogs.com/tree1123/p/11226880.html）以后 学习Kafka核心之消费者，kafka的消费者经过几次版本变化，特别容易混乱，所以一定要搞清楚是哪个版本再研究。
-
发表了文章 2022-05-24
什么是实时流式计算？
实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么，到底什么是实时流式计算呢？
-
发表了文章
2024-05-15
深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
-
发表了文章
2024-05-15
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
-
发表了文章
2024-05-15
数据资产新规！《关于加强数据资产管理的指导意见》发布（附全文）
-
发表了文章
2024-05-15
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
-
发表了文章
2024-05-15
Apache Paimon 表模式最佳实践
-
发表了文章
2024-05-15
【开源项目推荐】Great Expectations—开源的数据质量工具
-
发表了文章
2024-05-15
最新版本——Hadoop3.3.6单机版完全部署指南
-
发表了文章
2024-05-15
Apache Paimon 在网易传媒推荐场景实践
-
发表了文章
2024-05-15
【开源项目】轻量元数据管理解决方案——Marquez
-
发表了文章
2024-05-15
使用GPT4进行数据分析，竟然被他骗了
-
发表了文章
2024-05-15
Apache DolphinScheduler VS WhaleScheduler
-
发表了文章
2024-05-15
Apache Paimon:Streaming Lakehouse is Coming
-
发表了文章
2024-05-15
大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！
-
发表了文章
2024-05-15
【开源项目推荐】8.9K纯中文本地GPT知识库搭建项目
-
发表了文章
2024-05-15
《数据资产管理实践》方法论梳理
-
发表了文章
2024-05-15
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
-
发表了文章
2024-05-15
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
-
发表了文章
2024-05-15
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
-
发表了文章
2024-05-15
Flink + Paimon 数据 CDC 入湖最佳实践
-
发表了文章
2024-05-15
Apache Paimon流式湖仓学习交流群成立
