大数据流动_社区达人页

2022年05月

• 05.26 11:46:54
  发表了文章 2022-05-26 11:46:54

  Kafka运维命令大全

  Kafka运维命令大全
• 05.26 11:43:20
  发表了文章 2022-05-26 11:43:20

  快速构建第一个Flink工程

  本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目，安装与示例运行请查看：Flink快速入门--安装与示例运行. 在安装好Flink以后，只要快速构建Flink工程，并完成相关代码开发，就可以轻松入手Flink。

  
• 05.26 11:39:26
  发表了文章 2022-05-26 11:39:26

  Kafka入门宝典（详细截图版）（二）

  Kafka入门宝典（详细截图版）（二）

  
• 05.26 11:32:48
  发表了文章 2022-05-26 11:32:48

  Kafka入门宝典（详细截图版）（一）

  Kafka入门宝典（详细截图版）（一）

  
• 05.26 11:15:35
  发表了文章 2022-05-26 11:15:35

  统一批处理流处理——Flink批流一体实现原理

  统一批处理流处理——Flink批流一体实现原理

  
• 05.26 11:07:34
  发表了文章 2022-05-26 11:07:34

  Flink,Storm,SparkStreaming性能对比

  Flink,Storm,SparkStreaming性能对比

  
• 05.26 11:02:24
  发表了文章 2022-05-26 11:02:24

  最简单流处理引擎——Kafka Streams简介

  最简单流处理引擎——Kafka Streams简介

  
• 05.26 10:03:33
  发表了文章 2022-05-26 10:03:33

  超越Storm，SparkStreaming——Flink如何实现有状态的计算

  超越Storm，SparkStreaming——Flink如何实现有状态的计算

  
• 05.26 09:33:04
  发表了文章 2022-05-26 09:33:04

  穿梭时空的实时计算框架——Flink对时间的处理

  Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。 在Streaming-大数据的未来一文中我们知道，对于流式处理最重要的两件事，正确性，时间推理工具。而Flink对两者都有非常好的支持。

  
• 05.26 09:25:23
  发表了文章 2022-05-26 09:25:23

  替代Flume——Kafka Connect简介

  替代Flume——Kafka Connect简介

  
• 05.26 09:21:04
  发表了文章 2022-05-26 09:21:04

  数据架构的未来——浅谈流处理架构

  数据架构设计领域正在发生一场变革，其影响的不仅是实时处理业务，这场变革可能将基于流的处理视为整个架构设计的核心，而不是将流处理只是作为某一个实时计算的项目使用。本文将对比传统数据架构与流处理架构的区别，并将介绍如何将流处理架构应用于微服务及整体系统中。

  
• 05.25 22:52:44
  发表了文章 2022-05-25 22:52:44

  Flink快速入门--安装与示例运行

  flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。

  
• 05.25 22:49:31
  发表了文章 2022-05-25 22:49:31

  Kafka到底有几个Offset？——Kafka核心之偏移量机制

  Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkStreaming的流处理平台，自己进行实时的流处理。 Kakfa的Offset机制是其最核心机制之一，由于API对于部分功能的实现，我们有时并没有手动去设置Offset，那么Kafka到底有几个Offset呢？

  
• 05.25 22:46:06
  发表了文章 2022-05-25 22:46:06

  Kafka的消息会丢失和重复吗？——如何实现Kafka精确传递一次语义

  我们都知道Kafka的吞吐量很大，但是Kafka究竟会不会丢失消息呢？又会不会重复消费消息呢？ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢，我们是否需要复杂的逻辑来自己处理消息重复的情况呢，这种情况恐怕相当复杂而难以处理。但是如果我们能保证消息exactly once，那么一切都容易得多。

  
• 05.25 22:41:13
  发表了文章 2022-05-25 22:41:13

  大数据实时处理的王者-Flink

  大数据实时处理的王者-Flink

  
• 05.25 22:38:19
  发表了文章 2022-05-25 22:38:19

  Kafka监控工具汇总

  对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。

  
• 05.25 22:29:18
  发表了文章 2022-05-25 22:29:18

  实时计算大数据处理的基石-Google Dataflow

  简要回顾一下，上一篇我们介绍了Streaming，批量与流式计算，正确性与推理时间的工具，数据处理模式，事件事件与处理时间，窗口化。 在这篇文章中，我想进一步关注上次的数据处理模式，但更详细。 这里会用到一些Google Cloud Dataflow[1]的代码片段，这是谷歌的一个框架，类似于Spark Streaming或Storm。

  
• 05.25 22:12:41
  发表了文章 2022-05-25 22:12:41

  Streaming-大数据的未来

  分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch 那么流计算如何超越批处理呢？ 从这几个方面说明：实时流计算系统，数据处理模式，还有大数据的未来。

  
• 05.25 22:03:55
  发表了文章 2022-05-25 22:03:55

  什么是Kafka？

  通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？

  
• 05.25 21:58:35
  发表了文章 2022-05-25 21:58:35

  Kafka多线程Consumer

  Kafka多线程Consumer
• 05.25 21:56:46
  发表了文章 2022-05-25 21:56:46

  Kafka单线程Consumer及参数详解

  Kafka单线程Consumer及参数详解
• 05.25 21:53:46
  发表了文章 2022-05-25 21:53:46

  Kafka快速入门

  本文将带您快速的入门Kafka，体验Kafka的基本功能。 安装环境为centos7 jdk1.8 参考官网：http://kafka.apache.org/quickstart
• 05.25 21:24:31
  发表了文章 2022-05-25 21:24:31

  Kafka核心之Producer

  本文介绍Kafka的核心之Producer。
• 05.25 21:09:25
  发表了文章 2022-05-25 21:09:25

  Kafka核心之Consumer

  本文介绍Kafka的核心之Consumer。 了解了什么是kafka（ https://www.cnblogs.com/tree1123/p/11226880.html）以后 学习Kafka核心之消费者，kafka的消费者经过几次版本变化，特别容易混乱，所以一定要搞清楚是哪个版本再研究。
• 05.24 20:26:53
  发表了文章 2022-05-24 20:26:53

  什么是实时流式计算？

  实时流式计算，也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么，到底什么是实时流式计算呢？