• 关于

    kafka数据存储时间

    的搜索结果
  • E-MapReduce上如何采集Kafka客户端Metrics

    1. 背景 我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息,可以很好地监控Broker运行状态。但完整的Kafk...

    文章 鱼跟猫 2018-08-09 6061浏览量

  • ECS上如何部署Kafka

    一、kafka介绍及原理 kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这...

    文章 小小小杨 2020-08-31 258浏览量

  • Kafka实战(三) -Kafka的自我修养

    Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统要执行多种类型的数据处理与分析,主要包括业务系...

    文章 javaedge 2019-08-25 980浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • [喵咪KafKa(1)]KafKa的介绍以及使用场景

    [喵咪KafKa(1)]KafKa的介绍以及使用场景 前言 哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热的大数据技术,了解的童鞋可能只要一些大数据的带名词比如Hadoop,spark,s...

    文章 喵了个咪_ 2016-09-09 6142浏览量

  • Flink实战(八) - Streaming Connectors 编程

    1 概览 1.1 预定义的源和接收器 Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。 1.2 绑定连接器 连接器提供用于与各种第三方系统连接的代码。目前...

    文章 javaedge 2019-07-26 1419浏览量

  • 介绍一位分布式流处理新贵:Kafka Stream

    本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统...

    文章 行者武松 2017-10-10 2518浏览量

  • Kafka简介

    Kafka是分布式流平台。 一个流平台有3个主要特征: 发布和订阅消息流,这一点与传统的消息队列相似。 以容灾持久化方式的消息流存储。 在消息流发生时处理消息流。 Kafka通常使用在两大类应用中: 在系统或应用之间,构建实时、可靠的消息流管道。 构建实时流应用程序,用于转换或响应数据流 ...

    文章 小忽悠 2018-06-25 828浏览量

  • 概要梳理kafka知识点

    主要是梳理一下kafka学习中的一些注意点,按照消息的流动方向进行梳理.详细的kafka介绍推荐看骑着龙的羊的系列博客,具体的某一块的知识点,可以参考我给出的一些参考文章. 1. kafka在系统中的地位 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。K...

    文章 donfaquir 2018-07-16 831浏览量

  • kafka 基础介绍

    kafka 基础 kafka有四个核心API: 应用程序使用 Producer API 发布消息到1个或多个topic(主题)。 应用程序使用 Consumer API 来订阅一个或多个topic,并处理产生的消息。 应用程序使用 Streams API 充当一个流处理器,从1个或多个...

    文章 技术小甜 2017-11-16 1115浏览量

  • Kafka实战-入门

    1.概述   经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容: Kafka背景 Kafka应用场景...

    文章 smartloli 2016-04-20 5404浏览量

  • 从零到壹构建行为日志聚合

    摘要 行为日志在这个大数据时代的作用日益重要,怎样更好的收集、存储、管理日志也是值得研究的一个问题,大型互联网公司一般都有成熟的日志聚合方案,但是每个公司尤其是中小型公司都要针对自己的应用场景来做技术选型,本文主要针对中小型公司如何以较小的成本快速构建一个行为日志聚合体系以及在建立日志聚合过程中要...

    文章 黑云长剑 2018-02-03 1259浏览量

  • Kafka实战-入门

    1.概述   经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容: Kafka背景 Kafka应用场景...

    文章 smartloli 2016-04-25 3038浏览量

  • flume 单机问题解决与架构更改

    [TOC] 引言 今天针对线上生产环境下单机 flume 拉取kafka数据并存储数据入Hdfs 出现大批量数据延迟. 在网上官网各种搜索数据,并结合官网数据,现进行以下总结 1. 线上单机存在问题简述 当前flume拉取kafa数据量并不大 ,根据flume客户端日志 ,每半分钟hdfs文件写入...

    文章 千狼 2018-11-02 2049浏览量

  • kafka入门介绍(转载)

    Kafka作为一个分布式的流平台,这到底意味着什么? 我们认为,一个流处理平台具有三个关键能力: 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统。 以容错的方式存储消息(流)。 在消息流发生时处理它们。 什么是kakfa的优势? 它应用于2大类应用: 构建实时的流数据管道,可靠...

    文章 晴天哥 2017-09-01 665浏览量

  • 如何正确使用 Flink Connector?

    本文主要分享 Flink connector 相关内容,分为以下三个部分的内容:第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑,对社区反馈的问题进行答疑。 一.Flin...

    文章 阿里云实时计算Flink 2019-09-02 8890浏览量

  • Kafka实战(四) -Kafka门派知多少

    Kafka不是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台 Storm/Spark Streaming/Flink,在大规模流处理领域主流 Kafka经过这么长时间不断的迭代,现在已经能够稍稍比肩这些框架 Kafka社区对于这些框架心存敬意 目...

    文章 javaedge 2019-08-26 1557浏览量

  • 转 Kafka设计理念浅析

    本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里: Kafka设计背景及原因 Kafka的设计特色 Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal ...

    文章 cloudcoder 2016-05-13 2280浏览量

  • Kafka面试题——20道Kafka知识点

    点击图片或戳我查看详情和投简历本篇给大家总结了20道Kafka知识点或者说面试题,持续更新中...1.kafka的3个关键功能?发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。2.kafka通常用于两大类应用?建立实时流数据管道,以可靠地在系统或应用程序...

    文章 奈学教育技术分享 2020-06-29 546浏览量

  • Kafka 消息监控 - Kafka Eagle

    1.概述   在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作。随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafk...

    文章 smartloli 2016-10-10 8005浏览量

  • 通过流处理平台Kafka与云原生数据仓库PostgreSQL做实时数据交互

    一、概述 Apache Kafka是一种开源流数据处理平台,因为其部署简单、性能良好的特性得到广泛应用。本文介绍基于Apache Kafka平台将按约定格式与云原生数据仓库PostgreSQL版做实时数据交互,同步数据至云原生数据仓库PostgreSQL版(以下简称ADBPG)的链路。本文内容安排...

    文章 陆封 2020-10-16 1002浏览量

  • Opentracing Zipkin

    Zipkin是一个开源分布式的追踪系统 http://zipkin.io/,在微服务架构下,能够清晰的找出系统问题所在。它同时管理数据收集和数据查询。Zipkin的设计基于Google Dagger论文 架构 查看您的平台是否已经在instrumentation, 查看列表existing i...

    文章 余二五 2017-11-23 4455浏览量

  • 网易云音乐基于 Flink + Kafka 的实时数仓建设实践

    简介:本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放:https://developer.ali...

    文章 阿里云实时计算Flink 2020-11-02 5878浏览量

  • Apache Kafka 0.8.2.1 发布,消息发布订阅系统

    Apache Kafka 0.8.2.1 发布,该版本修复了 4 个关键 bug: [KAFKA-1919] - Metadata request issued with no backoff in new producer if there are no topics [KAF...

    文章 沉默术士 2017-06-02 1272浏览量

  • 【Kafka】Consumer配置

    从0.9.0.0开始,下面是消费者的配置。 名称 描述 类型 默认值 bootstrap.servers 消费者初始连接kafka集群时的地址列表。不管这边配置的什么地址,消费者会使用所有的kafka集群服务器。消费者会通过这些地址列表,找到所有的kafka集群机器。 list ke...

    文章 端木轩 2017-08-31 9790浏览量

  • 在家办公这些天整理的Kafka知识点大全

    一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1 传统的消息队列&新式的消息队列的模式 上面是传统的消息队列,比如一个用户要注册信息,当用户信息写入数据库后,...

    文章 开源大数据EMR 2020-02-19 815浏览量

  • Flink Kafka Connector 与 Exactly Once 剖析

    作者:史天舒 Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink...

    文章 阿里云实时计算Flink 2019-10-14 2152浏览量

  • SpringBoot开发案例之整合Kafka实现消息队列

    前言 最近在做一款秒杀的案例,涉及到了同步锁、数据库锁、分布式锁、进程内队列以及分布式消息队列,这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。 Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量...

    文章 小柒2012 2018-05-21 8305浏览量

  • Flink: 快速构建统一的实时日志平台

    本文围绕一个中型电商/互联网公司涉及到日志的复杂系统运维、业务运营问题,使用Flink+Kafka+HBase+ES四套系统,告诉读者如何在一家中型互联网公司里面快速构建一套实时日志平台。 背景 最近在维护一个日志的项目,这个项目是负责收集、处理、存储、查询商家相关操作的日志,我们这里就叫...

    文章 jasonli4 2018-09-05 6381浏览量

  • 日志收集之kafka篇

    日志收集     日志收集包括服务器日志收集和埋码日志收集两种。     服务器日志主要是nginx、tomcat等产生的访问和业务日志。     埋码收集主要是某些服务器无法收集,需要在前端进行收集的数据。 收集流程     日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日...

    文章 skyme 2016-08-29 10479浏览量

  • Kafka 消息监控 - Kafka Eagle

    1.概述   在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作。随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafk...

    文章 技术mix呢 2017-11-14 1147浏览量

1 2 3 4 ... 37 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT