• 揭秘双11丝滑般剁手之路背后的网络监控技术

    其机制将热点和实时数据存储在实时节点(Realtime Node)内存中,将历史数据存储在历史节点(history node)的硬盘中,实时+伪实时的结构,保证查询基本都在毫秒级。高速摄入,快速查询正是满足了我们的需求,同时...
    文章 2020-11-23 7626浏览量
  • Storm概念学习系列之什么是实时流计算?

    但是,对于现在大量存在的实时数据,如股票交易的数据,这类数据实时性强,数据量大,没有止境,传统的架构并不合适。流计算就是专门针对这种数据类型准备的。在流数据不断变化的运动过程中实时地进行分析,捕捉到...
    文章 2017-12-18 1549浏览量
  • 实战、运维和调优》——1.1 什么是实时流计算

    但是,对于现在大量存在的实时数据,如股票交易的数据,这类数据实时性强,数据量大,没有止境,传统的架构并不合适。流计算就是专门针对这种数据类型准备的。在流数据不断变化的运动过程中实时地进行分析,捕捉到...
    文章 2017-07-03 2288浏览量
  • 数据中台建设方法论实践之技术选型

    离线计算/批处理离线(offline)计算也叫批处理(batch),与其相对应的是在线(online)计算或实时(realtime)处理处理,就是利用大数据的技术(主要是Hadoop),在计算开始前准备好所有数据,计算期间数据不产生...
    文章 2020-03-09 1117浏览量
  • ​春晚活动下快手实时链路保障实践

    快手春晚实时大屏为作战指挥官提供最核心的活动和公司大盘实时数据,总共承接了100多个实时指标的计算,包括在线、红包、互动等各项指标。主要的挑战表现在三个方面: 数据量大,QPS 在千万级别;实时性要求比较高,...
    文章 2020-06-29 622浏览量
  • 可用性高达五个9!支付系统高可用架构设计实战

    我们常见故障处理措施如下: gt;gt;gt;gt;自动修复 针对自动修复部分,我们常见故障都是三方不稳定造成的,针对这种情况,就是上面说的系统会自动进行重路由。gt;gt;gt;gt;服务降级 服务降级指在出现故障的...
    文章 2017-05-02 1439浏览量
  • 可用性高达五个9!支付系统高可用架构设计实战

    我们常见故障处理措施如下: gt;gt;gt;gt;自动修复 针对自动修复部分,我们常见故障都是三方不稳定造成的,针对这种情况,就是上面说的系统会自动进行重路由。gt;gt;gt;gt;服务降级 服务降级指在出现故障的...
    文章 2018-01-01 1953浏览量
  • Flink在美团的实践与应用

    那与离线的处理不同的是,实时的场景下,数据处理的表意能力可能有一定的限制,比如说他要进行精确计算以及时间窗口都是需要在此之上去开发很多功能性的东西。开发调试成本高:近千结点的集群上已经跑了近万的作业,...
    文章 2019-04-26 1102浏览量
  • 运维监控系统建设|学习笔记

    对运维监控系统的设计目标l 对系统、服务或平台的运行状态实行实时不间断监控l 不间断实时反应系统、服务或平台的运行状态信息l 提前预知可能存在的故障风险l 实现故障预警报警功能通过监控数据快速定位故障原因...
    文章 2021-09-13 95浏览量
  • Flink在美团的实践与应用

    那与离线的处理不同的是,实时的场景下,数据处理的表意能力可能有一定的限制,比如说他要进行精确计算以及时间窗口都是需要在此之上去开发很多功能性的东西。开发调试成本高:近千结点的集群上已经跑了近万的作业,...
    文章 2018-10-15 1071浏览量
  • Flink在美团的实践与应用

    那与离线的处理不同的是,实时的场景下,数据处理的表意能力可能有一定的限制,比如说他要进行精确计算以及时间窗口都是需要在此之上去开发很多功能性的东西。开发调试成本高:近千结点的集群上已经跑了近万的作业,...
    文章 2018-10-15 2389浏览量
  • 企业数仓如何处理?Flink来报到|开发者社区精选文章...

    本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体”大数据处理技术的发展历程。gt;gt;点击阅读全文性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成随着 Flink 在流式计算的应用...
    文章 2021-08-13 68浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    用户可以在新平台上配置实时数据处理规则,并可自由组合 Filter、Split、Window 等常见算子,生产出来的流数据可以存储到流式数仓里。流式数仓是我们参考离线数仓概念打造的基于 Kafka 的数据仓库,用于以数据仓库的...
    文章 2020-03-05 1684浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    用户可以在新平台上配置实时数据处理规则,并可自由组合 Filter、Split、Window 等常见算子,生产出来的流数据可以存储到流式数仓里。流式数仓是我们参考离线数仓概念打造的基于 Kafka 的数据仓库,用于以数据仓库的...
    文章 2020-03-05 1998浏览量
  • 【收藏+下载】Flink 年度学习资料大礼包!

    从媒体的最新资讯推送,到购物狂欢的实时数据大屏,甚至城市级计算的工业大脑,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,企业对大数据处理的需求越来越高,Flink的应用也越来越广泛,相信在...
    文章 2020-03-16 33256浏览量
  • 带你读《企业数据湖》之二:数据湖概念概览

    虽然可能有这样的场景,只用其中一种处理方式就提供了所需的结果,但也有可能同时需要来自批处理和实时数据处理组件处理后产生的数据。这使我们遇到了将批处理结果与实时处理结果合并的问题。这个问题可由Lambda架构...
    文章 2019-10-19 1559浏览量
  • 浅谈sqlserver 的负载均衡

    在前面的博客中,总结了一些常见的“sqlserver集群”“sqlserver数据同步”“sqlserver故障转移”.等相关的实现技巧。今天就不仔细讲解了。今天想推荐大家尝试使用第三方的组件和工具,典型的就是一款ICX数据库路由...
    文章 2011-10-12 1233浏览量
  • 阿里、Uber都在用的Flink你了解多少?

    Flink采用实时处理的执行模型,在数据处理精度和计算性能方面都有更大的优势。3.Flink程序模块 Flink程序包含的主要模块有:Data Source、Transformations和Data Sink。Flink程序包含的主要模块 其中,Data Source...
    文章 2018-09-13 3787浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据的关联(请求都有唯一标识,按照标识group by),数据清洗(只选取需要的数据)以及事件通知。计算延时。从拿到数据到最后过滤输出,要尽可能...
    文章 2019-07-24 11812浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据的关联(请求都有唯一标识,按照标识 group by),数据清洗(只选取需要的数据)以及事件通知。计算延时。从拿到数据到最后过滤输出,要尽...
    文章 2019-08-29 2893浏览量
  • 阿里双11网络技术揭秘:百万级物理和虚拟网络设备的...

    阔海一个数据平台,需要用各个维度的实时数据来进行现状态势感知,通过数据背后业务含义帮助我们制定最优化分配方案。这些方案完全可以按不同需求对成本、时延、带宽利用率组合定制场景。阔海有非常好的可靠性来帮助...
    文章 2018-01-05 4925浏览量
  • Hologres助力飞猪双11实时数据大屏秒级响应

    借此之际,我们将陆续推出云原生实时数仓双11实战系列内容,本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景,并助力飞猪双11实时数据大屏3秒起跳,全程0故障。今年双十一较以往最大的变化就是活动的整体节奏...
    文章 2020-11-26 20722浏览量
  • 基础设施助力双11(十):百万级物理和虚拟网络设备的...

    阔海一个数据平台,需要用各个维度的实时数据来进行现状态势感知,通过数据背后业务含义帮助我们制定最优化分配方案。这些方案完全可以按不同需求对成本、时延、带宽利用率组合定制场景。阔海有非常好的可靠性来帮助...
    文章 2019-07-31 1024浏览量
  • 下一代数据中心架构(第2版)》一1.6 故障排查

    NX-OS与Cisco Nexus交换技术:下一代数据中心架构(第2版)本节将介绍在配置和使用Cisco NX-OS的过程中,对可能出现的问题进行故障排查的基本概念、方法以及通用故障排查指南。1.6.1 show命令 表1-2列出了常见的EXEC...
    文章 2017-05-02 1429浏览量
  • Flink 进阶实战技术解析|开发者社区精选文章合集(三...

    点击阅读全文每日精选电子书《Apache Flink 十大技术难点实战》总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别、问题定位、性能优化等全链路过程,实现从基础概念的准确理解到上手实操的精准熟练,...
    文章 2021-09-08 103浏览量
  • 快速了解Druid——实时数据分析软件

    Druid 设计之初的想法就是为分析而生,它在处理数据的规模、数据处理实时性方面,比传统的OLAP 系统有了显著的性能改进,而且拥抱主流的开源生态,包括Hadoop 等。多年以来,Druid 一直是非常活跃的开源项目。...
    文章 2017-02-21 5809浏览量
  • 轻松应对双11,百万级物理和虚拟网络设备的网络智能化...

    阔海一个数据平台,需要用各个维度的实时数据来进行现状态势感知,通过数据背后业务含义帮助我们制定最优化分配方案。这些方案完全可以按不同需求对成本、时延、带宽利用率组合定制场景。阔海有非常好的可靠性来帮助...
    文章 2017-12-14 1895浏览量
  • 走近华佗,解析自动化故障处理系统背后的秘密

    除了日常的实时故障处理,华佗也收集OS和硬件的关键数据,如Dmesg、Smartctl、Top、Tcp、Ecc等。这些关键的数据进入到MaxCompute进行数据挖掘,来预测某个对象下一个状态(故障)的发生概率,同时也会根据挖掘的结果...
    文章 2016-12-18 4805浏览量
  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    实时任务不同于批处理任务,除非用户主动停止,一般会一直运行,运行的过程中可能存在机器故障、网络问题、外界存储问题等等,要想实时任务一直能够稳定运行,实时任务要有自动容错恢复的功能。而批处理任务在遇到...
    文章 2020-03-11 1353浏览量
  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    实时任务不同于批处理任务,除非用户主动停止,一般会一直运行,运行的过程中可能存在机器故障、网络问题、外界存储问题等等,要想实时任务一直能够稳定运行,实时任务要有自动容错恢复的功能。而批处理任务在遇到...
    文章 2020-03-11 1305浏览量
1 2 3 4 ... 45 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化