• 基于报警处理的补充

    而当前绝大多数的系统来说,问题处理都是基于报警信息,也就是基于问题处理问题,所以基于报警信息的处理,大部分解决的是当前碰到的具体问题。对于当前的具体问题,分为了几个层面, 资源使用方面,有下面的一些...
    文章 2016-08-11 744浏览量
  • 面对直播app源码的数据质量问题,我们应该怎么

    2、技术因素主要是指因为数据处理技术异常导致的数据质量出现问题的情况,像直播app源码中的数据创建、数据传输、数据使用等数据处理环节,均有发生数据质量问题的可能。3、流程因素所谓的流程因素主要指两个方面,...
    文章 2021-12-16 22浏览量
  • 大数据小视角4:小议Lambda 与 Kappa 架构,不可变...

    (Marz大神是AFS顶级项目Storm的作者,Storm作为一个优秀的分布式流处理系统)所以接下来我们来看看Marz所提出的Lambda架构是怎么样: Lambda架构说起来也很简单,就是通过分布式系统的组件搭建,设计出一个具有鲁棒...
    文章 2018-08-08 2774浏览量
  • 经典大数据架构案例:酷狗音乐的大数据平台重构

    把经过数据实时清洗后的数据重新写入Kafka并保留一定周期,离线计算(批处理)通过KG-Camus拉到HDFS(通过作业调度系统配置相应的作业计划),实时计算基于Storm/JStorm直接从Kafka消费,有很完美的解决方案storm-kafka...
    文章 2016-02-16 2726浏览量
  • 网络堵塞、业务中断 通过鹰眼准确定位

    响应时间管理功能帮助了企业对一个复杂的业务系统,比如网站包括了WebServer,应用服务器和数据库,能够监控各个子系统的响应时间,如果网站出现慢的现象,就能定位是那一个子系统出现问题。以业务服务的视角来管理...
    文章 2017-11-29 976浏览量
  • 云原生HSAP系统Hologres产品价值解读

    如下图所示,Lambda实时数仓在数据采集之后根据业务需求分为实时层与离线层,分别进行实时处理和离线处理。处理结果在数据服务层对接数据应用之前会进行数据的合并,从而实现实时数据与离线数据同时服务于在线数据...
    文章 2020-07-30 2184浏览量
  • 如何使用Delta Lake构建批流一体数据仓库【Databricks...

    我们期望具有实时处理的能力。与此同时&xff0c;我们可以把数据周期性放在Delta Lake中。同时&xff0c;我们需要整套系统的出口具有AI&Reporting能力。1、历史查询第一条处理流比较简单&xff0c;比如通过Apach Spark...
    文章 2022-04-11 219浏览量
  • 如何使用Delta Lake构建批流一体数据仓库【Databricks...

    我们期望具有实时处理的能力。与此同时&xff0c;我们可以把数据周期性放在Delta Lake中。同时&xff0c;我们需要整套系统的出口具有AI&Reporting能力。1、历史查询第一条处理流比较简单&xff0c;比如通过Apach Spark...
    文章 2022-05-09 49浏览量
  • 美团点评 Flink 实时数仓应用经验分享

    实时处理技术,又是强调当前处理状态的一门技术,所以我们认为这两个相对对立的方案重叠在一起的时候,它注定不是用来解决一个比较广泛问题的一种方案。于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库...
    文章 2020-07-04 1945浏览量
  • 热点账户高并发记账方案

    热点账户高并发记账方案热点账户高并发记账带来的问题&xff1f;...MySQLhttps:/www.cnblogs.com/zyl2016/articles/9928567.html选用内存数据库实时处理记账请求&xff0c;然后异步更新到关系型数据库上。
    文章 2022-05-26 1浏览量
  • 网易云音乐基于 Flink+Kafka 的实时数仓建设实践

    针对上面两个问题,我们做了一个 Kafka 监控系统,其监控分为如下两个维度,这样在出现异常的时候就可以进行具体判断出现问题的详细情况: 集群概况的监控:可以看到不同集群对应的 Topic 数量以及运行任务数量,...
    文章 2020-11-02 17952浏览量
  • 作为互联网流量入口,CDN日志大数据你该怎么玩?

    那么针对于需要对CDN的日志进行实时分析、处理及归档等操作的用户来说,就会出现对于线上问题排查的不及时、CDN服务性能无法实时把握,遇到问题的灾备方案对客户端有感等问题。综上所述,更实时地、详细地关注和分析...
    文章 2018-12-19 1848浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    当计算过程出现问题时,无法清晰了解计算作业内部情况,不利于进一步分析。因此,我们改进了 Flink 监控报警机制,增加了很多细粒度的监控指标,主要包括三种: Job 级别监控指标:监控 Job 状态、Checkpoint 状态及...
    文章 2020-03-05 2147浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    当计算过程出现问题时,无法清晰了解计算作业内部情况,不利于进一步分析。因此,我们改进了 Flink 监控报警机制,增加了很多细粒度的监控指标,主要包括三种: Job 级别监控指标:监控 Job 状态、Checkpoint 状态及...
    文章 2020-03-05 1734浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    那么从流式数据处理背后的系统架构去看这个问题,实际上实时的数据处理对于大规模大数据的处理系统带来了大规模的高要求的挑战。因为数据是实时产生的,但是由于成本原因或者处理能力的问题,数据一般采取“先存后算...
    文章 2017-03-13 6345浏览量
  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    那么从流式数据处理背后的系统架构去看这个问题,实际上实时的数据处理对于大规模大数据的处理系统带来了大规模的高要求的挑战。因为数据是实时产生的,但是由于成本原因或者处理能力的问题,数据一般采取“先存后算...
    文章 2017-05-22 1732浏览量
  • Streaming-大数据的未来

    一、实时流式计算系统实时流式计算的意义&xff1a;1、企业渴望获得更及时的数据&xff0c;...让实时处理尽快融入到无限数据的系统中&xff0c;为用户提供高延迟&xff0c;高效率间的灵活选择&xff0c;才是我们未来努力的方向。
    文章 2022-05-25 2浏览量
  • 一个系统,高效解决复杂事件采集-计算-实时触达

    问题的定义是从解决的业务场景出发的,也是最难的一步,如果问题定义的不明白,后面的系统设计很容易出现偏差,甚至各方理解不一,无法落地。上面的这些业务场景有哪些共性呢,用一句话可以描述为:“用户的一系列...
    文章 2019-10-24 7605浏览量
  • 从 Storm 迁移到 Flink,美团外卖实时数仓建设实践

    业务类实时处理面临的几个难点: 业务的多状态性:业务过程从开始到结束是不断变化的,比如从下单->支付->配送,业务库是在原始基础上进行变更的,binlog 会产生很多变化的日志。而业务分析更加关注最终状态,...
    文章 2020-10-21 12885浏览量
  • 美团外卖实时数仓建设实践

    业务类实时处理面临的几个难点: 业务的多状态性:业务过程从开始到结束是不断变化的,比如从下单->支付->配送,业务库是在原始基础上进行变更的,binlog 会产生很多变化的日志。而业务分析更加关注最终状态,...
    文章 2020-11-17 1167浏览量
  • 云原生离线实时一体化数仓建设与实践

    一站式的实时数仓,一个系统能同时解决,OLAP分析与线上服务两个问题。一定要满足业务敏捷响应,数据自助分析,避免数据孤岛,赋能数据服务,简化运维管理。数据服务仅是内部系统,而且要成为外部的在线系统。不但能...
    文章 2022-02-22 361浏览量
  • 架构师于小波:魅族实时消息推送架构

    第四个是处理的接口的调用延时,正常业务调用是1毫秒以内,如果超过了,假如说某一天发现有大狼的100毫秒或者是200毫秒的处理延时,这个业务可能是出现问题的。最后是服务可用性检查,是系统服务不可用了,这个肯定...
    文章 2017-11-26 1542浏览量
  • 分布式实时数据处理实战:从选型、应用到优化

    《分布式实时处理系统:原理、架构与实现》作者。Hurricane实时处理系统主要贡献者。多部C++领域译作。分享大纲: 1.海量数据处理的挑战 2.基础处理架构选型 3.分布式系统结构设计 4.性能调优和数据存储(MongoDB) ...
    文章 2017-05-16 3108浏览量
  • 日志和实时流计算处理

    同时也不局限于实时处理系统。没有任何的理由来限制你去用多种语言来处理昨天或者一个月以前的数据流;也没有说你必须(或者应该)把获得的原始数据丢弃掉。我对流计算处理的看法则更加宽泛,即能做持续数据处理的...
    文章 2017-05-26 1518浏览量
  • 技术揭秘:实时数仓Hologres如何支持超大规模部署与运...

    如何实现实例和集群的监控时效和准确性的双重要求,包括怎么在分钟内完成问题发现和分钟级的问题解决得益于阿里云强大的云原生基础服务研发能力,实时数仓Hologres通过优秀的架构设计和阿里云大数据智能运维中台的...
    文章 2022-02-10 157浏览量
  • LinkedIn前数据专家解读日志与实时处理

    同时也不局限于实时处理系统。没有任何的理由来限制你去用多种语言来处理昨天或者一个月以前的数据流;也没有说你必须(或者应该)把获得的原始数据丢弃掉。我对流计算处理的看法则更加宽泛,即能做持续数据处理的...
    文章 2017-05-02 1207浏览量
  • 实时数仓入门训练营:基于Hologres的实时数仓新架构

    T+1数据接入多种数据源接入定时数据开发与应用1)数据提取/数据转换/数据加载2)ODS数据处理3)DWD标准数据场景4)MDM元数据5)数据集市应用核心痛点1)ETL计算/存储/时间成本过高2)数据处理链路过长3)无法支持...
    文章 2021-07-14 2022浏览量
  • 大数据平台应用 17 个关键技术处理

    1、Hadoop现在已经是大数据的事实标准,而 Hadoop的出现就是运行在廉价商用服务器上,以集群之力,分而治之地解决先前传统数据库、传统存储、传统计算模型束手无策的问题,让大规模数据的处理成为了可能。...
    文章 2019-04-18 2500浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    如果升级程序,重启程序,任务的运行周期结束,window 内的状态或使用 mapstate 的带状态算子(Operator)所保存的数据就会丢失了,为了解决这个问题,给用户提供平滑升级程序方案从而保障数据准确处理,我们实时计算...
    文章 2019-09-10 1441浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    如果升级程序,重启程序,任务的运行周期结束,window 内的状态或使用 mapstate 的带状态算子(Operator)所保存的数据就会丢失了,为了解决这个问题,给用户提供平滑升级程序方案从而保障数据准确处理,我们实时计算...
    文章 2019-09-11 2630浏览量
1 2 3 4 ... 75 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化