• 关于

    实时处理系统错误如何解决

    的搜索结果
  • 世界杯直播背后的实时日志分析

    实时处理:在秒级别对海量数据进行实多维度聚合统计分析 表格存储:实时统计后的各类监控指标 对象存储:日志打包压缩,供用户离线下载 数据仓库:数据离线分析、用户行为分析、物业报表等场景 日志系统涉及的平台 从...

    文章 suntingtao 2018-09-09 1816浏览量

  • 一文深度解读阿里云CDN实时日志的前世今生:挖掘实时...

    CDN实时日志服务基于阿里云CDN大数据系统解决方案,将日志的实时采集、多维分析、可视化运营、监控与报警打通,形成一站式解决方案,整个系统中复杂的事情都交给阿里云来做,让用户尽可能地可以远离“琐事”,更专注...

    文章 樰篱 2018-12-26 4279浏览量

  • How to beat the CAP theorem

    上面的批量处理系统几乎完全解决了在任意数据集上运行任意函数的实时性需求。任何超过几个小时的数据已经被计算进入了批处理视图中,所以剩下来要做的就是处理最近几个小时的数据。我们知道在最近几小时数据上进行...

    文章 寒凝雪 2017-05-02 1627浏览量

  • 阿里云试用中心,为您提供0门槛上云实践机会!

    100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!

    广告

  • Facebook的实时处理技术——Scuba是Facebook的一个...

    随着云计算大数据的发展,有越来越多的场景需要借助于实时数据处理技术,为此有很多公司开发了自己的实时处理系统,Facebook就是其中的一员,他们构建的实时数据处理生态系统每秒钟能够处理数百GB的数据。...

    文章 桃子红了呐 2017-11-15 1444浏览量

  • 仅为代码实际运行资源付费 解构国内首个函数计算

    如果以serverless的方式构建系统,用户只需要编写处理单个请求的视频转码函数,并设置相应的OSS触发器即可,函数计算系统会保证函数被可靠的执行。大大提高了开发效率。图 2 serverless后端服务 架构总览 接下来,让...

    文章 scorpion 2017-05-10 1356浏览量

  • 仅为代码实际运行资源付费 解构国内首个函数计算

    如果以serverless的方式构建系统,用户只需要编写处理单个请求的视频转码函数,并设置相应的OSS触发器即可,函数计算系统会保证函数被可靠的执行。大大提高了开发效率。图 2 serverless后端服务 架构总览 接下来,让...

    文章 scorpion 2017-05-10 2916浏览量

  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    虽然实时计算中有解决数据协同等待的问题,但无法彻底解决数据的丢失问题(数据延时过大/埋点数据丢失),延时以及丢失数据需要采取不同的处理策略。分析准确率。影响准确率的因素很多,主要包括数据完整度以及分析...

    文章 闲鱼技术 2019-07-24 11690浏览量

  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    虽然实时计算中有解决数据协同等待的问题,但无法彻底解决数据的丢失问题(数据延时过大/埋点数据丢失),延时以及丢失数据需要采取不同的处理策略。分析准确率。影响准确率的因素很多,主要包括数据完整度以及分析...

    文章 淘系技术 2019-08-29 2651浏览量

  • Facebook的实时处理技术

    随着云计算大数据的发展,有越来越多的场景需要借助于实时数据处理技术,为此有很多公司开发了自己的实时处理系统,Facebook就是其中的一员,他们构建的实时数据处理生态系统每秒钟能够处理数百GB的数据。...

    文章 玄学酱 2017-07-05 1060浏览量

  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    本节书摘来自华章出版社《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一书中的第1章,第1.10节,南森·马茨(Nathan Marz)[美]詹姆斯·沃伦(JamesWarren)著 马延辉 向 磊 魏东琦 译,更多章节...

    文章 华章计算机 2017-05-02 1214浏览量

  • Lambda plus:云上大数据解决方案

    Lambda的提出者Nathan Marz还假定了批处理相对简单不易出现错误,而流处理相对不太可靠,因此流处理器可以使用近似算法,快速产生对视图的近似更新,而批处理系统会采用较慢的精确算法,产生相同视图的校正版本。...

    文章 Dendi 2019-05-29 2824浏览量

  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    这里举个例子如果需要将应用改造为实时化的,可能在十几年之前会需要打印出一个纸质的报表,但是这个纸质的报表在实时处理的今天就无法展示出实时的形态了,所以首先需要进行报表电子化。其次要想实现低延迟的展现,...

    文章 场景研读 2017-03-13 6007浏览量

  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    这里举个例子如果需要将应用改造为实时化的,可能在十几年之前会需要打印出一个纸质的报表,但是这个纸质的报表在实时处理的今天就无法展示出实时的形态了,所以首先需要进行报表电子化。其次要想实现低延迟的展现,...

    文章 小旋风柴进 2017-05-22 1620浏览量

  • 连载:阿里巴巴大数据实践—实时技术

    离线和准实时都可以在批处理系统中实现(比如Hadoop、MaxCompute、Spark等系统),只是调度周期不一样而已,而实时数据则需要在流式处理系统中完成。简单来说,流式数据处理技术是指业务系统每产生一条数据,就会...

    文章 数据中台君 2020-08-19 1761浏览量

  • 云栖大会Serverless场分享:日志处理挑战与展望

    接下来,我们以日志处理中几个通用场景为例,来说明如何方便地使用日志服务解决实际问题。在DevOps场景下,基于阿里巴巴内部的使用经验,我们将ops的时间进行划分,其中最耗时的部分是问题调查,而问题调查往往需要...

    文章 suntingtao 2017-10-30 3353浏览量

  • 菜鸟+Hologres=智能物流

    为了OLAP分析,需要将数据同步到批处理系统中,为了KV查询,需要将数据同步到KVStore。不同的查询需求就需要借助多个系统,数据在不同系统之间的导入导出不仅会加深数据同步的负担,也会带来冗余存储,也极容易出现...

    文章 May-Hologres 2020-08-10 5696浏览量

  • 大数据架构如何做到流批一体?

    Lambda的提出者 Nathan Marz 还假定了批处理相对简单不易出现错误,而流处理相对不太可靠,因此流处理器可以使用近似算法,快速产生对视图的近似更新,而批处理系统会采用较慢的精确算法,产生相同视图的校正版本。...

    文章 技术小能手 2019-07-01 4704浏览量

  • Flink入坑指南 第一章-简介

    官方介绍-阿里云实时计算(Alibaba Cloud Realtime Compute)(原阿里云流计算)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。实时...

    文章 小白薇薇 2018-12-27 13037浏览量

  • 带你读《企业数据湖》之二:数据湖概念概览

    由架构常识可知,一个系统的速度最多与处理链中最慢的子系统一样快,因此,如果存储层不够快,由近实时处理层执行的操作将会变得很慢,从而阻碍了该架构达到近实时的效果。在Lambda的总体架构中,针对已摄取的数据有...

    文章 云迹九州 2019-10-19 1150浏览量

  • 小红书如何实现高效推荐?解密背后的大数据计算平台...

    首先是如何对Flink进行集群管理,上了生产环境之后需要做Checkpoint,将任务持久化,尤其需要注意的一点是Backfill,持久化一旦出错,需要回到过去的某个时间,重新清除错误数据并恢复数据。Flink集群管理:小红书...

    文章 Ververica 2019-08-05 2235浏览量

  • 小红书如何实现高效推荐?解密背后的大数据计算平台...

    首先是如何对Flink进行集群管理,上了生产环境之后需要做Checkpoint,将任务持久化,尤其需要注意的一点是Backfill,持久化一旦出错,需要回到过去的某个时间,重新清除错误数据并恢复数据。Flink集群管理:小红书...

    文章 阿里云实时计算Flink 2019-08-05 3720浏览量

  • 美团点评 Flink 实时数仓应用经验分享

    明细层的建设思路其实跟离线数仓的基本一致,主要在于如何解决 ODS 层的数据可能存在的数据噪声、不完整和形式不统一的问题,让它在仓库内是一套满足规范的统一的数据源。我们的建议是如果有可能的话,最好入什么仓...

    文章 阿里云实时计算Flink 2020-07-04 1088浏览量

  • 数据系统架构——Lambda architecture

    Lambda架构的主要思想是将大数据系统架构为多层个层次,分别为批处理层(batch layer)、实时处理层(speed layer)、服务层(serving layer)如图(C)。理想状态下,任何数据访问都可以从表达式Query=function(all...

    文章 永不言弃01 2016-07-21 7606浏览量

  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    本节书摘来自华章出版社《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一书中的第3章,第3.1节,南森·马茨(Nathan Marz)[美]詹姆斯·沃伦(JamesWarren)著 马延辉 向 磊 魏东琦 译,更多章节...

    文章 华章计算机 2017-05-02 1183浏览量

  • 带你读《企业数据湖》之三:Lambda架构:一种数据湖...

    一旦批处理层某次执行完毕,并覆盖了快速处理层中的数据,那么实时视图就会被抛弃,然后系统进入下一轮处理。用户提交查询时,会同时向批处理层和快速处理层进行查询,然后将结果合并,并以用户期望的方式将查询结果...

    文章 云迹九州 2019-10-20 2282浏览量

  • 仁人帮探索大数据技术

    他们是目前最重要的三大分布式计算系统,Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的实时的大数据处理。以及阿里云推出的数加,它也包括了大数据计算服务...

    文章 隐林 2017-10-10 3948浏览量

  • 小红书如何实现高效推荐?解密背后的大数据计算平台...

    实时处理依赖于Flink,首先用户的实时交互进入Kafka,借助Flink任务维护用户笔记画像,将其传给线上用户画像系统。相对来说,用户的笔记画像比较简单,不会存在过多的状态。而实时处理中非常重要的场景是实时...

    文章 社区助手 2019-07-30 3215浏览量

  • 如何使用ARMS配置tengine的日志监控

    最近公司通过业务实时监控服务 ARMS 成功搭建了基于tengine的日志监控系统。这里简单分享一下使用ARMS用于监控tengine日志的经验。公司发展至今,现阶段所有接口都使用阿里的tengine作为web容器,类似nginx,在日志...

    文章 中间件雁溪 2017-08-08 3498浏览量

  • Lambda plus:云上大数据解决方案

    Lambda的提出者Nathan Marz还假定了批处理相对简单不易出现错误,而流处理相对不太可靠,因此流处理器可以使用近似算法,快速产生对视图的近似更新,而批处理系统会采用较慢的精确算法,产生相同视图的校正版本。...

    文章 Dendi 2019-05-31 884浏览量

  • 【译】使用Apache Kafka构建流式数据平台(1)

    2010年左右,我们开始构建一个系统:专注于实时获取流式数据(stream data),并规定各个系统之间的数据交互机制也以流式数据为承载,同时还允许对这些流式数据进行实时处理。这就是Apache Kafka的原型。我们对整个...

    文章 杜琪 2016-06-07 3245浏览量

1 2 3 4 ... 44 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化