• 美团点评 Flink 实时数仓应用经验分享

    实时处理技术,又是强调当前处理状态的一门技术,所以我们认为这两个相对对立的方案重叠在一起的时候,它注定不是用来解决一个比较广泛问题的一种方案。于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库...
    文章 2020-07-04 1344浏览量
  • 嵌入式开发:怎么样用PC监控PLC

    目前在自动化系统方面,普遍采用触摸屏加plc的方法来...解决了计算机与PLC实时通信、及PLC对设备实时监控问题,而且在恶劣的工业环境下工作稳定可靠。本文由航大物联网编辑整理(www.lrist.com),如有侵权请联系本站。
    文章 2017-07-03 1943浏览量
  • 分布式实时数据处理实战:从选型、应用到优化

    这张图就是Hurricane的计算模型,Hurricane实时处理系统是一个基于流的分布式实时处理平台,其计算模型是Topology。每个Topology都是一个网络,该网络由计算任务和任务之间的数据流组成。该模型中Spout负责产生新的...
    文章 2017-05-16 2996浏览量
  • 一个系统,高效解决复杂事件采集-计算-实时触达

    结合我们自己的业务,我们将其定义为“日志采集模块、复杂事件的实时处理(EPL)模块、结果触达模块”,其核心的架构图设计如下:核心架构图这3大核心模块,都是通过异步消息进行通信,目的是每个模块可以解耦,即可以...
    文章 2019-10-24 7362浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    其实就是去写一个程序来表达实时处理逻辑,数据是以流的形式进来然后存储在某个消息队列中,之后应用再去消息队列中获取数据并进行计算,并将数据产生的价值传输到下游的系统中。但是与离线计算不同,实时流式计算...
    文章 2017-03-13 6119浏览量
  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    其实就是去写一个程序来表达实时处理逻辑,数据是以流的形式进来然后存储在某个消息队列中,之后应用再去消息队列中获取数据并进行计算,并将数据产生的价值传输到下游的系统中。但是与离线计算不同,实时流式计算...
    文章 2017-05-22 1671浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    如果升级程序,重启程序,任务的运行周期结束,window 内的状态或使用 mapstate 的带状态算子(Operator)所保存的数据就会丢失了,为了解决这个问题,给用户提供平滑升级程序方案从而保障数据准确处理,我们实时计算...
    文章 2019-09-11 2381浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    如果升级程序,重启程序,任务的运行周期结束,window 内的状态或使用 mapstate 的带状态算子(Operator)所保存的数据就会丢失了,为了解决这个问题,给用户提供平滑升级程序方案从而保障数据准确处理,我们实时计算...
    文章 2019-09-10 1123浏览量
  • 怎么实现微服务的实时性能分析?

    在生产环境中,应用程序执行过程中端到端的视图对快速诊断并解决性能退化问题至关重要的,而应用中多达数十的微服务(每个还对应数百个实例)使得理解这点变得非常困难。信息是如何在服务中穿梭流动的?哪里是瓶颈点?...
    文章 2017-08-01 1027浏览量
  • 网易云音乐基于 Flink+Kafka 的实时数仓建设实践

    我们想到把大的 Topic 进行实时分发来解决上面的问题,基于 Flink 1.5 设计了如下图所示的数据分发的程序,也就是实时数仓的雏形。基于这种将大的 Topic 分发成小的 Topic 的方法,大大减轻了集群的压力,提升了性能...
    文章 2020-11-02 12722浏览量
  • 2021 年网易云音乐实时计算平台发展和挑战

    统一开发代码,统一一套SQL解决离线/实时开发问题,降低开发运维成本,彻底解决因为业务理解不同、逻辑不同导致的实时离线数据结果差异大的问题。对于算法同学来说:有实时/离线统一的数仓表可以可以用使用,统一...
    文章 2021-10-12 142浏览量
  • 大数据小视角4:小议Lambda 与 Kappa 架构,不可变...

    Lambda架构结合了实时处理与批处理的结果,很好的反馈了查询需求,并且在速度和可靠性之间求取了平衡,具有足够的扩展性。在Lambda架构之中,所有的查询都可以定位成一个函数: Query=Function(Data) 而Lambda架构...
    文章 2018-08-08 2569浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    借助于 Flink 的实时处理能力,RAP 实现了端到端分钟级低延时的实时报表功能,且支持大规模数据亚秒级查询。维护耗费时间:数据源发生改变时,修改的范围会覆盖整个流程,从数据处理到报表配置全部需要变更,很难...
    文章 2020-03-05 1899浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    借助于 Flink 的实时处理能力,RAP 实现了端到端分钟级低延时的实时报表功能,且支持大规模数据亚秒级查询。维护耗费时间:数据源发生改变时,修改的范围会覆盖整个流程,从数据处理到报表配置全部需要变更,很难...
    文章 2020-03-05 1635浏览量
  • 如何建设灰度跨端监控|D2分享视频+文章

    不同的跨端容器(weex、小程序等)怎么建设灰度监控 灰度报警和普通报警的差异是什么 灰度发布过程的监控,如何帮助业务更好定位问题 技术方案 下面介绍下整体技术方案。技术方案分为四个部分: 灰度发布:发布分为...
    文章 2021-01-08 380浏览量
  • 图文详解:DataHub产品概述

    用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。DataHub服务基于阿里云自研...
    文章 2020-06-11 831浏览量
  • CPU缓存和内存屏障

    as-if-serial语义的意思指:不管怎么重排序(编译器和处理器为了提高并行度),(单线程)程序的执行结果不能被改变。编译器,runtime和处理器都必须遵守as-if-serial语义。也就是说:编译器和处理器不会对存在数据依赖...
    文章 2019-08-28 733浏览量
  • 批流融合实时平台在好未来的应用实践

    要想把 ODS 层数据实时化,我们需要解决两个问题,第一个是离线数据的初始化问题,第二个是增量数据如何写入的问题。离线数据导入比较好做,如果数据源是 MySQL,我们可以使用 DataX 或者 Spark 作业的方式将 MySQL ...
    文章 2021-01-07 2730浏览量
  • 日志和实时流计算处理

    为什么你不去把实时处理和在代码改变时需要的重复处理一起解决?流计算处理系统已经有了并行的概念,为什么不是去通过增加并行性来解决重复处理的问题,并很快的再现历史?答案是你可以这么做。我认为这就是如果你...
    文章 2017-05-26 1417浏览量
  • 从 Spark Streaming 到 Apache Flink:实时数据流在爱...

    针对这个问题,我们处理了Flink在Kafka Broker退出之后的sockerTimeOutException,支持用户重试次数配置来解决这个问题。五、Flink未来工作 最后,介绍一下爱奇艺在Apache Flink的未来工作。目前StreamingSQL还只...
    文章 2019-06-20 2835浏览量
  • LinkedIn前数据专家解读日志与实时处理

    为什么你不去把实时处理和在代码改变时需要的重复处理一起解决?流计算处理系统已经有了并行的概念,为什么不是去通过增加并行性来解决重复处理的问题,并很快的再现历史?答案是你可以这么做。我认为这就是如果你...
    文章 2017-05-02 1177浏览量
  • Stream is the new file

    实时流计算是走了messaging接口规避了文件接口的一些问题,但是针对历史数据的批处理还是需要文件接口,这实际上是针对同一数据的两种系统。所以,对于连续的流式数据的存储层抽象,我们需要的既不是原来的基于传统...
    文章 2021-03-12 1681浏览量
  • 菜鸟程序员都是怎样写代码的?你也可以学一手

    有不少同学会忽视日志的重要性,报错的时候也是选择在本地改代码然后直接部署,但是等待出了问题不知道怎么解决的时候,找谁来都会摸不着头脑。3、不写单元测试 确切来说,是不按TDD的方式开发。在现在IDE这么强大的...
    文章 2019-11-07 702浏览量
  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    首先要强调的是,并非所有日志都需要实时处理,当前很多"T+1"时效的日志交付依然非常重要,比如:做BI可能天级别延迟足够,ctr预估可能1小时延迟的日志也可以。但是,在有些场景下,秒级或更高时效性的日志是必备...
    文章 2018-07-05 13251浏览量
  • 20年资深Oracle老兵:一个经典老问题在12c中的优化...

    这样,无需DBA,更无需应用开发人员修改程序,Oracle自己就能解决这种因数据量陡变而无法保证执行计划最优的问题了。但是,目前Online Statistics Gathering for Bulk-Load不能自动收集索引和Histogram统计信息。...
    文章 2017-05-02 1318浏览量
  • 展望2018音视频技术:AV1,AI,区块链,WebRTC

    2015年加入学霸君,负责构建学霸君的智能路由实时音视频传输系统和网络,解决音视频通信的实时性的问题。近几年专注于存储系统和并发编程,对paxos和raft分布式协议饶有兴趣。尤其喜欢数据库内核和存储引擎,...
    文章 2018-01-03 1553浏览量
  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与...

    只要每对应一批批处理就产生一批输出,这是非常好的想法,是复用批处理里面的容错机制来检验实时计算里面的错误,如果这一批有任何故障就重算这是批处理的方式,这个想法什么问题?我们画两个框,外面从流计算系统...
    文章 2016-04-16 6160浏览量
  • 听上去很美的 Serverless 在中国落地的怎么样了?

    芒果 TV 把短视频上传后,客户的后端系统需要实时处理上传的数据,当数据量较大的时候会有排队现象,如果设置多台服务器处理,在业务低谷的时候,资源闲置浪费。解决方案 芒果 TV 将用户上传的图片存储到阿里云对象...
    文章 2019-12-31 1456浏览量
  • 大咖直播第五期问答整理:小咖秀张华伟讲解千万级用户...

    php代码放到内存中出现问题怎么解决 请问,你们说的读写分离是怎样实现的 系统设计:作为系统架构师,系统设计中最重要的一点 小咖秀没有大数据分析上的部署么 小咖秀后台是用PHP的?消息队列 服务化后模块之间的...
    文章 2016-05-06 2846浏览量
  • 我花10个小时,写出了小白也能看懂的阿里数据中台分析

    这里仅以2017年“友盟+”对外公开的部分指标为例,其中的数据覆盖14亿部活跃设备、685 万家网站、135万个应用程序,日均处理约280亿条数据,这一切都建立在阿里强大的数据处理技术底座之上。如果实时数据足够多,...
    文章 2019-11-06 3825浏览量
1 2 3 4 ... 37 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化