• 关于

    实时在线怎么重启

    的搜索结果
  • 唯品会:在 Flink 容器化与平台化上的建设实践

    于是平台提供了更加方便的在线编辑发布、SQL 管理等一栈式开发平台。1、Flink SQL 方案平台的 Flink SQL 方案如上图所示,任务发布系统与元数据管理系统是完全解耦的。1)Flink SQL 任务发布平台化在实践过程中,...

    文章 阿里云实时计算Flink 2021-06-22 805浏览量

  • Flink as a Unified Engine:Now and Next

    流批一体数据集成流批一体不只是一个技术上的问题,我想更详细的解释一下流批一体架构到底怎么去改变在不同典型场景下的数据处理的方式和数据分析的架构。我们先看第一个,在大数据场景下经常需要数据同步或者数据...

    文章 阿里云实时计算Flink 2021-01-20 2044浏览量

  • 网易云音乐基于 Flink+Kafka 的实时数仓建设实践

    数据通过分发服务分发到 Flink 进行处理,然后通过数据清洗进入到 DW 集群,同时在 DW 写的过程中会同步到镜像集群,在这个过程中也会利用 Flink 进行实时计算的统计和拼接,并将生成的 ADS 数据写入在线 ADS 集群和...

    文章 阿里云实时计算Flink 2020-11-02 9383浏览量

  • 阿里云试用中心,为您提供0门槛上云实践机会!

    100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!

    广告

  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与...

    还有在线调试也很重要,一个流在线上出了问题,或者数据引起异常怎么在线分析问题,可以回到某个点重新算一算看一看发生了什么,这允许针对在线执行的作业克隆出一个结点做调试。我们的产品叫StreamCompute,基于很...

    文章 云篆 2016-04-16 6086浏览量

  • 美团点评 Flink 实时数仓应用经验分享

    批次实际上是一个更不常见的场景,有些时候可能会发生数据重导,它跟重启不太一样,重启作业可能就是改一改,然后接着上一次消费的位置启动。而重导的话,数据消费的位置会发生变化。比如,今天的数据算错了,领导很...

    文章 阿里云实时计算Flink 2020-07-04 1088浏览量

  • 18个PPT,29个提问解答,都在这儿啦!

    4月25-26日,全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播,聚焦 Alibaba、Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和业务故事,由 Flink 核心...

    文章 阿里云实时计算Flink 2020-04-28 857浏览量

  • 开放下载!18个PPT,29个提问解答,都在这儿啦!

    4月25-26日,全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播,聚焦 Alibaba、Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和业务故事,由 Flink 核心...

    文章 阿里云实时计算Flink 2020-04-28 16712浏览量

  • 提效降本:蚂蚁金服如何用融合计算改造在线机器学习

    在线系统和离线系统之间比较大的区别,在于如果一个离线系统里的任务挂了,一般来说可以通过重启机器的方式来解决,但对在线系统来说,出于时效性的考虑,我们不能简单的通过重启机群回溯数据的方式来解决。...

    文章 缪克卢汉 2019-11-01 2415浏览量

  • 双11媒体大屏背后的数据技术与产品

    但不巧的是在那一年11月10号23点50分的时候,前端还出现了问题,前端展示的趋势图突然显示异常了,所有人都不知道是怎么回事,于是开始紧急检查,在最后5分钟的时候检查出了问题所在,在最后的5分钟内,前端工程师...

    文章 云栖小秘书 2016-12-08 4086浏览量

  • 菜鸟实时数仓2.0进阶之路

    2.实时数仓加工流程① 一般过程下面简单介绍一下实时数仓的加工流程&xff0c;一般会对接业务库或者日志源&xff0c;通过数据同步的方式&xff0c;比如Sqoop或DataX把消息同步到消息中间件中暂存&xff0c;下游会接一个实时计算...

    文章 阿里云实时计算Flink 2020-11-20 5582浏览量

  • 群消息这么复杂,怎么能做到不丢不重?

    (1)在线消息的投递可能出现消息丢失,例如服务器重启,路由器丢包,客户端crash (2)离线消息的拉取也可能出现消息丢失,原因同上 需要和单对单消息的可靠投递一样,加入应用层的ACK,才能保证群消息一定到达。...

    文章 初商 2019-08-14 444浏览量

  • 唐端荣|DSP投放引擎的设计与实现

    这种设计方式的优点是在高并发且数据量大的场景中,两者不会互相干扰,离线计算与在线计算不会互相抢占资源,提高实时计算的吞吐量;2.内网访问与外网访问分离。DSP业务中有扣费功能,会实时扣减消费金额,所以数据...

    文章 行者武松 2017-08-01 2799浏览量

  • Apache Flink在 bilibili 的多元化探索与实践

    本文由 bilibili 大数据实时平台负责人郑志升分享,本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面:一、B 站实时的前世...

    文章 阿里云实时计算Flink 2021-05-14 1409浏览量

  • 深度解读 Flink 1.11:流批一体 Hive 数仓

    实时数据导入 Hive 数仓,你是怎么做的?Flume、Spark Streaming 还是 Flink Datastream?千呼万唤,Table/SQL 层的 streaming file sink 来啦,Flink 1.11 支持 Filesystem connector[1]和 Hive connector 的 ...

    文章 阿里云实时计算Flink 2020-06-01 9874浏览量

  • Flink SQL CDC 上线!我们总结了 13 条生产实践经验

    目前已上线了 3 个基于 Flink CDC 的作业,已稳定在线上运行了两个星期,并且业务产生的订单实收和账单实收数据能实时聚合输出到 Elasticsearch,输出的数据准确无误。现在也正在对其他报表采用 Flink SQL CDC 进行...

    文章 阿里云实时计算Flink 2020-09-25 9462浏览量

  • (课程)基于HBase做Storm 实时计算指标存储

    大家可以想象一下,如果我计算一个五分钟的指标,到第三分钟挂掉了,此时累计值是 1000,接着拓扑重启了,五分钟还没完,剩下的两分钟它会接着累计,此时是 500。如果是覆盖写,就会得到不正确的结果,实际上整个...

    文章 祝威廉 2016-09-07 2521浏览量

  • Redis

    Redis的持久化方案应该怎么选择?Redis中数据两种情况: 一、redis中存储的是从数据库中取出的内容,不使用持久化方案;二、先向redis中写入数据,通过持久化方案向数据库中保存,这就需要使用持久化方案。如果数据...

    文章 ~信~仰~ 2016-08-27 3567浏览量

  • 独家揭秘:阿里巴巴Zeus资源调度系统

    一种是实时错峰共享资源,当调度系统发现当前在线任务的资源利用率比较低的时候,把离线任务调度上来运行,从而提高资源的利用率。但要确保在线任务优先抢占资源,如果发生离线任务和在线任务争抢资源的情况,要杀掉...

    文章 初商 2019-07-30 2140浏览量

  • 如何提升微服务的幸福感

    被报警吵醒后,想直接在线上修复,有点难,想保留现场又害怕拖垮整个应用,只好先重启为上。但是这只是治标不治本的方式,因为很难复现从而无法有效定位,可能明天又被吵醒,继续重启。上述场景还是建立在报警系统...

    文章 中间件小哥 2020-05-22 559浏览量

  • 如何提升微服务的幸福感?

    被报警吵醒后,想直接在线上修复,有点难,想保留现场又害怕拖垮整个应用,只好先重启为上。但是这只是治标不治本的方式,因为很难复现从而无法有效定位,可能明天又被吵醒,继续重启。上述场景还是建立在报警系统...

    文章 阿里巴巴云原生小助手 2020-10-13 4902浏览量

  • 从Storm和Spark 学习流式实时分布式计算的设计

    流式实时分布式计算系统在互联网公司占有举足轻重的地位,尤其在在线和近线的海量数据处理上。在线系统负责处理在线请求,因此低延时高可靠是核心指标。在线系统是互联网公司的核心,系统的好坏直接影响了流量,而...

    文章 anzhsoft 2014-08-02 2970浏览量

  • 独家揭秘:阿里巴巴Zeus资源调度系统

    一种是实时错峰共享资源,当调度系统发现当前在线任务的资源利用率比较低的时候,把离线任务调度上来运行,从而提高资源的利用率。但要确保在线任务优先抢占资源,如果发生离线任务和在线任务争抢资源的情况,要杀掉...

    文章 kevinliali 2016-04-29 10304浏览量

  • 快手基于 Apache Flink 的优化实践

    看看是怎么一步步走到流式计算的。2003 年&xff0c;Google 的 MapReduce 横空出世&xff0c;通过经典的 Map&Reduce 定义和系统容错等保障来方便处理各种大数据。很快就到了 Hadoop&xff0c;被认为是开源版的 MapReduce...

    文章 阿里云实时计算Flink 2020-11-19 4253浏览量

  • 4期:阿里巴巴自主研发的互动游戏引擎Hilo开源(原...

    云栖社区在线实时培训第三期于3月11日上午顺利结束!本次分享嘉宾为驴妈妈技术副总邵汉成。目前活动视频已经出炉,请点击观看。【活动回顾】游族网络:我们是怎么玩转千台以上游戏云服务器的(含视频、演讲幻灯) ...

    文章 云栖徒骇 2016-03-13 4161浏览量

  • LAMP网站性能优化记

    因为我们的网站是一个在线测评系统,是一个实时动态的系统,一个用户提交一个答案以后,想立即看到评判结果,当答案正确的时候,要立即更新排名信息。如果增加缓存的话,从缓存中取出来的信息就不是最新的,不能显示...

    文章 吞吞吐吐的 2017-10-18 962浏览量

  • 【阿里云新品发布·周刊】第34期:云数据库ClickHouse...

    提供集群重启、实例续费、调整磁盘大小、修改白名单等实例管理、网络管理、安全管理、账号管理、可用区管理等管控功能,支持多重语言的SDK,完整的文档描述,支持OpenAPI Explorer。云数据库 PostgreSQL 版-RDS ...

    文章 云攻略小攻 2019-12-25 2610浏览量

  • Delta Lake-数据湖的数据可靠性

    阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区近万人Spark技术同学在线提问答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!对开源大数据和感兴趣的同学可以...

    文章 开源大数据EMR 2020-03-05 1840浏览量

  • 超大规模商用 K8s 场景下,阿里巴巴如何动态解决容器...

    除了对于实时性要求很高的在线应用外,我们还有离线应用和实时计算应用等:离线计算对于 CPU、Memory 或网络资源的使用以及时间不那么敏感,所以在任何时间段它都可以运行;实时计算,可能对于时间敏感性就会很高。...

    文章 阿里巴巴云原生小助手 2019-10-12 11127浏览量

  • 基于C/S的4层架构 —— ESFramework介绍之(6)

    基于连接的通信像实时视频聊天、实时监控,基于非连接的像发送一张图片给不在线的用户。所有这些,ESF服务平台都提供了支持。10.支持二次开发 在基于ESF服务平台高度可复用和可扩展的基础上,ESF平台可以非常容易...

    文章 zhuweisky 2006-05-28 798浏览量

  • DTCC 2019|云时代数据库迁移&容灾技术新进展与应用

    双11大屏下图展示了双11大屏的情况,大屏上展示了实时交易量,那么2135亿这个数字是怎么计算出来的呢?因为全球的交易都发生在不同的地方,想要实时统计并展现这个数字就需要刚才讲到的DTS技术,通过实时增量订阅来...

    文章 七幕 2019-05-24 3075浏览量

1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化