• 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    当自己的 Flink 实时任务 Checkpoint 失败时,用户可以先通过 Flink Web UI 进行快速定位 Checkpoint 失败的原因,如果在 Flink Web UI 上面没有看到异常信息,可以去看任务的具体日志进行定位,如下是 Flink Web UI...
    文章 2020-03-11 1205浏览量
  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    当自己的 Flink 实时任务 Checkpoint 失败时,用户可以先通过 Flink Web UI 进行快速定位 Checkpoint 失败的原因,如果在 Flink Web UI 上面没有看到异常信息,可以去看任务的具体日志进行定位,如下是 Flink Web UI...
    文章 2020-03-11 720浏览量
  • 内存泄漏和内存溢出

    的原因是,它申请的内存越来越多,没有释放内存。而操作系统对进程的内存占用有限制。操作系统会将大的进程置换到磁盘去。换到磁盘去就导致速度慢了。主要是磁盘的速度跟不上。这让我联想到以前自己的系统,变得...
    文章 2015-07-11 972浏览量
  • 转 Kafka设计理念浅析

    又由于这一层缓存操作是在OS级的,也就意味着即便Kafka挂掉了重启,缓存也不会失效。减少JVM的GC触发。JVM中的对象会占用除实际数据外的较多空间(如类的信息等等),结构不够紧凑,浪费空间。而当内存中维护的消息...
    文章 2016-05-13 2345浏览量
  • 支付系统的防重设计

    需要动态将上笔支付订单快速置为实效的原因在于,我们需要在内部设定一个逻辑:“如果支付订单处于实效状态并在后面接收到了第三方支付成功的回调,则需要系统自动发起该笔支付订单的原路退款逻辑,并确保该笔订单...
    文章 2018-09-06 4953浏览量
  • 消息队列在测试开发中的应用思路

    消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。而这种允许重试或者延后处理请求的能力通常是造就一个略感不便的用户和一个沮丧透顶的用户之间的区别...
    文章 2017-03-17 1037浏览量
  • Apache Flink 在快手的过去、现在和未来

    目前大部分的业务需求对实时处理延迟要求越来越高,这是个最基本需求。其次,Flink 有丰富的窗口计算模式,且自带状态存储引擎以及精准一次的语义,这个能力极大简化了数据的处理复杂度,显著提升了研发的速度。最后...
    文章 2021-02-26 1058浏览量
  • JStorm-介绍

    是一种基于流水数据的实时处理解决方案。如今,DT时代的当下,用户和企业也不仅仅只满足于离线数据,对于数据的实时性要求也越来越高了。在早期,Storm和JStorm未问世之前,业界有很多实时计算系统,可谓百家争鸣,...
    文章 2016-04-25 4212浏览量
  • JStorm-介绍

    是一种基于流水数据的实时处理解决方案。如今,DT时代的当下,用户和企业也不仅仅只满足于离线数据,对于数据的实时性要求也越来越高了。在早期,Storm和JStorm未问世之前,业界有很多实时计算系统,可谓百家争鸣,...
    文章 2016-04-25 7812浏览量
  • The Log(分布式Log学习)

    一个批处理系统,比如Hadoop,或者一个数据仓库,是以小时或天为单位消费数据,而一个实时系统,通常在秒级消费数据。而数据源或者log,对消费数据的订阅者一无所知,所以,需要在pipeline中做到无缝的添加订阅者和...
    文章 2017-11-14 1144浏览量
  • 架构设计|异步处理流程,多种实现模式详解

    同步处理和异步处理相对,需要实时处理并响应,一旦超过时间会结束会话,在该过程中调用方一直在等待响应方处理完成并返回。同步类似电话沟通,需要实时对话,异步则类似短信交流,发送消息之后无需保持等待状态。2...
    文章 2020-06-04 701浏览量
  • 消息队列常见的 5 个应用场景

    应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。可以控制活动的人数,可以缓解短时间内高流量压垮应用。用户的请求,服务器接收后,首先写入...
    文章 2018-07-30 998浏览量
  • Apache Flink 零基础入门(一):基础概念解析

    而持久化存储,能够保证在整个分布式系统运行失败或者挂掉的情况下做到 Exactly-once,这是状态的另外一个价值。Time,分为 Event time、Ingestion time、Processing time,Flink 的无限数据流是一个持续的过程,...
    文章 2019-08-05 5257浏览量
  • Apache Flink 零基础入门(一):基础概念解析

    而持久化存储,能够保证在整个分布式系统运行失败或者挂掉的情况下做到 Exactly-once,这是状态的另外一个价值。Time,分为 Event time、Ingestion time、Processing time,Flink 的无限数据流是一个持续的过程,...
    文章 2019-07-02 1898浏览量
  • 如何用消息系统避免分布式事务?

    前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。...
    文章 2016-07-13 5395浏览量
  • flume-ng+Kafka+Storm+HDFS 实时系统搭建

    Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。Storm的主要特点如下: 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,...
    文章 2014-10-08 1144浏览量
  • 从JAVA多线程理解到集群分布式和网络设计的浅析

    就我个人的经验来说还没遇到过,但并非绝不可能,我想在常规的同一个JVM内部操作的线程会死掉的概率只有系统挂掉,不然SUN的java虚拟机也太不让人信任了;至少从这一点上我们可以决定在绝大部分情况下线程阻塞的主要...
    文章 2011-04-29 1904浏览量
  • 如何用消息系统避免分布式事务?

    前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。...
    文章 2015-12-04 23398浏览量
  • Flink 在有赞的实践和应用

    JobManager Pod 如果挂掉,借助于 k8s Deployment 能力,JobManager 会根据 yaml 文件重启,状态可能会丢失。而如果 yaml 配置 Savepoint 恢复,则消息可能大量重复。我们希望后续借助于 ZK 或者 etcd 支持 ...
    文章 2021-05-26 1614浏览量
  • 666IDC高防服务器 全年24小时30秒售后回复 有问题找我

    再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。宕机时间点探测uptime确定是否发生重启。进一步通过分析日志是否连续,判断是否发生...
    文章 2020-05-14 490浏览量
  • 日均处理万亿数据!Flink在快手的应用实践与技术演进...

    5%数据处理:实时业务处理,针对特定业务逻辑的实时处理,例如实时调度。Flink 在快手应用的典型场景包括: 快手是分享短视频跟直播的平台,快手短视频、直播的质量监控是通过 Flink 进行实时统计,比如直播观众端、...
    文章 2019-07-17 6336浏览量
  • 日均处理万亿数据!Flink在快手的应用实践与技术演进...

    5%数据处理:实时业务处理,针对特定业务逻辑的实时处理,例如实时调度。Flink 在快手应用的典型场景包括: 快手是分享短视频跟直播的平台,快手短视频、直播的质量监控是通过 Flink 进行实时统计,比如直播观众端、...
    文章 2019-08-03 3324浏览量
  • 阿里云栖开发者沙龙PHP技术专场-聊聊服务稳定性保障...

    第二步,如何保证后端数据库挂掉的数据时候能迁过去?下图可以看到,Nginx中使用lua脚本进行实现,它会检测后端服务返回的一些状态,使用计数器计算失败次数,如果频繁的达到一定程度的失败次数,就切换到从Vanish...
    文章 2019-04-25 2426浏览量
  • 重新定义数据库的时刻,阿里云数据库专家带你了解...

    但是,时间上,多个交换机全部挂掉的几率非常小,相反,几台机器出问题的概率非常大,所以应该着重于解决常见问题,之后使得C和A无限逼近。下面介绍客户发生的变化,如下图所示。客户对数据库的需求正不断演变,首先...
    文章 2018-05-23 3156浏览量
  • 如何设计稳定性横跨全球的 Cron 服务

    那么仅仅需要指定它运行在哪个数据中心即可,剩下的事情就依赖于数据中心的调度系统(当然前提是调度系统也应该是可靠的),调度系统会负责在哪台或者哪些机器上运行服务,以及能够良好的处理机器挂掉这种情况。...
    文章 2017-06-05 1091浏览量
  • 快手基于 Apache Flink 的优化实践

    它也可以做到实时处理和输出&xff0c;让用户快速看到结果。4&xff09;计算过程MapReduce 主要通过 Map 和 reduce 来计算。Map 负责读取数据并作基本的处理&xff0c;reduce 负责数据的聚合。用户可以根据这两种基本算子&xff...
    文章 2020-11-19 6357浏览量
  • 基于Spark机器学习和实时流计算的智能推荐系统

    6-14:namenode经常莫名挂掉,重新配置虚拟机 ubuntu下hostname默认为ubuntu所以一直无法正确启动–修改/etc/hostname 重启 6-15:SparkStreaming实时读取更新模型老是抛异常 解决:allData.cache(没有缓存的话之前...
    文章 2015-06-28 1732浏览量
  • 聊聊互联网营销的第4门功课(详细)

    对于稳定性有强要求的业务方,为了防止空数据,前台场景还可设置多重兜底,如果前台数据源因为各种原因挂掉,可兜底切换为从第三方数据源(如配置中心)拿提前准备好的兜底数据,保障消费者体验。服务基础层分布式...
    文章 2021-08-19 252浏览量
  • 预防宕机靠RAC,和力记易说那就OUT了

    日常生活中我们遇到的电脑“蓝屏”就是宕机的一种常见表现,此外,专业IT机房里的服务器也会因为数据库死锁、某些服务挂掉等发生宕机。为了避免服务器宕机,很多公司会聘用专业IT运维工程师24小时待命通过显示器查看...
    文章 2017-08-09 837浏览量
  • Linux 内核中断内幕【转】

    目前大部分单处理系统都包含一个 I/O APIC 芯片,可以通过以下两种方式来对这种芯片进行配置: 1)作为一种标准的 8259A 工作方式。本地 APIC 被禁止,外部 I/O APIC 连接到 CPU,两条 LINT0 和 LINT1 分别连接到 ...
    文章 2017-11-15 1174浏览量
1 2 3 4 ... 11 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化