• 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    当自己的 Flink 实时任务 Checkpoint 失败时,用户可以先通过 Flink Web UI 进行快速定位 Checkpoint 失败的原因,如果在 Flink Web UI 上面没有看到异常信息,可以去看任务的具体日志进行定位,如下是 Flink Web UI...
    文章 2020-03-11 1610浏览量
  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用...

    当自己的 Flink 实时任务 Checkpoint 失败时,用户可以先通过 Flink Web UI 进行快速定位 Checkpoint 失败的原因,如果在 Flink Web UI 上面没有看到异常信息,可以去看任务的具体日志进行定位,如下是 Flink Web UI...
    文章 2020-03-11 1977浏览量
  • 内存泄漏和内存溢出

    的原因是,它申请的内存越来越多,没有释放内存。而操作系统对进程的内存占用有限制。操作系统会将大的进程置换到磁盘去。换到磁盘去就导致速度慢了。主要是磁盘的速度跟不上。这让我联想到以前自己的系统,变得...
    文章 2015-07-11 1098浏览量
  • 转 Kafka设计理念浅析

    又由于这一层缓存操作是在OS级的,也就意味着即便Kafka挂掉了重启,缓存也不会失效。减少JVM的GC触发。JVM中的对象会占用除实际数据外的较多空间(如类的信息等等),结构不够紧凑,浪费空间。而当内存中维护的消息...
    文章 2016-05-13 2487浏览量
  • Flink 引擎在快手的深度优化与生产实践

    其次是实时处理和批处理的口径保持一致,保障了最终结果的一致。最后是资源方面的收益,有些场景只需要一套实时系统。我们在调度方面进行了优化。如上图所示的三个 task,起初 a 和 c 已经完成,b 还在运行。这时 a ...
    文章 2022-07-08 715浏览量
  • 支付系统的防重设计

    需要动态将上笔支付订单快速置为实效的原因在于,我们需要在内部设定一个逻辑:“如果支付订单处于实效状态并在后面接收到了第三方支付成功的回调,则需要系统自动发起该笔支付订单的原路退款逻辑,并确保该笔订单...
    文章 2018-09-06 5217浏览量
  • 移动端支付系统如何设计有效地防重失效机制?

    需要动态将上笔支付订单快速置为实效的原因在于,我们需要在内部设定一个逻辑「如果支付订单处于实效状态并在后面接收到了第三方支付成功的回调,则需要系统自动发起该笔支付订单的原路退款逻辑,并确保该笔订单不会...
    文章 2018-08-31 3360浏览量
  • 消息队列在测试开发中的应用思路

    消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。而这种允许重试或者延后处理请求的能力通常是造就一个略感不便的用户和一个沮丧透顶的用户之间的区别...
    文章 2017-03-17 1257浏览量
  • Apache Flink 在快手的过去、现在和未来

    目前大部分的业务需求对实时处理延迟要求越来越高,这是个最基本需求。其次,Flink 有丰富的窗口计算模式,且自带状态存储引擎以及精准一次的语义,这个能力极大简化了数据的处理复杂度,显著提升了研发的速度。最后...
    文章 2021-02-26 1330浏览量
  • JStorm-介绍

    是一种基于流水数据的实时处理解决方案。如今,DT时代的当下,用户和企业也不仅仅只满足于离线数据,对于数据的实时性要求也越来越高了。在早期,Storm和JStorm未问世之前,业界有很多实时计算系统,可谓百家争鸣,...
    文章 2016-04-25 4819浏览量
  • JStorm-介绍

    是一种基于流水数据的实时处理解决方案。如今,DT时代的当下,用户和企业也不仅仅只满足于离线数据,对于数据的实时性要求也越来越高了。在早期,Storm和JStorm未问世之前,业界有很多实时计算系统,可谓百家争鸣,...
    文章 2016-04-25 8321浏览量
  • The Log(分布式Log学习)

    一个批处理系统,比如Hadoop,或者一个数据仓库,是以小时或天为单位消费数据,而一个实时系统,通常在秒级消费数据。而数据源或者log,对消费数据的订阅者一无所知,所以,需要在pipeline中做到无缝的添加订阅者和...
    文章 2017-11-14 1293浏览量
  • 消息中间件系列一、消息中间件的基本了解

    应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。可以控制活动的人数 可以缓解短时间内高流量压垮应用 用户的请求,服务器接收后,首先写入消息...
    文章 2018-10-03 3581浏览量
  • 消息队列常见的 5 个应用场景

    应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。可以控制活动的人数,可以缓解短时间内高流量压垮应用。用户的请求,服务器接收后,首先写入...
    文章 2018-07-30 1436浏览量
  • 如何写一个日志采集工具

    另外,存在句柄引用的文件即便被删掉,空间是不会被释放掉的,导致长时间持有句柄是不是会有磁盘被打爆的风险?这就需要加上相应的定时释放句柄的机制,被删除的文件会加上一个时钟,时钟倒计时为0时把句柄释放掉。...
    文章 2018-11-14 3312浏览量
  • Linux信号(signal)机制分析(1)

    这样做的原因是用户定义的处理函数不能且不允许在内核态下执行(如果用户定义的函数在内核态下运行的话,用户就可以获得任何权限)。4.信号的安装 如果进程要处理某一信号,那么就要在进程中安装该信号。安装信号主要...
    文章 2017-08-15 1205浏览量
  • JStorm-介绍

    而从数据方面来说,它又是一种基于流水数据的实时处理解决方案。如今,DT时代的当下,用户和企业也不仅仅只满足于离线数据,对于数据的实时性要求也越来越高了。在早期,Storm和JStorm未问世之前,业界有很多实时...
    文章 2017-11-16 1288浏览量
  • Apache Flink 零基础入门(一):基础概念解析

    而持久化存储,能够保证在整个分布式系统运行失败或者挂掉的情况下做到 Exactly-once,这是状态的另外一个价值。Time,分为 Event time、Ingestion time、Processing time,Flink 的无限数据流是一个持续的过程,...
    文章 2019-08-05 6843浏览量
  • Apache Flink 零基础入门(一):基础概念解析

    而持久化存储,能够保证在整个分布式系统运行失败或者挂掉的情况下做到 Exactly-once,这是状态的另外一个价值。Time,分为 Event time、Ingestion time、Processing time,Flink 的无限数据流是一个持续的过程,...
    文章 2019-07-02 2123浏览量
  • 任务扫描的架构设计

    动态计算的方式优点很明显,线上的机器扩容、挂掉均不需要做额外处理系统自动检测并能保证所有记录均可以被处理掉。l 动态计算-长链接方式:dubbo、tair、rocketmq集群均是使用这种方式来管理集群中服务器的信息...
    文章 2017-07-15 1175浏览量
  • 如何用消息系统避免分布式事务?

    前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。...
    文章 2016-07-13 5549浏览量
  • 面对Kafka消费不给力,如何轻松解决呢?

    我们写的实时应用因为某种原因挂掉了&xff0c;并且这个任务没有被监控程序监控发现通知相关负责人&xff0c;负责人又没有写自动拉起任务的脚本进行重启。那么在我们重新启动这个实时应用进行消费之前&xff0c;这段时间的...
    文章 2022-06-08 333浏览量
  • 干货|Apache Flink 入门技术分享 PPT(多图预警)1

    能够保证在整个分布式系统运行失败或者挂掉的情况下做到Exactly-once&xff0c;这是状态的另外一个价值。流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件&xff0c;并根据最后一个事件输出结果。例如&...
    文章 2022-06-14 332浏览量
  • flume-ng+Kafka+Storm+HDFS 实时系统搭建

    Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。Storm的主要特点如下: 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,...
    文章 2014-10-08 1321浏览量
  • 从JAVA多线程理解到集群分布式和网络设计的浅析

    就我个人的经验来说还没遇到过,但并非绝不可能,我想在常规的同一个JVM内部操作的线程会死掉的概率只有系统挂掉,不然SUN的java虚拟机也太不让人信任了;至少从这一点上我们可以决定在绝大部分情况下线程阻塞的主要...
    文章 2011-04-29 2039浏览量
  • 如何用消息系统避免分布式事务?

    前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。...
    文章 2015-12-04 24210浏览量
  • Flink 在有赞的实践和应用

    JobManager Pod 如果挂掉,借助于 k8s Deployment 能力,JobManager 会根据 yaml 文件重启,状态可能会丢失。而如果 yaml 配置 Savepoint 恢复,则消息可能大量重复。我们希望后续借助于 ZK 或者 etcd 支持 ...
    文章 2021-05-26 1975浏览量
  • 666IDC高防服务器 全年24小时30秒售后回复 有问题找我

    再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。宕机时间点探测uptime确定是否发生重启。进一步通过分析日志是否连续,判断是否发生...
    文章 2020-05-14 613浏览量
  • 如何用消息系统避免分布式事务

    前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。...
    文章 2016-08-11 1064浏览量
  • 日均处理万亿数据!Flink在快手的应用实践与技术演进...

    5%数据处理:实时业务处理,针对特定业务逻辑的实时处理,例如实时调度。Flink 在快手应用的典型场景包括: 快手是分享短视频跟直播的平台,快手短视频、直播的质量监控是通过 Flink 进行实时统计,比如直播观众端、...
    文章 2019-08-03 4219浏览量
1 2 3 4 ... 23 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化