• 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    由于 checkpoint 是 Flink job 内部状态,当 job 重启时,上一个 job 的状态就丢失掉,导致部分数据丢失,影响到业务。针对上述问题,我们对 Flink 作业状态管理进行了改进。用户提交 Flink job 时,会在实时计算...
    文章 2020-03-05 1899浏览量
  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    由于 checkpoint 是 Flink job 内部状态,当 job 重启时,上一个 job 的状态就丢失掉,导致部分数据丢失,影响到业务。针对上述问题,我们对 Flink 作业状态管理进行了改进。用户提交 Flink job 时,会在实时计算...
    文章 2020-03-05 1635浏览量
  • Jstorm到Flink在今日头条的迁移实践

    右边是Spout和Bolt的逻辑,其实是抽象出来了一个函数,就在这里面写业务方面的函数,然后将tuple_batch也就是上游流下来的数据去做一些计算逻辑。下面详细介绍一下配置文件的信息,其实我们有整个拓扑结构拓扑的信息...
    文章 2018-11-14 2004浏览量
  • Jstorm到Flink 在今日头条的迁移实践

    右边是Spout和Bolt的逻辑,其实是抽象出来了一个函数,就在这里面写业务方面的函数,然后将tuple_batch也就是上游流下来的数据去做一些计算逻辑。04.jpg 下面详细介绍一下配置文件的信息,其实我们有整个拓扑结构...
    文章 2018-10-15 2908浏览量
  • LMAX架构

    通过事件驱动(event sourcing)他们也可以在处理器之间以微秒速度切换,每晚创建快照,每晚重启业务逻辑处理器,这种复制方式能够保证他们没有当机时间,实现24/7. 事件方式是有价值的因为它允许处理器可以完全在内存...
    文章 2016-04-11 1457浏览量
  • 看!闲鱼在ServiceMesh的探索和实践

    业务代码和客户端SO库代码打包在一起,运行在同一进程,一旦微服务框架需要升级,业务代码也需要维护和重启。复杂性:进程内的多个语言环境,跨语言数据表示和传输等问题,都会增加系统的复杂性,降低原有服务的性能...
    文章 2019-08-08 2919浏览量
  • SQL Server 2012 自动增长列,值跳跃问题

    在我们的业务逻辑中像这样的情况是不允许展现在客户端的,因此我们要解决此难题。代码使用 刚开始我们都很奇怪,这是怎么发生的?我们通常不会手动向自增列插入任何值(向自增列手动插入值是可以的),自增列的值是...
    文章 2016-03-18 1058浏览量
  • Linux开机启动分析与系统配置

    而且rc.local中会出现大量的复杂的业务逻辑代码。修改系统配置、启动业务进程等逻辑都会存在这个文件中,调用关系复杂,维护很痛苦。一些case: 1.开启iptables之后,偶尔会遇到 `nf_conntrack:table full,dropping ...
    文章 2016-08-01 2680浏览量
  • Knative Serving 健康检查机制分析

    Knative 中的业务 Pod 有 Queue-Proxy 和 user-container,那么 Pod 的 readinessProber 和 LivenessProber 分别是怎么做的?Pod 的 readinessProber、LivenessProber 和业务的健康状态是什么样的关系?Istio ...
    文章 2019-11-08 8754浏览量
  • 如何让快递更"快?菜鸟自研定时任务调度引擎首次公开

    而如果不是通过磁盘来实现,那就带来问题2-1:一台机器在重启之后怎么获取它重启之前的时间轮元数据呢?通过上面的解决定时任务存储问题,对于元数据的存储也可以借助专门的存储服务,但是由于集群的各个节点是无...
    文章 2018-04-12 3405浏览量
  • 【转】构建需求响应式亿级商品详情页

    5、副本队列,当上线后业务出现问题时,修正逻辑可以回放,从而修复数据;可以按照比如固定大小队列或者小时队列设计;6、在设计消息时,按照维度更新,比如商品信息变更和商品上下架分离,减少每次变更接口的调用量...
    文章 2017-07-03 2317浏览量
  • 服务器RAID信息丢失怎么恢复数据?

    客户服务器属于HP品牌DL380系列,存储是由6块73GB SAS硬盘组成的RAID5,操作系统是WINDOWS 2003 SERVER,主要作为企业部门内部的文件服务器来应用,主机(无UPS)故障前经历过几次意外断电,重启后RAID报错,提示...
    文章 2017-05-09 2164浏览量
  • 七年零故障支撑双11的消息中间件 RocketMQ,怎么做到...

    对于延迟敏感业务提供新的消费模式,降低因发布、重启等场景下导致的消费延迟。云原生化实践 背景 Kubernetes 作为目前云原生化技术栈实践中重要的一环,其生态已经逐步建立并日益丰富。目前,服务于集团内部的 ...
    文章 2020-12-16 583浏览量
  • 【PostgreSQL 创新营】第二课:认识PostgreSQL中...

    德哥github里面有一篇pg逻辑架构体系介绍 PG的结构是cluster-database(s)-schema(s)结构,每一层都是隔离的,权限也隔离. oracle-PG的异构迁移,函数和存储过程有好的解决办法吗?Ora2PG或者使用DSG收费产品,阿里云...
    文章 2021-01-20 336浏览量
  • 这些方法助你优化 Android 启动速度

    启动也的优化逻辑比较简单,只是纯业务的上的调整。3、主页优化 主要优化onCreate即可。把可以放线程初始化的都放到线程里去。经过以上几步优化之后,我们发现启动速度有了非常明显的提示,其实大部分的时候都花在了...
    文章 2017-06-08 1130浏览量
  • 快手基于 Flink 构建实时数仓场景化实践

    我们看一下离线过程中,逻辑应该怎么算。首先我们先算活跃设备,把这些合并到一起,然后做一个维度下的天级别去重,接着再去关联维度表,这个维度表包括设备的首末次时间,就是截止到昨天设备首次访问和末次访问的...
    文章 2021-08-20 1063浏览量
  • 年终盘点|七年零故障支撑 双11 的消息...怎么做到的?

    对于延迟敏感业务提供新的消费模式,降低因发布、重启等场景下导致的消费延迟。云原生化实践 1.背景 Kubernetes 作为目前云原生化技术栈实践中重要的一环,其生态已经逐步建立并日益丰富。目前,服务于集团内部的 ...
    文章 2020-12-17 3828浏览量
  • 血泪总结!创业公司CTO要避免哪些坑?

    我们公司创业最初的系统是外包给供应商做的,可他们做了一件令我觉得不可思议的事情:为了把核心代码加入系统中,他们把所有的逻辑都写在了同一层里面,不管逻辑是否通顺,甚至也不管该不该写在其中,全部一股脑写...
    文章 2017-06-12 34222浏览量
  • Knative 健康检查机制分析

    其中 LivenessProber 是判断 Pod 是否活着,如果检查失败 Kubelet 就会尝试重启 Container,ReadinessProber 是来判断业务是否 Ready,只有业务 Ready 的情况下才会把 Pod 挂载到 Kubernetes Service 的 EndPoint 中...
    文章 2019-10-24 5184浏览量
  • 分布式事务中间件 Fescar-全局写排它锁解读

    就是RM模块中对全局写排它锁的使用逻辑,因在真正执行获取全局锁资源前会去循环校验全局锁资源状态,保证在实际获取锁资源时不会因为锁冲突而失败,但这样其实坏处也很明显:在锁冲突比较严重时,会增加本地事务数据...
    文章 2019-02-26 8232浏览量
  • 分布式事务中间件Fescar—全局写排它锁解读

    就是RM模块中对全局写排它锁的使用逻辑,因在真正执行获取全局锁资源前会去循环校验全局锁资源状态,保证在实际获取锁资源时不会因为锁冲突而失败,但这样其实坏处也很明显:在锁冲突比较严重时,会增加本地事务数据...
    文章 2019-01-31 1811浏览量
  • 详解 Flink 指标、监控与告警

    第三点是业务逻辑相关,如上游数据质量、新上的逻辑是否存在问题、数据是否存在丢失(Exactly once 语义中数据是否允许丢失)。3.指标的聚合方式 在上面介绍了常用的监控指标,接下来介绍下这些指标应该怎么看。同...
    文章 2020-07-23 2085浏览量
  • Knative Serving 健康检查机制分析

    其中 LivenessProber 是判断 Pod 是否活着,如果检查失败 Kubelet 就会尝试重启 Container,ReadinessProber 是来判断业务是否 Ready,只有业务 Ready 的情况下才会把 Pod 挂载到 Kubernetes Service 的 EndPoint 中...
    文章 2019-12-18 296浏览量
  • 自研分布式架构 SOFA 背后的工程师|1024快乐

    所以那个时候,支付宝技术团队就考虑能否自己提个标准,这样一来就简单了:首先是要解决分布式一致性问题,必须要分布式的提交协议,这个协议如果在数据库层实现,效率会非常低下,因为数据库层不懂任何的业务逻辑,...
    文章 2018-10-22 2109浏览量
  • 前端优化系列-基于UC内核的极致Web体验

    上图可以看到,容器在处理shouldInterceptRequest的时候,会经过一个消息模块抛转,再处理一大堆业务逻辑,最终导致结果在50ms之后才返回。如果页面有20个请求,那么耗时就1秒了,离线的优势就完全丧失了。再举一个...
    文章 2017-12-21 3598浏览量
  • 数据中台的“自动化数据治理”时代已来

    二是不断地降低数据项目实施成本,实施人员尽量关注业务逻辑本身,简单培训即可自助完成项目,这些都是敏捷思想的体现。举个例子,从使用体验上看,比如增量数据从Oracle实时出来,希望实时写到MySQL里去,只要简单...
    文章 2019-11-18 5275浏览量
  • 日均百亿级日志处理:微博基于 Flink 的实时计算平台...

    ② Interval Join 内部实现逻辑 ③ Interval Join 改造 因 Flink 原生的 Intervak Join 实现的是 Inner Join,而我们业务中所需要的是 Left Join,具体改造如下: 取消右侧数据流的 join 标志位;左侧数据流有 join ...
    文章 2019-10-30 6585浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    不需要过多的关心程序的实现,而是专注于业务逻辑。2.1.2 四步实现 FlinkSQL 提交模块 构建于 Apache Calcite、Apache Flink 之上 将 SQL 映射成 Flink JobGraph※parser:通过 Calcite api 实现解析,最终得到 ...
    文章 2019-09-11 2381浏览量
  • Apache Flink 在同程艺龙实时计算平台的研发与应用...

    不需要过多的关心程序的实现,而是专注于业务逻辑。2.1.2 四步实现 FlinkSQL 提交模块 构建于 Apache Calcite、Apache Flink 之上 将 SQL 映射成 Flink JobGraph※parser:通过 Calcite api 实现解析,最终得到 ...
    文章 2019-09-10 1123浏览量
  • 【双11背后的技术】万亿交易量级下的秒级监控

    但现状如此,这些实现逻辑保障了SunFire的高一致性,不用担心数据不全、报警不准,随便怎么重启计算组件,随便怎么重启Agent。但这些优势的背后,是值得深思的代码复杂度。2.3.1.2.4 路径扫描 为了让用户配置简单...
    文章 2017-01-12 5498浏览量
1 2 3 4 ... 13 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化