• 仅为代码实际运行资源付费 解构国内首个函数计算

    如果以serverless的方式构建系统,用户只需要编写处理单个请求的视频转码函数,并设置相应的OSS触发器即可,函数计算系统会保证函数被可靠的执行。大大提高了开发效率。图 2 serverless后端服务 架构总览 接下来,让...
    文章 2017-05-10 1386浏览量
  • 仅为代码实际运行资源付费 解构国内首个函数计算

    如果以serverless的方式构建系统,用户只需要编写处理单个请求的视频转码函数,并设置相应的OSS触发器即可,函数计算系统会保证函数被可靠的执行。大大提高了开发效率。图 2 serverless后端服务 架构总览 接下来,让...
    文章 2017-05-10 2955浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    案例1:闲鱼发布受影响监控系统发现商品发布接口成功率下跌发出来告警信息,点击告警诊断直接跳转到问题现场,发现是因为安全某个服务错误率飙升导致,整个过程不到5s。案例2:首页因为单机问题受到影响闲鱼首页因为...
    文章 2019-07-24 11753浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    案例1:闲鱼发布受影响,监控系统发现商品发布接口成功率下跌发出来告警信息,点击告警诊断直接跳转到问题现场,发现是因为安全某个服务错误率飙升导致,整个过程不到5s。案例2:首页因为单机问题受到影响,闲鱼首页...
    文章 2019-08-29 2785浏览量
  • ETL测试工具简介

    iCEDQ是一个自动化的ETL测试工具,专门针对数据中心项目(如数据仓库,数据迁移等)所面临的问题而设计.iCEDQ在源系统和目标系统之间执行验证,验证和协调。它确保迁移后数据是否完整,并避免将错误数据加载到目标...
    文章 2019-06-20 3257浏览量
  • 使用Netflix Hystrix编写弹性可容错的应用程序

    Hystrix提供的execution hook是系统整合的一个关键组成部分,因为它有助于实时监测/预警,尤其是错误和回退失败的各种故障,从而帮助我们更迅速的调查和解决问题,几乎没有造成任何对用户的影响。eBay使用实例:...
    文章 2015-12-03 2702浏览量
  • How to beat the CAP theorem

    上面的批量处理系统几乎完全解决了在任意数据集上运行任意函数的实时性需求。任何超过几个小时的数据已经被计算进入了批处理视图中,所以剩下来要做的就是处理最近几个小时的数据。我们知道在最近几小时数据上进行...
    文章 2017-05-02 1649浏览量
  • 通过日志服务调试分布式系统

    在收集过程中做到实时、容错,包括文件系统错误、网络错误 在集群规模上,能够做到可扩展,针对不同规模的集群,都能满足以上需求 日志的关联、分析和查询: 纵向分析:比如查看一次调用的整体过程,由Tracer日志...
    文章 2016-04-25 4352浏览量
  • 大麦库存的高性能及一致性是如何设计的?

    但拆解后面临的问题是如果一 个扣减动作执行失败,如何回滚已经执行的动作。基于分库分表的限制,以上两个扣减动作显 然无法使用数据层的事务做保证。本库存系统选用的是“职责链模式”进行库存扣减步骤的定制化。...
    文章 2020-05-29 787浏览量
  • 如何解决 Java 安全问题?

    如何解决 Java 安全问题,目前的应对策略都十分笨拙,往往适得其反。幸运的是,有一种新的方法可以将安全机制嵌入 Java 执行平台——或者更具体地说,嵌入 Java 虚拟机中,进而规避一些「Big Problem」。保证 Java ...
    文章 2016-01-14 2609浏览量
  • 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    除此之外,整个实时计算系统是由很多服务构建的,所以计算出来的结果可能需要通过消息队列连接更多的服务,比如触发了某个规则引擎中规则,就可能需要调用某一个报警机制,比如发短信来通知用户,这就需要上下游更多...
    文章 2017-05-22 1659浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    除此之外,整个实时计算系统是由很多服务构建的,所以计算出来的结果可能需要通过消息队列连接更多的服务,比如触发了某个规则引擎中规则,就可能需要调用某一个报警机制,比如发短信来通知用户,这就需要上下游更多...
    文章 2017-03-13 6100浏览量
  • Facebook的实时流处理技术——Scuba是Facebook的一个...

    最后是Facebook在构建该系统的过程总结的一些经验教训:首先,没有一个单独的流处理系统能够适应所有场景,针对不同的点使用不同的系统才能更好地解决问题;其次易用性不仅包括使用,还包括开发、调试、部署、监控和...
    文章 2017-11-15 1484浏览量
  • 汽车之家基于 Flink 的数据传输平台的设计与实践

    三、数据传输系统的设计架构从逻辑层面来看,之家的实时数据传输平台分为 3 部分:数据传输程序接入任务信息管理模块任务执行 Runtime 模块在实现上:数据传输程序是由固定的 Flink Jar 和 Flink SQL Codegen ...
    文章 2021-04-15 1727浏览量
  • Monitoring Apache Spark 面临新挑战

    这时,你就需要有一套监控系统来监控错误发生在哪一层。如果没有这个系统,那么势必得花费几倍的时间去查找问题出在哪里。OpsClarity成功解决了这个问题,它可以自动发现数据管道和应用中的全部服务的拓扑结构,并用...
    文章 2017-07-03 753浏览量
  • 美团点评 Flink 实时数仓应用经验分享

    明细层的建设思路其实跟离线数仓的基本一致,主要在于如何解决 ODS 层的数据可能存在的数据噪声、不完整和形式不统一的问题,让它在仓库内是一套满足规范的统一的数据源。我们的建议是如果有可能的话,最好入什么仓...
    文章 2020-07-04 1314浏览量
  • centos 6.4 重启分区故障

    1.default 这个可以写的值(rw ro suid[一种安全机制]user[nouser]普通用户是否可以挂载 exec能否执行二进制文件 sync[async]sync为实时写入硬盘,async不是实时写入,可以先写到内存,FTP中那会用到) ...
    文章 2017-11-07 827浏览量
  • Monitoring Apache Spark 面临新挑战

    这时,你就需要有一套监控系统来监控错误发生在哪一层。如果没有这个系统,那么势必得花费几倍的时间去查找问题出在哪里。OpsClarity成功解决了这个问题,它可以自动发现数据管道和应用中的全部服务的拓扑结构,并用...
    文章 2017-09-01 1164浏览量
  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    本节书摘来自华章出版社《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一书中的第1章,第1.2节,南森·马茨(Nathan Marz)[美]詹姆斯·沃伦(JamesWarren)著 马延辉 向 磊 魏东琦 译,更多章节...
    文章 2017-05-02 1289浏览量
  • 实时数仓入门训练营:基于Hologres的实时数仓新架构

    阿里客户体验系统(CCO)实时数仓改造2020双十一活动期间,实时计算 Flink 版+Hologres为阿里客户体验系统(CCO)构建了集实时化、自动化、系统化于一体的用户体验实时数仓。以前的阿里客户体验系统(CCO)也是典型的...
    文章 2021-07-14 1552浏览量
  • 带你读《企业数据湖》之二:数据湖概念概览

    由架构常识可知,一个系统的速度最多与处理链中最慢的子系统一样快,因此,如果存储层不够快,由近实时处理层执行的操作将会变得很慢,从而阻碍了该架构达到近实时的效果。在Lambda的总体架构中,针对已摄取的数据有...
    文章 2019-10-19 1313浏览量
  • MySQL·引擎特性·从节点可更新机制

    在实现页面部分写检测的功能之后,我们还要解决如何这个问题,我们的目的是能得到正确的数据,而不只是发现错误。当数据库发现页面错误之后,可以采用的办法是通过日志重放来恢复数据。如果要从系统最初的状态重头...
    文章 2017-12-12 1514浏览量
  • 告别诊断烦恼|应用实时监控 ARMS 上线智能和实时诊断...

    接下来来我们还会继续补足智能分析的场景和数据源,希望当 响应时间/错误率 出现问题时,能让用户通过ARMS尽可能的缩短定位和解决问题的时间,让天下没有难解的性能问题。产品链接:应用实时监控服务ARMS
    文章 2019-08-12 2599浏览量
  • Flink 执行引擎:流批一体的融合之路

    如何通过动态调整执行计划的方式来改善引擎的易用性,提高系统的资源利用率;流批一体的 Shuffle 架构介绍如何通过一套统一的 Shuffle 架构既可以满足不同 Shuffle 在策略上的定制化需求,同时还能避免在共性需求上...
    文章 2021-03-25 1837浏览量
  • 数据系统架构——Lambda architecture

    对于大规模的分布式系统来说,人和机器的错误每天都可能会发生,如何应对人和机器的错误,让系统能够从错误中快速恢复尤其重要。b、Low latency reads and updates(低延时):很多应用对于读和写操作的延时要求非常...
    文章 2016-07-21 7762浏览量
  • PHP 依赖镜像出问题后,阿里工程师的一顿“神操作“令...

    错误记录 记录和统计官方错误,阿里云将官方记录当中的一些错误记录下来,在方便内部随时排查问题的同时,也能更准确的了解 Packagist 的情况。自我修复 处理不成功的任务不会被记录,在间隔时间极短的下一次同步中...
    文章 2019-12-25 11966浏览量
  • 如何实现一个跨库连表SQL生成器?

    ADC(Alibaba DChain Data Converger)项目的主要目的是做一套工具,用户在前端简单配置下指标后,就能在系统自动生成的大宽表里面查询到他所需要的实时数据,数据源支持跨库并支持多种目标介质。说的更高层次一点,...
    文章 2020-09-08 1507浏览量
  • 菜鸟+Hologres=智能物流

    2.更快的全链路处理速度(2亿记录端到端3分钟)全量数据处理所需的时间是非常重要的指标,设想某一天新发布的数据处理代码有bug,新产出的数据不可用,即使修复了代码,还得继续解决已经存在的错误数据,此时就要跑...
    文章 2020-08-10 6811浏览量
  • 带你读《Flink原理、实战与性能优化》之一:Apache ...

    在任务执行过程中,能够自动发现事件处理过程中的错误而导致数据不一致的问题,比如:节点宕机、网路传输问题,或是由于用户因为升级或修复问题而导致计算服务重启等。在这些情况下,通过基于分布式快照技术的...
    文章 2019-11-01 5588浏览量
  • 到底什么时候该使用MQ?

    无论如何,记住这个结论:调用方实时依赖执行结果的业务场景,请使用调用,而不是MQ。四、什么时候使用MQ 【典型场景一:数据驱动的任务依赖】 什么是任务依赖,举个栗子,互联网公司经常在凌晨进行一些数据统计任务...
    文章 2019-08-12 1108浏览量
1 2 3 4 ... 41 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化