• 微服务技术栈:流量整形算法,服务熔断与降级

    通常是将请求放入缓冲区或队列内,然后基于特定策略处理请求,匀速或者批量处理,该过程也称流量整形。流量控制的核心算法有以下两种:漏桶算法和令牌桶算法。2、漏桶算法 基础描述 漏桶算法是流量整形或速率限制时...
    文章 2020-06-28 720浏览量
  • CPU静默数据错误:存储系统数据不丢不错的设计思考

    为了检测故障,业界提供了如下的典型校验码算法或纠错码算法:XOR 算法。按照二进制的异或(XOR)计算校验值,能够检测单 Bit 翻转错误。CRC(Cyclic redundancy check)算法。通常由 n 个数据位,通过数学的多项式...
    文章 2021-07-01 3060浏览量
  • 微服务技术栈:流量整形算法,服务熔断与降级

    通常是将请求放入缓冲区或队列内,然后基于特定策略处理请求,匀速或者批量处理,该过程也称流量整形。流量控制的核心算法有以下两种:漏桶算法和令牌桶算法。2、漏桶算法 基础描述漏桶算法是流量整形或速率限制时...
    文章 2020-06-30 529浏览量
  • Serverless理念的弄潮儿—— 阿里云数加平台助力大...

    配置推荐场景算法,在数加平台中一些常见算法也是以服务形态提供的,使用者需要根据不同的应用场景选择合适的算法。API对接,上述配置完成后,再进行API对接。查看效果报表,形成大数据应用的闭环,通过反馈修正...
    文章 2017-01-09 3428浏览量
  • Apache Flink实战(一)-初识Flink

    完全一次的状态一致性:Flink的检查点和恢复算法可确保在发生故障时应用程序状态的一致性。因此,故障是透明处理的,不会影响应用程序的正确性。非常大的状态:由于其异步和增量检查点算法,Flink能够维持几兆兆字节...
    文章 2019-06-15 2456浏览量
  • 如何做到全年配送 0 故障?盒马揭秘 12个关键技术

    支撑了算法数据白盒化改造,在此基础上将继续耕耘,已产出了策略化运营方案、仿真改造方案和算法结果智能诊断方案,我们用实际行动表明,在系统飞速发展的同时,也能做到了智能调度系统全年0故障。二、智能调度链路...
    文章 2020-02-18 693浏览量
  • 封神-运维大脑|日志检测工具

    2.开发设计图1:流程图2.1 日志配置如图2所示,可通过运维大脑前端页面配置需要监控的日志,可单独新增也可批量导入。配置信息包括产品、服务、服务角色、日志类型(DOCKER 物理机 VM)、日志路径、监控周期、算法...
    文章 2021-03-30 3223浏览量
  • 收藏!一张图帮你快速建立大数据知识体系

    业界常见的大规模批量计算框架:Tez、MapReduce、Hive、Spark、Pig、大数据的编程模型 Apache Beam。即席查询分析(ad-hoc query) 大数据进行即席查询分析近两年日益成为关注领域。即席查询(Ad Hoc)是用户根据自己...
    文章 2020-06-11 10668浏览量
  • 分布式存储系统基础

    为了提高系统的并发能力,系统会积攒一定的操作日志再批量写入到磁盘中,这种技术称为成组提交。如果每次服务器出现故障都需要回放所有的操作日志,效率是无法忍受的,检查点(checkpoint)正是为了解决这个问题。系统...
    文章 2017-08-09 1647浏览量
  • 提高 10 倍性能,揭秘淘宝、天猫背后的图片存储如何扛...

    采用“动态工作流”支撑事中灵活应对,面向快速“告警、定位、恢复”的目标设计动态表单引擎和批量执行引擎,性能上支持百万级任务调度和万级别的任务并发,快速响应应急处理。OSS-Brain 数据智能运维平台。它的使命...
    文章 2020-01-05 3265浏览量
  • 后端架构师技术图谱

    LSM(Log-Structured Merge-Trees)和 B+树相比,是牺牲了部分读的性能来换取写的性能(通过批量写入),实现读写之间的。Hbase、LevelDB、Tair(Long DB)、nessDB 采用 LSM 树的结构。LSM可以快速建立索引。《LSM树 ...
    文章 2018-05-07 6300浏览量
  • 入选首个Forrester云数仓研究报告,“后起之秀”...

    智能监控模块:通过算法分析数据加工流程,识别链路上的瓶颈节点,智能判断故障的影响范围 数据质量模块:通过43种统计算法,识别数据质量问题,并及时阻塞下游加工流程,防止数据污染 数据安全模块:内置模式识别...
    文章 2018-11-16 1967浏览量
  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    我知道,新架构不但必须是可扩展的、对机器故障是可容错的,并且要易于推断故障原因—但对人为错误也可容错。重构那套系统的经验,促使我走上了一条“在数据库和数据管理方面怀疑一切我认为是正确的”道路。我想出了...
    文章 2017-05-02 1510浏览量
  • 全面对比,深度解析 Ignite 与 Spark

    RDBMS:SparkRDD 可以将 RDBMS 作为数据来源之一,支持 RDBMS 数据的批量读写,也支持各种类型的 RDBMS,但是 Spark 对 RDBMS 的读写,属于批量模式,Spark 更多地会将 RDBMS 作为分析型业务的数据来源之一,最后如...
    文章 2018-09-29 3191浏览量
  • 玩转ECS-2020修炼手册(第1季)

    批量管理软件轻松搞定,当您需批量对ECS实例中软件进行管理时,通过OOS批量管理软件可轻松搞定,当前支持管理阿里云提供的客户端软件(如云监控Agent和日志服务Agent),以及常见软件包管理系统(如yum和apt-get)。...
    文章 2020-03-18 12429浏览量
  • [译]写给机器学习工程师:如何测试Tensorflow模型

    当然,随着我们经历的这种事情多了,再见到类似错误,十有八九都能猜出来是出的什么故障。即使如此,我们还是会有猜错的时候,更何况有时候错误的代码未必会立即导致运行报错,而是很可能从表面上看起来一切风平浪静...
    文章 2018-04-17 1593浏览量
  • Pregel:A System for Large-Scale Graph Processing

    而我们的消息传递模式通过异步和批量的方式传递消息可以缓解这种远程读取的延迟。图算法其实也可以被写成是一系列的链式MapReduce调用[11,30]。我们选择了另外一种不同的模式的原因在于可用性和性能。Pregel将顶点和...
    文章 2012-11-10 4112浏览量
  • 流计算引擎数据一致性的本质

    作者|齐光来源|阿里技术公众号流计算的应用与实践在大数据领域越来越常见,其重要性不言而喻,常见的流计算引擎有 Google DataFlow、Apache Flink,Apache Kafka Streams,Apache Spark Streaming 等。流计算系统中...
    文章 2021-10-12 2227浏览量
  • 在企业中采用人工智能:福特汽车公司

    福特汽车公司的研究人员在批量生产的汽车中开发并实施了一种创新的发动机不启动(不良燃烧故障,对性能和排放物有负面影响)检测系统——一种基于神经网络的曲轴加速度分类器,可以诊断发动机不启动故障。...
    文章 2017-08-02 1502浏览量
  • NFV实战:如何构建100G线速负载均衡

    为了达到线速就必须采用多核并发处理、批量数据包处理的方式来摊销单个数据包处理所需要的CPU周期数。此外,即使采用上述方式,如果没有得到充分的优化,发生多次cache miss或者是memory copy都无法达到10G线速的...
    文章 2017-05-02 1884浏览量
  • 一次看完28个关于ES的性能调优技巧,很赞,值得收藏!

    批量请求显然会大大提升写入速率,且这个速率是可以量化的,官方建议每次批量的数据物理字节数5-15MB是一个比较不错的起点,注意这里说的是物理字节数大小。文档计数对批量大小来说不是一个好指标。比如说,如果你...
    文章 2020-11-24 1364浏览量
  • 带你读《Python 程序设计与问题求解(原书第2版)》之...

    编写描述一个常见任务的算法,例如烘焙蛋糕或操作DVD 播放器。描述一个没有明确定义的指令,因此不能作为算法中的一个步骤。举一个这样的指令的例子。为什么说笔记本电脑是一种通用的问题解决机器?列出使用计算机的...
    文章 2019-11-05 476浏览量
  • 分布式系统,你真的了解吗?

    除了服务器自己的内存、硬盘等故障,服务器之间的网络线路故障更加常见。而且这种故障还有可能是偶发的,或者是会自动恢复的。面对这种问题,如果只是简单的把“出现故障”的机器剔除出去,那还是不够的。因为网络...
    文章 2017-08-01 1131浏览量
  • 每秒8.8亿次请求!让数据存得起,看得见-云原生多模...

    同时针对NC故障多台同集群ECS受影响宕机,我们提前感知拓扑以及巡检进行ECS的反亲和性打散,避免NC故障导致的故障半径放大。大规模上云也面临着海量数据搬迁的效率和稳定性挑战,Lindorm在经济内是众多离线、在线...
    文章 2020-11-25 1948浏览量
  • 如何成为一名优秀的DBA

    能使用脚本自动化处理工作中的需求,如批量数据导入导出、大批量数据订正。学习使用常用的编程语言访问数据库,学习常用的编程接口。如使用jdbc访问数据库,使用python、perl等接口访问数据库。安装部署数据库 熟悉...
    文章 2020-03-26 952浏览量
  • RDD:基于内存的集群计算容错抽象

    现有的数据流系统对两种应用的处理并不高效:一是迭代式算法,这在图应用和机器学习领域很常见;二是交互式数据挖掘工具。这两种情况下,将数据保存在内存中能够极大地提高性能。为了有效地实现容错,RDD提供了一种...
    文章 2016-04-13 2382浏览量
  • 每秒7亿次请求,阿里新一代数据库如何支撑?

    CCSMap自动规避故障节点的并发三副本日志协议(Quorum-based write)高效的批量组提交(Group Commit)无碎片的高性能缓存—Shared BucketCacheMemstore Bloomfilter面向读写的高效数据结构GC-Invisible内存管理在线计算...
    文章 2019-12-11 1629浏览量
  • 万字干货|每秒7亿次请求,阿里新一代数据库如何支撑?

    CCSMap 自动规避故障节点的并发三副本日志协议(Quorum-based write)高效的批量组提交(Group Commit)无碎片的高性能缓存—Shared BucketCache Memstore Bloomfilter 面向读写的高效数据结构 GC-Invisible内存管理 ...
    文章 2019-12-11 693浏览量
  • 救火必备!问题排查与系统优化手册

    1 常见问题 Know Your Enemy:知己知彼,百战不殆。日常遇到的大部分问题,大致可以归到如下几类: 逻辑缺陷:e.g.NPE、死循环、边界情况未覆盖。性能瓶颈:e.g.接口 RT 陡增、吞吐率上不去。内存异常:e.g.GC 卡顿...
    文章 2020-07-13 2158浏览量
  • 主流大数据系统在后台的层次角色及数据流向

    此外,为了保证服务的高可用性,防止机架、机房甚至是城市的网络、电源故障等突发灾情,重要的业务需要进行多机房、多城市的容灾部署。在软件层面上,第一层首先是云存储层。按时效性划分,各个大数据存储平台一般...
    文章 2017-08-01 1092浏览量
1 2 3 4 6 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化