• 何为分布式计算

    归其本质其实体现了一种算法的精髓:分而治之。这其实跟我们生活中是一样的,比如城市排污问题,在没有下水道的情况下,每家每天都会产生很大废水。假如说每家把废水都到处乱泼,显然是不合理的,但是如果让政府单独...
    文章 2016-03-22 944浏览量
  • 后端架构师技术图谱

    分而治之,分成小份排序,在合并(重建一个新空间进行复制)。希尔排序 TODO 堆排序 《图解排序算法(三)之堆排序》 排序过程就是构建最大堆的过程,最大堆:每个结点的值都大于或等于其左右孩子结点的值,堆顶元素是...
    文章 2018-05-07 6485浏览量
  • 双11 背后的全链路可观测性:阿里巴巴鹰眼在“云原生...

    这样分而治之的做法虽然足够高效,却难免有疏漏,根本原因在于中台应用与实际业务场景的错位关系。以交易系统为例,一个交易系统会同时承载天猫、盒马、大麦、飞猪等多种类型的业务,而每种业务的预期调用量、下游...
    文章 2019-12-20 2062浏览量
  • 《大数据管理概论》一1.4 大数据的处理模式

    尽管非循环数据流是一种很强大的抽象方法,但有些应用仍然无法使用这种方式描述,包括:①机器学习和图应用中常用的迭代算法(每一步对数据执行相似的函数);②交互式数据挖掘工具(用户反复查询一个数据子集)。...
    文章 2017-05-02 1828浏览量
  • 《架构真经:互联网技术架构的设计原则(原书...分而治之

    这种故障隔离和客户拆分允许公司通过扩展获得早期的盈利能力,同时避免了很多早期SaaS和PaaS产品常见的噪音临近问题。此外,该公司重视由多租户模式所带来的成本效益,尽管他们沿着客户边界创建故障隔离区,但是他们...
    文章 2017-05-02 1567浏览量
  • 《架构真经:互联网技术架构的设计》分而治之

    这种故障隔离和客户拆分允许公司通过扩展获得早期的盈利能力,同时避免了很多早期SaaS和PaaS产品常见的噪音临近问题。此外,该公司重视由多租户模式所带来的成本效益,尽管他们沿着客户边界创建故障隔离区,但是他们...
    文章 2017-05-19 4442浏览量
  • 浅谈分库分表那些事儿

    我们常见的负责均衡算法如下:我们的选择:基于 一致性Hash算法 裁剪,相较于一致性Hash算法,我们裁剪后的算法主要区别在以下几个点:(1)Hash环节点数量的不同一致性Hash有2^32-1个节点,考虑到我们按照buyerId...
    文章 2021-03-08 6036浏览量
  • Hadoop专业解决方案-第3章:MapReduce处理数据

    MapReduce是一个框架,能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。MapReduce模型来源于函数[sht2]式编程语言,如Lisp,中map与reduce组合子的概念。在Lisp中,map的作用是输入一个函数...
    文章 2016-04-19 3802浏览量
  • 全网最硬核 Redis 高频面试题解析(2021年最新版)

    5、Redis常见的数据结构基础的5种&xff1a;String&xff1a;字符串&xff0c;最基础的数据类型。List&xff1a;列表。Hash&xff1a;哈希对象。Set&xff1a;集合。Sorted Set&xff1a;有序集合&xff0c;Set的基础上加了个分值。高级的4种...
    文章 2022-05-19 106浏览量
  • 《策略驱动型数据中心——ACI技术详解》一第1章 数据...

    包含Hadoop组建模块的集群设计:POD分而治之的策略,对多种处理大量数据的工作负载来说非常有效。一个大型工作负载可被拆分或映射到更小的子工作负载,然后通过合并、浓缩和化简来自子工作负载的结果来获取最终的...
    文章 2017-05-02 2529浏览量
  • 如何带领团队“攻城略地”?优秀的架构师这样做

    请看常见的架构框架。下述的架构框架其实本身也包含了重要的一些架构思维。常见架构框架 TOGAF TOGAF 是 The Open Group Architecture Framework 的缩写,它由 The Open Group 开发,The Open Group 是一个非盈利的...
    文章 2019-07-03 16657浏览量
  • 《策略驱动型数据中心——ACI技术详解》——第1章 ...

    包含Hadoop组建模块的集群设计:POD分而治之的策略,对多种处理大量数据的工作负载来说非常有效。一个大型工作负载可被拆分或映射到更小的子工作负载,然后通过合并、浓缩和化简来自子工作负载的结果来获取最终的...
    文章 2017-05-02 2089浏览量
  • 一文打尽分布式系统的数据分片难题

    所谓分布式系统,就是利用多个独立的计算机来解决单个节点(计算机)无法处理的存储、计算问题,这是非常典型的分而治之的思想。每个节点只负责原问题(即整个系统需要完成的任务)的一个子集,可是原问题如何拆分到...
    文章 2018-09-18 1396浏览量
  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统...

    通过深入的分析MaxCompute的作业、数据的特点,我们设计了一种高效的算法,根据作业历史的workload、数据的大小和分布,自动进行缓存的换入换出。我们研究了多种数据缓存算法,并对其进行了对比试验,下图展示了不同...
    文章 2020-05-13 2848浏览量
  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统...

    通过深入的分析MaxCompute的作业、数据的特点,我们设计了一种高效的算法,根据作业历史的workload、数据的大小和分布,自动进行缓存的换入换出。我们研究了多种数据缓存算法,并对其进行了对比试验,下图展示了不同...
    文章 2020-05-13 2387浏览量
  • 真是经典中的经典!MySQL+多线程+Redis+算法+网络

    分而治之&xff0c;将复杂问题简单化。模块的粒度可大可小&xff0c;可以是系统&xff0c;几个子系统、某个服务&xff0c;函数&xff0c;类&xff0c;方法、功能块等等。组件可以包括应用服务、数据库、网络、物理机、还可以包括MQ、...
    文章 2022-05-17 27浏览量
  • 专访阿里陈康贤:我所理解的网站架构

    删的再快也赶不上发的多,然而我又是那种喜欢多管闲事的人,想到用贝叶斯算法可以解决这个问题,然后就业余+周末花了有一两周的时间开发了一套反垃圾系统,把这事拿出来说并非是这个算法有多牛逼多厉害,贝叶斯算法...
    文章 2018-03-01 3539浏览量
  • 分布式数据库选型——数据水平拆分方案

    物理上业务只要创建一个分区表,根据业务特点指定分区策略(包含分区列、拆分算法、分区数目等)。数据复制是为了冗余和高可用,数据分区主要是为了可扩展性。不管使用哪种分区方案,业务的每条数据(记录)属于且仅...
    文章 2019-08-08 2950浏览量
  • 分布式数据库选型——数据水平拆分方案

    物理上业务只要创建一个分区表,根据业务特点指定分区策略(包含分区列、拆分算法、分区数目等)。数据复制是为了冗余和高可用,数据分区主要是为了可扩展性。不管使用哪种分区方案,业务的每条数据(记录)属于且仅...
    文章 2019-06-19 20794浏览量
  • Hadoop专业解决方案-第3章:MapReduce处理数据

    MapReduce是一个框架,能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。MapReduce模型来源于函数[sht2]式编程语言,如Lisp,中map与reduce组合子的概念。在Lisp中,map的作用是输入一个函数...
    文章 2014-05-22 1090浏览量
  • 从Hadoop框架与MapReduce模式中谈海量数据处理(含...

    尽管我对这个Hadoop与MapReduce知之甚浅,但我还是想记录自己的学习过程,说不定,关于这个东西的学习能督促我最终写成和“经典算法研究系列”一般的一系列文章。Ok,闲话少说。本文从最基本的mapreduce模式,Hadoop...
    文章 2014-09-08 1384浏览量
  • Mycat的简单使用(三)【分库分表】

    那我们就来个分而治之&xff0c;化整为零。这就产生了分表&xff0c;把数据按照一定的规则拆分成多张表&xff0c;来解决单表环境下无法解决的存取性能问题。从可用性上看单个数据库如果发生意外&xff0c;很可能会丢失所有数据。...
    文章 2022-06-09 26浏览量

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化