-
何为分布式计算
归其本质其实体现了一种算法的精髓：分而治之。这其实跟我们生活中是一样的，比如城市排污问题，在没有下水道的情况下，每家每天都会产生很大废水。假如说每家把废水都到处乱泼，显然是不合理的，但是如果让政府单独...文章 2016-03-22 944浏览量 -
后端架构师技术图谱
分而治之，分成小份排序，在合并(重建一个新空间进行复制)。希尔排序 TODO 堆排序 《图解排序算法(三)之堆排序》 排序过程就是构建最大堆的过程，最大堆：每个结点的值都大于或等于其左右孩子结点的值，堆顶元素是...文章 2018-05-07 6485浏览量 -
双11 背后的全链路可观测性：阿里巴巴鹰眼在“云原生...
这样分而治之的做法虽然足够高效，却难免有疏漏，根本原因在于中台应用与实际业务场景的错位关系。以交易系统为例，一个交易系统会同时承载天猫、盒马、大麦、飞猪等多种类型的业务，而每种业务的预期调用量、下游...文章 2019-12-20 2062浏览量 -
《大数据管理概论》一1.4 大数据的处理模式
尽管非循环数据流是一种很强大的抽象方法，但有些应用仍然无法使用这种方式描述，包括：①机器学习和图应用中常用的迭代算法（每一步对数据执行相似的函数）；②交互式数据挖掘工具（用户反复查询一个数据子集）。...文章 2017-05-02 1828浏览量 -
《架构真经：互联网技术架构的设计原则（原书...分而治之
这种故障隔离和客户拆分允许公司通过扩展获得早期的盈利能力，同时避免了很多早期SaaS和PaaS产品常见的噪音临近问题。此外，该公司重视由多租户模式所带来的成本效益，尽管他们沿着客户边界创建故障隔离区，但是他们...文章 2017-05-02 1567浏览量 -
《架构真经：互联网技术架构的设计》分而治之
这种故障隔离和客户拆分允许公司通过扩展获得早期的盈利能力，同时避免了很多早期SaaS和PaaS产品常见的噪音临近问题。此外，该公司重视由多租户模式所带来的成本效益，尽管他们沿着客户边界创建故障隔离区，但是他们...文章 2017-05-19 4442浏览量 -
浅谈分库分表那些事儿
我们常见的负责均衡算法如下：我们的选择：基于 一致性Hash算法 裁剪，相较于一致性Hash算法，我们裁剪后的算法主要区别在以下几个点：（1）Hash环节点数量的不同一致性Hash有2^32-1个节点，考虑到我们按照buyerId...文章 2021-03-08 6036浏览量 -
Hadoop专业解决方案-第3章：MapReduce处理数据
MapReduce是一个框架，能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。MapReduce模型来源于函数[sht2]式编程语言，如Lisp，中map与reduce组合子的概念。在Lisp中，map的作用是输入一个函数...文章 2016-04-19 3802浏览量 -
全网最硬核 Redis 高频面试题解析（2021年最新版）
5、Redis常见的数据结构基础的5种&xff1a;String&xff1a;字符串&xff0c;最基础的数据类型。List&xff1a;列表。Hash&xff1a;哈希对象。Set&xff1a;集合。Sorted Set&xff1a;有序集合&xff0c;Set的基础上加了个分值。高级的4种...文章 2022-05-19 106浏览量 -
《策略驱动型数据中心——ACI技术详解》一第1章 数据...
包含Hadoop组建模块的集群设计：POD分而治之的策略，对多种处理大量数据的工作负载来说非常有效。一个大型工作负载可被拆分或映射到更小的子工作负载，然后通过合并、浓缩和化简来自子工作负载的结果来获取最终的...文章 2017-05-02 2529浏览量 -
如何带领团队“攻城略地”？优秀的架构师这样做
请看常见的架构框架。下述的架构框架其实本身也包含了重要的一些架构思维。常见架构框架 TOGAF TOGAF 是 The Open Group Architecture Framework 的缩写，它由 The Open Group 开发，The Open Group 是一个非盈利的...文章 2019-07-03 16657浏览量 -
《策略驱动型数据中心——ACI技术详解》——第1章 ...
包含Hadoop组建模块的集群设计：POD分而治之的策略，对多种处理大量数据的工作负载来说非常有效。一个大型工作负载可被拆分或映射到更小的子工作负载，然后通过合并、浓缩和化简来自子工作负载的结果来获取最终的...文章 2017-05-02 2089浏览量 -
一文打尽分布式系统的数据分片难题
所谓分布式系统，就是利用多个独立的计算机来解决单个节点（计算机）无法处理的存储、计算问题，这是非常典型的分而治之的思想。每个节点只负责原问题（即整个系统需要完成的任务）的一个子集，可是原问题如何拆分到...文章 2018-09-18 1396浏览量 -
面向大数据与云计算调度挑战的阿里经济体核心调度系统...
通过深入的分析MaxCompute的作业、数据的特点，我们设计了一种高效的算法，根据作业历史的workload、数据的大小和分布，自动进行缓存的换入换出。我们研究了多种数据缓存算法，并对其进行了对比试验，下图展示了不同...文章 2020-05-13 2848浏览量 -
面向大数据与云计算调度挑战的阿里经济体核心调度系统...
通过深入的分析MaxCompute的作业、数据的特点，我们设计了一种高效的算法，根据作业历史的workload、数据的大小和分布，自动进行缓存的换入换出。我们研究了多种数据缓存算法，并对其进行了对比试验，下图展示了不同...文章 2020-05-13 2387浏览量 -
真是经典中的经典！MySQL+多线程+Redis+算法+网络
即分而治之&xff0c;将复杂问题简单化。模块的粒度可大可小&xff0c;可以是系统&xff0c;几个子系统、某个服务&xff0c;函数&xff0c;类&xff0c;方法、功能块等等。组件可以包括应用服务、数据库、网络、物理机、还可以包括MQ、...文章 2022-05-17 27浏览量 -
专访阿里陈康贤：我所理解的网站架构
删的再快也赶不上发的多，然而我又是那种喜欢多管闲事的人，想到用贝叶斯算法可以解决这个问题，然后就业余+周末花了有一两周的时间开发了一套反垃圾系统，把这事拿出来说并非是这个算法有多牛逼多厉害，贝叶斯算法...文章 2018-03-01 3539浏览量 -
分布式数据库选型——数据水平拆分方案
物理上业务只要创建一个分区表，根据业务特点指定分区策略（包含分区列、拆分算法、分区数目等）。数据复制是为了冗余和高可用，数据分区主要是为了可扩展性。不管使用哪种分区方案，业务的每条数据（记录）属于且仅...文章 2019-08-08 2950浏览量 -
分布式数据库选型——数据水平拆分方案
物理上业务只要创建一个分区表，根据业务特点指定分区策略（包含分区列、拆分算法、分区数目等）。数据复制是为了冗余和高可用，数据分区主要是为了可扩展性。不管使用哪种分区方案，业务的每条数据（记录）属于且仅...文章 2019-06-19 20794浏览量 -
Hadoop专业解决方案-第3章：MapReduce处理数据
MapReduce是一个框架，能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。MapReduce模型来源于函数[sht2]式编程语言，如Lisp，中map与reduce组合子的概念。在Lisp中，map的作用是输入一个函数...文章 2014-05-22 1090浏览量 -
从Hadoop框架与MapReduce模式中谈海量数据处理（含...
尽管我对这个Hadoop与MapReduce知之甚浅，但我还是想记录自己的学习过程，说不定，关于这个东西的学习能督促我最终写成和“经典算法研究系列”一般的一系列文章。Ok，闲话少说。本文从最基本的mapreduce模式，Hadoop...文章 2014-09-08 1384浏览量 -
Mycat的简单使用（三）【分库分表】
那我们就来个分而治之&xff0c;化整为零。这就产生了分表&xff0c;把数据按照一定的规则拆分成多张表&xff0c;来解决单表环境下无法解决的存取性能问题。从可用性上看单个数据库如果发生意外&xff0c;很可能会丢失所有数据。...文章 2022-06-09 26浏览量
