• 《七周七并发模型》第一章概述

    actor:actor模型是一种适用性很广的并发编程模型,适用于共享内存模型分布式内存模型,也适合解决地理分布型问题,能提供强大的容错性。通信顺序进程(Communicating Sequential Processes,CSP):表面上看,CSP...
    文章 2017-05-23 1275浏览量
  • 《中国人工智能学会通讯》——10.18 研究进展

    另一方面,针对计算对系统的性能影响问题,文献[28-30]分别建立了分布式计算系统模型,用以实现计算任务的高效执行。虽然上述建模工作为认知复杂网络化系统提供了基础,但到目前为止,从融合通信与计算的角度进行...
    文章 2017-09-04 1670浏览量
  • 架构选型必读:集中式与分布式全方位优劣对比

    在大规模的分布式环境下,网络故障是常态,所以网络分区是必须容忍的现实,只能在可用性和一致性两者间做出选择,即 CP 模型或者 AP 模型,实际的选择需要通过业务场景来权衡。对于一些离线的应用,或者对可用率不...
    文章 2018-06-15 3049浏览量
  • 分布式与集群的联系与区别

    (这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型)而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,1小时后,10个任务同时...
    文章 2019-08-13 760浏览量
  • 阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的...

    3.3.4 对象服务QoSOSS 服务层聚焦数据组织和功能实现,由于底层盘古和有巢的分布式能力,OSS 服务层按照无状态方式设计,从而故障时可以快速切换,提高可用性。但是,由于 OSS 是多租户模型设计,做好 QoS 的监控和...
    文章 2020-06-17 292浏览量
  • 一文读懂分布式架构知识体系(内含超全核心知识大图)

    分布式计算系统构建在分布式存储的基础上,充分发挥分布式系统的数据冗余灾备,多副本高效获取数据的特性,进而并行计算,把原本需要长时间计算的任务拆分成多个任务并行处理,从而提高了计算效率。分布式计算系统在...
    文章 2019-10-16 5609浏览量
  • 分布式与集群的区别

    (这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型) 而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,10小后,10个任务同时...
    文章 2016-05-14 4113浏览量
  • 技术解读|PolarDB-X 强一致分布式事务

    以MySQL XA为例,如果应用DTP模型分布式交互,需要将MySQL的隔离级别调整为serializable才可以满足一致性的要求,主要的原因分布式下MySQL还是基于serializable对读加锁来提供了分布式的一致性,因此会有比较大...
    文章 2021-01-26 666浏览量
  • 五分钟了解一致性的分类及其理论

    这里之所以将最终一致性单独提出来,是因为它是弱一致性中非常推崇的一种一致性模型,也是业界在大型分布式系统的数据一致性上比较推崇的模型分布式环境的各种问题 分布式系统体系结构从其出现之初就伴随着诸多的...
    文章 2017-03-27 757浏览量
  • 独家揭秘:微博深度学习平台如何支撑4亿用户愉快吃瓜...

    另外一个问题就是任务稳定性和状态跟踪,这是分布式计算任务里面基本的需求。此外,TensorFlow 在启动的时候,不论你的机器上有多少张卡,会把机器所有的 GPU 卡占满,这也是一个比较头疼的地方。基于 K8s 的分布式...
    文章 2020-12-31 1041浏览量
  • 袋鼠云助力光伏产业|基于阿里云数加平台做算法预测

    MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供...
    文章 2017-04-10 3739浏览量
  • 分布式系统:概念与设计》一2.4.2 故障模型

    分布式系统中,进程和通信通道都有可能出故障,即它们可能偏离被认为是正确或所期望的行为。故障模型定义了故障可能发生的方式,以便理解故障所产生的影响。Hadzilacos和Toueg[1994]提供了一种分类法,用于区分...
    文章 2017-08-01 1007浏览量
  • 伏羲—阿里云分布式调度系统

    大数据计算就是将原来一台台的服务器通过网络连接起来成为一个整体,对外提供体验一致的计算功能,即分布式计算。点击查看回顾视频 伏羲系统架构 分布式调度系统需要解决两个问题: 任务调度:如何将海量数据分片,...
    文章 2016-12-21 17123浏览量
  • 阿里大数据运维新成员——24小时待命!...

    大数据计算平台底层都是分布式系统,从纵向看,软件栈上涉及自下而上有硬件、操作系统、分布式存储、分布式调度、分布式锁、Runtime、API Server等极其复杂的模型;从横向上看,数据的采集、传输、在线计算、离线...
    文章 2019-03-27 1688浏览量
  • Fluid+JindoFS 助力微博海量小文件模型训练速度提升 ...

    本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 JindoRuntime)的新架构方案,显著提升了海量小文件场景模型训练的性能和稳定性,多机多卡分布式训练场景可将模型训练的速度提升 18 倍。背景​​新浪微博...
    文章 2021-06-04 917浏览量
  • 蒋步星:轻量级大数据计算引擎

    集群应用—协助HADOOP工作集算器是轻量级、高性能、分布式计算引擎,解决HADOOP上SQL能力弱、开发难、运算慢的问题,可以极大地缩减大数据平台的搭建周期和实施成本。集群应用—独立工作集算器作为独立的大数据...
    文章 2017-11-15 3142浏览量
  • 分布式系统:概念与设计》一1.5 挑战

    除了解决异构性的问题外,中间件为服务器和分布式应用的程序员提供了一致的计算模型。这些模型包括远程对象调用、远程事件通知、远程SQL访问和分布式事务处理。例如,CORBA提供了远程对象调用,它允许在一台计算机上...
    文章 2017-08-01 1083浏览量
  • 老司机告诉你大数据开发:学Hadoop好还是Spark好?

    MapReduce通过简单的Mapper和Reducer的抽象提供一个变成模型,可以在一个由几十台至上百台的PC组成的不可靠集群上并发地,分布式地处理大量的数据集,而把并发、分布式故障恢复等计算细节隐藏起来。Hadoop也有许多...
    文章 2019-05-01 1580浏览量
  • OceanBase CTO 杨传辉:下一代企业级分布式数据库的...

    企业级分布式数据库应该向经典数据库学习原生存储计算分离技术&xff0c;我推荐第三种方案。HTAPHTAP 也是分布式数据库领域的一个热门概念。有两种做法&xff1a;第一种是主备库物理隔离&xff0c;主库做 OLTP&xff0c;备库做 ...
    文章 2021-05-08 225浏览量
  • 核心技术、运维管理、安全与高可用》——2.4 云计算...

    但那时候模型的运算能力和现在的云计算相差甚远,云计算是在并行计算、分布式计算、网格计算和效用计算的基础上发展起来,经过无数次的演化和改进才形成我们现在看到的云计算模型。并行计算在单核多线程的设计中,...
    文章 2017-07-03 1422浏览量
  • 【剖析|SOFARPC 框架】系列之 SOFARPC 单机故障剔除...

    是蚂蚁金服自主研发的金融级分布式中间件,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。本文为《剖析|SOFARPC 框架》第六篇,作者畅为。《剖析|SOFARPC 框架》系列由 SOFA 团队和...
    文章 2019-08-03 365浏览量
  • 深度解读|阿里云新一代关系型数据库 PolarDB

    阿里云 PolarDB 和 Amazon Aurora 的一个共同设计哲学就是,放弃了通用分布式数据库 OLTP 多路并发写的支持,采用一写多读的架构设计,简化了分布式系统难以兼顾的理论模型,又能满足绝大多数 OLTP 的应用场景和性能...
    文章 2017-09-30 4200浏览量
  • LC3|视角 开源大数据生态下的高性能分布式文件系统

    分布式元数据管理通过元数据的全分布式管理及动态切分和迁移,大幅提升管理的文件数规模,解决元数据节点特殊机型依赖,也进一步降低故障“爆炸半径”,提高平台稳定性。系统具有充分弹性支持多种产品形态,共享...
    文章 2018-07-10 1611浏览量
  • 阿里云新一代关系型数据库 PolarDB 剖析

    阿里云PolarDB和Amazon Aurora的一个共同设计哲学就是,放弃了通用分布式数据库OLTP多路并发写的支持,采用一写多读的架构设计,简化了分布式系统难以兼顾的理论模型,又能满足绝大多数OLTP的应用场景和性能要求。...
    文章 2017-08-15 4862浏览量
  • OceanBase 首席架构师:关系数据库到三代分布式数据库...

    分布式计算系统 MapReduce&xff0c;以及分布式表格系统 BigTable。这三个系统第一次提出将硬件故障当成正常现象的设计理念&xff0c;并在软件层面实现自动容错&xff0c;有一个总控节点 Master 处理元数据和全局调度&xff0c;...
    文章 2021-04-22 193浏览量
  • 【剖析|SOFARPC 框架】之SOFARPC 单机故障剔除剖析

    在微服务分布式架构中提高系统可用性的常见方案是_集群(冗余)。集群方式将一个服务部署在多个机器上,通过硬负载或软负载实现服务的均衡负载,虽然可以有效避免单点问题,但是仍然避免不了某些场景单机故障引起...
    文章 2018-11-02 1045浏览量
  • MapReduce 不适合处理实时数据的原因剖析

    计算模型比较适合流式时,Storm 的流试处理,省去了批处理的收集数据的时 间;因为 Storm 是服务型的作业,也省去了作业调度的时延。所以从时延的角 度来看,Storm 要快于 Hadoop,因而 Storm 更适合做实时流水数据处理...
    文章 2016-04-25 6558浏览量
  • 一篇文章带你解读Redis分布式锁的发展史和正确实现...

    但是在工作和网络上看到过各个版本的Redis分布式锁实现,每种实现都有一些不严谨的地方,甚至有可能是错误的实现,包括在代码中,如果不能正确的使用分布式锁,可能造成严重的生产环境故障,本文主要对目前遇到的...
    文章 2019-11-28 1573浏览量
  • Hadoop不适合处理实时数据的原因剖析

    计算模型比较适合流式时,Storm 的流试处理,省去了批处理的收集数据的时 间;因为 Storm 是服务型的作业,也省去了作业调度的时延。所以从时延的角 度来看,Storm 要快于 Hadoop,因而 Storm 更适合做实时流水数据处理...
    文章 2016-04-19 1941浏览量
  • 《Storm实时数据处理》一1.3 分布式版本控制

    基于以上两个原因,开源项目极大地推动了分布式版本控制的发展,但究其主要原因,还是分布式系统能帮助我们实现协作模型。开发人员可以在本地环境下用自己的方式进行工作,然后在方便的时候,一次性或多次将这些改动...
    文章 2017-07-03 888浏览量
1 2 3 4 ... 17 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化