• OceanBaseDev Meetup#1 上海站「深入分布式数据库」

    常见的数据库事务原子性和持久性面临的问题及解决方案;数据库系统对高可用的需求及实现原理;OceanBase 分布式事务并发控制、事务故障恢复及高可用的实现方案;MySQL MGR 的实现原理及网易对 MGR 的落地实践;报名...
    文章 2020-09-14 413浏览量
  • 《循序渐进学Spark》一第1章

    本书介绍的Spark分布式计算框架,可以看作分布式软件系统的组成部分,基于Spark,开发者可以编写分布式计算程序。直观来看,大规模分布式系统由许多计算单元构成,每个计算单元之间松耦合。同时,每个计算单元都包含...
    文章 2017-05-02 2337浏览量
  • 架构技术专题」9种高性能高可用高并发的技术架构(5)

    分布式计算:目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算,其特点是移动计算而不是移动数据,将计算程序分发到数据所在的位置以加速计算和分布式计算。6、安全 网站在安全架构方面有许多...
    文章 2018-07-23 1304浏览量
  • Hadoop概念学习系列之大数据、Hadoop和云计算(十三)

    大数据最为显著的特征就是数据规模非常巨大,单机系统肯定无法解决存储问题,这就需要分布式存储系统作为大数据的存储支撑服务,而分布式存储系统需要考虑的核心问题包括:高可靠性、扩一展性、伸缩性、容灾恢复等...
    文章 2017-11-13 1230浏览量
  • 收藏!一张图帮你快速建立大数据知识体系

    消息队列是涉及大规模分布式系统时候经常使用的中间件产品,主要解决日志搜集,应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构。数据同步 在数据仓库建模中,未经任何加工处理的...
    文章 2020-06-11 11558浏览量
  • 分布式系统架构技术分析(一)

    整个分布式计算的理论和实践也走向成熟,计算机系统也开始从集中式向分布式架构的演进。在前一篇《集中式架构与分布式架构比较》中,我们已经对两种风格的架构进行了详细对比,显然分布式架构具有明显的优势,在此...
    文章 2019-08-03 1311浏览量
  • 什么是分布式系统,这么讲不信你不会

    在很多文章中,主要讲分布式系统分为分布式计算(computation)与分布式存储(storage)。计算与存储是相辅相成的,计算需要数据,要么来自实时数据(流数据),要么来自存储的数据;而计算的结果也是需要存储的。在...
    文章 2019-12-03 1650浏览量
  • 说说分布式文件存储系统

    副本(replica/copy)的存在是为保证分布式系统中数据冗余,在不同的节点上持久化同一份数据,当出现某一个节点的存储的数据丢失时,可以从副本上读到数据,是分布式系统解决数据丢失异常的唯一手段。对于可靠性要求高的...
    文章 2017-08-02 2511浏览量
  • 数据中台的存储系统计算平台枚举

    Storm/Jstorm分布式的、高容错的实时计算系统,2014年以前应用非常广泛,近几年初步被其他流计算产品替代。FlinkFlink是一个低延迟、高吞吐、统一的大数据计算引擎。在阿里巴巴的生产环境中,Flink的计算平台可以...
    文章 2019-10-23 2312浏览量
  • 阿里云ACP认证考试细则须知与考题内容学习方法分享

    如分布式存储、分布式计算、数据仓库、数据分析等●了解关系型数据库的基本概念和常用技术,包括事务、索引、OLTP、建模方法、SQL(DDL、DML)等●具备使用关系型数据库或者其他产品进行数据处理的经验●了解数据...
    文章 2019-05-20 3612浏览量
  • 阿里云存储团队招聘贴(技术岗位)【2020.07.28更新】

    4年以上企业级系统软件开发经验,如:操作系统,驱动程序,存储系统,数据库系统分布式系统等大规模系统软件开发经验或者文件备份,数据库备份,虚拟机备份,VTL备份等系统开发经验,有分布式存储系统和备份软件...
    文章 2020-07-28 2341浏览量
  • 阿里云ACP认证考试细则须知与考题内容学习方法分享

    了解大数据相关的基础概念以及相关知识,如分布式存储、分布式计算、数据仓库、数据分析等 了解关系型数据库的基本概念和常用技术,包括事务、索引、OLTP、建模方法、SQL(DDL、DML)等 具备使用关系型数据库或者...
    文章 2019-04-15 3472浏览量
  • 数据中台建设方法论实践之技术选型

    随着互联网等业务的发展,待计算的数据量不断增加,传统数据存储已经无法满足TB、PB等规模的数据计算需求,在Google等公司的探索下,提供成本低廉且可水平扩容的分布式计算方案逐步成熟,Google的三篇论文掀起了大...
    文章 2020-03-09 1114浏览量
  • 《Python分布式计算》第7章 测试和调试分布式应用...

    序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python 第7章 测试和调试分布式应用第8章 继续学习 无论大小的分布式应用...
    文章 2017-10-18 1057浏览量
  • 什么是分布式系统,如何学习分布式系统

    主要讲分布式系统分为分布式计算&xff08;computation&xff09;与分布式存储&xff08;storage&xff09;计算与存储是相辅相成的&xff0c;计算需要数据&xff0c;要么来自实时数据&xff08;流数据&xff09;xff0c;要么来自存储的数据&xff...
    文章 2022-01-15 7浏览量
  • 到底什么是集群&分布式

    分布式计算是和集中式计算相对立的概念,分布式计算的数据可以分布在很大区域。看完这些是不是有种似懂非懂的感觉?博主也是一样!所以我们接下来继续了解。上面博主有说过自己有接触过分布式服务框架Dubbo,那么...
    文章 2016-05-26 2579浏览量
  • CockroachDB之本地以及分布式查询处理

    如果没有通用的分布式计算引擎,开发人员或技术人员处理数据必须时刻牢记许多问题的答案:我的应用程序在数据库中抛出什么样的工作量?我需要什么二级索引来使查询更快?我需要采用哪个第三方缓存技术?使用哪个栈来...
    文章 2021-11-05 23浏览量
  • 分布式系统:概念与设计》一2.3.1 体系结构元素

    远程过程调用(Remote Procedure Call,RPC)的概念,最初由Birrell和Nelson[1984]提出,代表了分布式计算中的一个主要突破。在RPC中,远程计算机上进程中的过程能被调用,好像它们是在本地地址空间中的过程一样。...
    文章 2017-08-01 1157浏览量
  • 【Offer 5000-基础产品事业部2-B】-招聘职位详情

    岗位要求:1、后端开发岗位:a、精通Java/go/Python,在多线程等方面有丰富经验b、对分布式系统设计与实现有深刻理解,熟悉常见中间件,如SLB,消息队列,Zookeeper等2、前端开发岗位a、精通Web前端技术,HTML、CSS、...
    文章 2020-06-18 1906浏览量
  • 分布式编程模型的设计与演化

    分布式计算领域,从数据处理的时效性出发,为在线数据应用和离线数据计算两大类,如同样的SQL语言,在在线数据应用领域可以处理类似于“小明买了一只手机”之类的操作,也可以完成“最近5年所有手机商城成交量”的...
    文章 2017-05-21 5900浏览量
  • 收集的关于并行开发的文章

    4、高房价与多核分布式计算 本文主要从多核计算的角度来论述高房价问题及其对社会的影响,并给出了高房价问题的最终解决措施。阅读全文 5、道家·老子的算法思想分析 将道家老子的思想与软件中的思想进行对比分析,...
    文章 2017-11-14 1192浏览量
  • 分布式账本

    该方案就分布式账本提出了分布式数据计算的智能订约概念,即一个实体可在合同中反映有形产品或金融产品的价值,并使用区块链来分配这些价值。Ethereum进一步促进了传统金融合同与区块链技术的融合。同在2015年,Coin...
    文章 2016-11-20 14536浏览量
  • 阿里实时数仓分布式事务Scale Out设计

    (3)分布式事务的恢复在很多情况下系统都需要做分布式事务的恢复处理,比如系统/Master重启,Main Master/Standby Master切换等,当不考虑Multi-Master,分布式事务的恢复可以简单划分为如下3大步骤:Main Master...
    文章 2021-04-23 291浏览量
  • PolarDB-X 私有协议:提升集群的性能和稳定性

    通过将数据拆分到多个基于MySQL发展而来的存储节点DN,每个存储节点DN承担合适的并发、数据存储和计算负载,计算节点处理分布式逻辑,最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统计算节点和...
    文章 2021-02-04 424浏览量
  • 后Hadoop时代的大数据架构

    所谓流处理框架,就是一种分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易。经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Samza LinkedIn主推的流式计算框架。与其他...
    文章 2017-08-01 1950浏览量
  • 个人总结的一个中高级Java开发工程师或架构师需要掌握...

    个人总结的一个中高级Java开发工程师或架构师...熟悉常见的一些解决方案及其原理:单点登录、分布式缓存、SOA、全文检索、消息中间件,负载均衡、连接池、 nosql、流计算等;原文地址http://www.bieryun.com/2028.html
    文章 2018-03-08 2993浏览量
  • EB 级系统空中换引擎:阿里调度执行框架如何全面升级...

    除此之外,随着 MaxCompute 以及 PAI 引擎的更新换代以及新功能演进,上层的分布式计算自身能力在不断的增强。对于 AM 组件在作业管理,DAG 执行等方面的动态性,灵活性等方面的需求也日益强烈。在这样的一个大的...
    文章 2020-05-18 532浏览量
  • 2010年系统分析师考点详解:入侵检测系统的概念组成...

    应对第二类问题方法是:入侵检测系统也向分布式结构发展,采用分布收集信息,分布处理多方协作的方式。这里的“协作”有多个层次的含义:同一系统不同入侵检测部件间的协作,尤其式主机型(HIDS)和网络型(NIDS)...
    文章 2010-05-25 2028浏览量
  • Vineyard|开源分布式内存数据管理引擎

    可以看到,一个经典的大数据应用工作流中,往往会出现多种不同的计算需求,需要用到各种专业性的计算系统来逐一解决,而且往往都会使用一个分布式文件系统,例如HDFS,来解决跨系统数据共享的问题,这也导致每个子...
    文章 2021-03-29 526浏览量
  • 后Hadoop时代的大数据架构

    所谓流处理框架,就是一种分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易。经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Samza LinkedIn主推的流式计算框架。与其他...
    文章 2017-05-02 2176浏览量
1 2 3 4 ... 48 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化