• 【ATF】钱正平:大规模实时计算及其在阿里的应用与...

    因为依赖和状态很复杂,所以把输入数据切片,输入虽然是流,但是把它的分批,一段时间变成一批,对每一批处理系统,批处理引擎很成熟了。只要每对应一批批处理就产生一批输出,这是非常好的想法,是复用批处理...
    文章 2016-04-16 6121浏览量
  • 徐葳:生物医学影像处理、分布式系统与数据共享平台

    但是大数据系统用的是非常便宜的机器,系统内任何一个机器宕都不会影响整体的运行,这是谷歌设计MapReduce系统的核心。因为只有设备便宜才能跑成规模,价值密度低是大数据的典型特性,成规模的廉价设备使得处理...
    文章 2017-05-02 1037浏览量
  • 撮合系统设计

    从总体设计入手,将撮合业务处理从数据库迁移至内存中,同时釆用多机热备份技术解决内存撮合技术的易失性问题,最终提出内存状态复制方案作为高可靠髙性能撮合系统的实现路线。撮合技术的具体实现将在下一章进行详细...
    文章 2016-09-16 23131浏览量
  • 存储-盘古,阿里云飞天分布式存储系统设计深度解析

    从上图可以看到,作为统一存储,要支持虚拟中的块存储,对象存储,表格存储,文件存储,离线大数据处理,大数据分析等诸多业务,其面临的挑战是很大的,甚至有些挑战是自相矛盾的。盘古是怎么解决问题的?盘古在...
    文章 2017-07-19 6217浏览量
  • Apache Flink 漫谈系列(05)-Fault Tolerance

    外部Sink的容错要求Apache Flink 要做到 End-to-End 的 Exactly-Once相对比较困难,以Kafka作为Sink为例,当Sink Operator节点宕时候,根据Apache Flink 内部Exactly-Once模式的容错保证,系统会回滚到上次成功的...
    文章 2018-11-11 5344浏览量
  • 《深入理解大数据:大数据处理与编程实践》一一1.3 ...

    3)把处理向数据迁移传统高性能计算系统通常有很多处理器节点与一些外存储器节点相连,如存储区域网络(Storage Area,SAN Network)连接的磁盘阵列,因此,大规模数据处理时外存文件数据I/O访问会成为一个制约...
    文章 2017-07-04 1788浏览量
  • 盘古:阿里云飞天分布式存储系统设计深度解析

    从上图可以看到,作为统一存储,要支持虚拟中的块存储,对象存储,表格存储,文件存储,离线大数据处理,大数据分析等诸多业务,其面临的挑战是很大的,甚至有些挑战是自相矛盾的。盘古是怎么解决问题的?盘古在...
    文章 2016-11-17 37849浏览量
  • 提效降本:蚂蚁金服如何融合计算改造在线机器学习

    Ray上应该做怎么样的调度,衡量指标就是系统的效率问题,系统的效率很时候取决于计算和数据的组织方式,比如说我们要计算Add(a,b),首先这个函数在本地会被自动注册并且提供给本地调度器。之后通过全剧调度器和...
    文章 2019-11-01 2445浏览量
  • 分布式大数据系统巧实现,全局数据调度管理不再难

    分布式环境中,机器宕可能是常态,当某些正在运行的计算任务的机器宕的时候,分布式计算系统怎么进行容错的?分布式计算作业中,每一个计算任务只处理整个计算作业中某一部分数据,而这一部分数据通常就是分布...
    文章 2017-05-18 4376浏览量
  • 从Storm和Spark 学习流式实时分布式计算的设计

    系统会自动处理容错,调度并且管理资源,而这些行为对于运行于其上的应用来说都是透明的。数据持久化:为了保证高可用性和无数据丢失,数据持久化是无法躲避的问题。的确,数据持久化可能在低延时的系统中比较影响...
    文章 2014-08-02 3009浏览量
  • 双硬盘RAID 0全攻略

    过去十年来,CPU的处理速度增加了五十倍有,内存(memory)的存取速度亦大幅增加,而数据储存装置-主要是磁盘(harddisk)-的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体性能(throughput),若不能...
    文章 2014-08-12 2325浏览量
  • 为什么需要消息队列,及使用消息队列的好处?

    3)任务处理类的系统,先把用户发起的任务请求接收过来存到消息队列中,然后后端开启个应用程序从队列中取任务进行处理。三、使用消息队列有什么好处?3.1、提高系统响应速度 使用了消息队列,生产者一方,把消息...
    文章 2018-07-05 7589浏览量
  • 【ARM攒机指南——AI篇】5大千万级设备市场技术拆解

    这可以专用模块来处理,我看到单芯片的解决方案,720p 60FPS的处理能力,需要20GFLOPS FP32的计算量以上。换成CPU,就是8核。当然,我们完全可以先识别出目标物体,图像算法计算出轮廓,还可以降低深度图的精度...
    文章 2018-01-05 2941浏览量
  • 含PPT下载|李飞飞:如何看待数据库的未来?

    云原生数据库采用分布式数据库架构,实现大规模扩展,每套数据库系统横跨台服务器和虚拟,带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用,实现按需按量使用,使得资源高效利用。云原生...
    文章 2020-02-25 8109浏览量
  • 到底什么是集群&分布式

    常见的就是2个节点做成的HA集群,有很通俗的不科学的名称,比如”双热备”,“双互备”,“双”. 高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。(请注意高可用集群既不是用来保护业务数据的,...
    文章 2016-05-26 2464浏览量
  • 托管模式加速呼叫中心向中小企业延伸

    考核一个呼叫中心的好坏首先是业务层面的,而不是硬性的要看你的呼损率、放弃率怎么样,你的平均通话时长、后处理时间怎么样,林林总总的呼叫中心专业指标不是所有呼叫中心必须的。对企业而言尤其是中小企业,呼叫...
    文章 2017-07-04 1335浏览量
  • java 通信

    要实现网络机器间的通讯,首先得来看看计算机系统网络通信的基本原理,在底层层面去看,网络通信需要做的就是将流从一台计算机传输到另外一台计算 ,基于传输协议和网络IO来实现,其中传输协议比较出名的有 http、...
    文章 2012-04-23 986浏览量
  • 迁云架构实践

    而机器一定会坏,当机器数量到一定规模时,小概率事件就成为常态,当硬件出现故障时应该如何自动化处理,人一定会在开发中写出Bug,怎么进行系统的损害控制。如何基于单机QPS和并发数对服务端和客户端进行限流,实现...
    文章 2016-02-16 8428浏览量
  • Flink最佳实践(一)流式计算系统概述

    现实中有很多用处理系统处理无限数据的场景,对于乱序的数据,批处理通过 拉长时间窗口 的做法来保持 结果的正确性。比如T+1每天一个时间窗口,那么除非数据延迟超过一天,否则人们认为这个批次处理的结果是正确...
    文章 2019-11-19 1769浏览量
  • 分布式系统架构,回顾2020年常见面试知识点梳理(每次...

    分布式 CAP 理论,任何一个分布式系统都无法同时满足 Consistency(一致性)、Availability(可用性)、Partition tolerance(分区容错性)这三个基本需求。最只能满足其中两项。而 Partition tolerance(分区容错...
    文章 2020-12-30 224浏览量
  • MapReduce原理与设计思想

    传统高性能计算系统通常有很多处理器节点与一些外存储器节点相连如区域存储网络(SAN,Storage Area Network)连接的磁盘阵列因此大规模数据处理时外存文件数据I/O访问会成为一个制约系统性能的瓶颈。为了减少大规模...
    文章 2016-04-21 2922浏览量
  • 《DBA修炼之道:数据库管理员的第一本书》——2.1节...

    无共享集群的主要优势是它的可扩展性,理论上,一台无共享的多处理器可以扩展至上千台处理器,因为它们相互之间互不干涉,即没有共享。无共享集群的主要优势是可扩展性。共享磁盘集群更适用于大型环境中的大规模...
    文章 2017-07-03 1142浏览量
  • 分布式一致性的想法

    以 BASE 的思想由于不保证强一致性,所有接受系统在一定时间内数据存在不一致,不过在处理请求的过程中,需要记录知道每次请求的状态,以后出现问题的时候,回滚到中间任何临时状态,达到最终一致性 3.CAP 当我们...
    文章 2017-11-27 1422浏览量
  • SQL注入详解-3

    而第二个网址,由于找不到表msysobjects,会提示出错,就算程序有容错处理,页面也与原页面完全不同。如果数据库的是Access,那么情况就有所不同,第一个网址的页面与原页面完全不同;第二个网址,则视乎数据库...
    文章 2017-11-20 672浏览量
  • DevOps:软件架构师行动指南2.2 云的特性

    Memcached自动向其客户提供了一个一致的数据视图,并通过在服务器之间共享数据,为虚拟故障时提供了容错性。c.大量的持久状态。大量的持久状态可以保存在数据库管理系统所管理的数据库中或者像Hadoop分布式文件...
    文章 2017-05-02 1784浏览量
  • 当当 Elastic-job 开源项目的十项特性

    作业模式:作业可分为简单和数据流处理两种模式,数据流又分为高吞吐处理模式和顺序性处理模式,其中高吞吐处理模式可以开启足够的线程快速的处理数据,而顺序性处理模式将每个分片项分配到一个独立线程,用于...
    文章 2017-08-02 2050浏览量
  • 阿里云2019北京峰会之我见(技术篇)

    就是大并发、高容错、海量的数据处理、快速应用开发和迭代、自动化运维、微服务和互联网应用开发平台等。总之,就是传统行业客户日思夜想希望得到的技术。在阿里云成立之初,曾经有过争论,这些看家本领怎么能轻易...
    文章 2019-04-14 1937浏览量
  • 高可用之2——存储b

    就是说,路径管理软件从driver和设备文件着手,告诉了操作系统怎么处理这些身份复杂的lun。3.关于备份(Backup)和高可用性(High availability) 备份,从字面的意思来理解,其实就是现时存在和应用的一个实体的...
    文章 2012-06-02 1326浏览量
  • 带你读《企业私有云建设指南》之二:企业云计算涉及的...

    企业云计算涉及的技术选型和管理在以AWS、Google、阿里等为代表的公有云发展的同时,很大型企业出于数据安全性、系统稳定性、软硬件自主权、对自主可控以及TCO(Total Cost of Ownership,总体拥有成本)低的考虑...
    文章 2019-10-31 2673浏览量
  • 五分钟学后端技术:分布式系统理论-从放弃到入门

    因为有了准备提交(prepare to commit)阶段,3PC的事务处理延时也增加了1个RTT,变为3个RTT(propose+precommit+commit),但是它防止participant宕后整个系统进入阻塞态,增强了系统的可用性,对一些现实业务场景是...
    文章 2020-03-23 989浏览量
1 2 3 4 ... 8 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化