• 从Storm和Spark 学习流式实时分布式计算的设计

    系统会自动处理容错,调度并且管理资源,而这些行为对于运行于其上的应用来说都是透明的。数据持久化:为了保证高可用性和无数据丢失,数据持久化是无法躲避的问题。的确,数据持久化可能在低延时的系统中比较影响...
    文章 2014-08-02 3022浏览量
  • MapReduce原理与设计思想

    传统高性能计算系统通常有很多处理器节点与一些外存储器节点相连如区域存储网络(SAN,Storage Area Network)连接的磁盘阵列因此大规模数据处理时外存文件数据I/O访问会成为一个制约系统性能的瓶颈。为了减少大规模...
    文章 2016-04-21 2932浏览量
  • Hadoop HDFS概念学习系列之HDFS Block(八)

    HDFS作为一个分布式文件系统,设计是用来处理大文件的,使用抽象的块会带来很好处。一个好处是可以存储任意大的文件而又不会受到网络中任一单个节点磁盘大小的限制。可以想象一下,单个节点存储100TB的数据是不...
    文章 2017-11-21 1172浏览量
  • [Hadoop]chukwa的简单介绍

    这一点也可以从它的架构中看出来.chukwa 是什么 上一节说了很 chukwa 不是什么,下面来看下 chukwa 具体是干什么的一个系统呢?具体而言,chukwa 致力于以下几个方面的工作:1.总体而言,chukwa 可以用于监控大规模...
    文章 2016-04-07 1706浏览量
  • MapReduce原理与设计思想(转载:...

    传统高性能计算系统通常有很多处理器节点与一些外存储器节点相连如区域存储网络(SAN,Storage Area Network)连接的磁盘阵列因此大规模数据处理时外存文件数据I/O访问会成为一个制约系统性能的瓶颈。为了减少大规模...
    文章 2017-06-02 1845浏览量
  • 国内Java面试总是问StringBuffer,...档次为什么这么低?

    CAP理论:一个分布式系统只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance)这三项中的两项。分布式系统的CAP理论 什么是BASE?和CAP什么区别?BASE理论是对CAP...
    文章 2019-08-13 3087浏览量
  • 如何基于Raft绕过​分布式算法一致性的那些痛?

    这样就需要一种Consensus协议,这个协议是为了确保容错性,也就是即使系统中有一两个服务器宕,也不会影响其他的服务器正常提供服务。在过去Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现。较于...
    文章 2017-05-12 1919浏览量
  • Eric Brewer:容器是云计算的未来

    从客户的角度,大规模采用容器,可以让更的服务如Google和Facebook,能够处理巨大的用户量而不宕,这是不是最终的结果?我认为最终的结果是对于行业而言意味着更高的运转速度,对于消费者意味着每天有更的选择...
    文章 2017-09-21 778浏览量
  • 系统架构-性能篇章2(系统拆分2-问题)

    在并发的系统中,我们在这种情况下更想将数据库目标作为存储引擎来做,对这类分布式的表读操作基本都是单表,降低数据库的压力,根据读的数据,再去检索其他的信息,相关性的静态数据可以适当缓存来处理以提高...
    文章 2011-11-15 1448浏览量
  • hadoop中NameNode、DataNode、Secondary、NameNode、...

    12.每个TaskTracker产生个java 虚拟(JVM)的原因是什么?概述:Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多的 小的工作单元,并把...
    文章 2017-11-17 934浏览量
  • 从分布式一致性算法到区块链共识机制

    这个问题想必对于很技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、redis、elasticsearch等。然而这个问题却历久弥新,随着分布式网络的蓬勃发展与复杂化,对于该问题...
    文章 2019-05-13 2560浏览量
  • TensorFlow在工程项目中的应用 公开课视频+文字转录...

    当我用的系统,它对我的体验越好,那这个系统就会自我进化,变得越来越好,所以这种架构也是我们目前在所有实施中采用地方案。TensorFlow 的工程实践 TensorFlow 本身是一个深度神经网络框架。它的计算模块,也...
    文章 2017-08-02 1788浏览量
  • Zookeeper+Dubbo安装与搭建

    但若能将台这样的服务器组成一个系统,并通过软件技术将所有请求平均分配给所有服务器处理,那么这个系统完全拥有每秒钟处理几百万甚至更请求的能力。这就是负载均衡最初的设计思想。负载均衡:负载均衡是由台...
    文章 2019-08-20 1943浏览量
  • 我的2019校招面经大全(包含BAT头条网易等大厂面经)

    2 static关键字有什么用,static修饰不同东西时有什么作用,内部类用static修饰和不用static修饰有何区别。3 hashmap,hashtable,concurrenthashmap区别和场景 4 volatile关键字有什么用 5 jvm分区讲下,作用讲下,...
    文章 2019-03-13 4117浏览量
  • 【干货】阿里资深技术专家丁宇谈双11高可用架构演进之...

    并发的问题只有在大流量下才会暴露,小流量的线下测试,受限场景下是验不出来的,所以这套方案,容量也可以调整,问题也可以暴露,我们每年这个压测方案可以发现上千个问题,很问题是非常致命的,如果双11的...
    文章 2017-04-05 4503浏览量
  • 【Java】留下没有基础眼泪的面试题

    系统处理机分配给就绪队列中优先数最高的进程 基于时间片的轮转调度算法 每个进程所享受的CPU处理时间都是一致的 最短剩余时间优先算法 短作业优先算法的升级版,只不过它是抢占式的 多级反馈排队算法 设置个...
    文章 2018-08-15 9773浏览量
  • 【独家】老庙黄金2016春晚抢红包活动技术架构详解

    那么为什么用云而不是传统的硬件或者虚拟化IT架构来实现呢?并不是因为现在云计算流行而选云,而是因为只有云计算才能胜任,为什么?资源弹性,计算资源、网络资源需要多少随时就可以获取和扩展。快速交付能力,整个...
    文章 2016-03-02 6670浏览量
  • Linux集群和自动化维1.3 如何根据服务器应用选购...

    运行着电子商务网站平台,当硬件发生故障而导致宕时,你需要对以下“危言耸听”的后果做好心理准备:投诉电话被打爆、顾客大量流失、顾客要求退款、市场推广费用打水漂、员工无事可、公司运营陷入瘫痪状态、数据...
    文章 2017-05-02 1479浏览量
  • 考研学生应该知道:研究方向和开发技术

    该专业的研究课题涉及高性能处理机系统结构、机系统、并行计算与分布式计算系统、计算机系统性能评价、VLSL设计、容错计算技术、计算机接口技术、计算机网络系统与通信系统、移动计算、全球个人计算系统等。...
    文章 2014-04-22 1355浏览量
  • 搞懂分布式技术24:基于Flume+Kafka+Elasticsearch+...

    这一层大家可能有疑问,为什么用flume来开发?因为我们对这一层的定位是可以分布式部署,可以水平扩容,以java进程模式运行,并且可以实时消费kafka数据到不同目标源。鉴于flume天然的source、channel、sink架构设计...
    文章 2018-07-05 2574浏览量
  • 阿里专家分享:企业级大数据轻量云实践

    所以这倒是一件得很痛快的事情,就是看哪些服务没有用的就把他全部砍掉,刚才讲到的同城同灾,region,还有我们之前整个机群管理,因为有很内部管理有很变更的流程,还有很智能监控分析我们都砍掉了。...
    文章 2018-06-04 2992浏览量
  • 带你读《传感器系统:基础及应用》之一:工程中的传感...

    在家庭应用中,家庭安全系统、机器人护理人员和助手、机器人吸尘器、洗衣机、、洗碗、车库门开启器和娱乐中心都使用了各种传感器及其相关技术。数字计算机和相关的数字设备使用了微机电系统(MEMS),这些...
    文章 2019-11-11 860浏览量
  • 分布式服务化系统一致性的“最佳实干”

    关系型数据库由于关系型数据库是单节点的,因此,不具有分区容错性,但是具有一致性和可用性,而分布式的服务化系统都需要满足分区容错性,那么我们必须在一致性和可用性中进行权衡,具体表现在服务化系统处理的异常...
    文章 2017-08-01 2201浏览量
  • 一文看懂 kafka 机制

    如果这个consumer group里面consumer的数量大于topic里面partition的数量,出的consumer thread就会闲着啥也不,因为一个partition不可能被两个consumer thread去处理。如果producer的流量增大,当前的topic的...
    文章 2018-07-09 7675浏览量
  • 架构设计的本质

    什么系统设计,系统设计的核心是什么?如何训练系统设计的思维模式?有什么方法来帮助我们理解复杂的系统?如何进行系统分析?架构设计的本质是什么?如何进行架构设计?如何进行业务领域建模?模型如何推导出架构...
    文章 2020-10-10 7195浏览量
  • 数据科学工具包(万余字介绍几百种工具,经典收藏版!

    另外,NiFi使用基于组件的扩展模型以为复杂的数据流快速增加功能,开箱即用的组件中处理文件系统的包括FTP,SFTP及HTTP等,同样也支持HDFS。NiFi获得来来自业界的一致好评,包括Hortonworks CEO,Leverage CTO及...
    文章 2017-05-02 2634浏览量
  • 阿里云OSS上手指导(上)

    OSS是什么?为什么要使用?OSS是阿里云推出的云存储方案,说白了就是让你存储文件啊、图片啊这类东西的。有朋友可能会有疑问,我自己服务器上不能存吗?当然可以,但是云存储方案比在自己服务器上存储文件是有很...
    文章 2020-12-19 612浏览量
  • 阿里云OSS上手指导(上)

    OSS是什么?为什么要使用?OSS是阿里云推出的云存储方案,说白了就是让你存储文件啊、图片啊这类东西的。有朋友可能会有疑问,我自己服务器上不能存吗?当然可以,但是云存储方案比在自己服务器上存储文件是有很...
    文章 2021-01-07 165浏览量
  • 阿里云OSS上手指导(上)

    OSS是什么?为什么要使用?OSS是阿里云推出的云存储方案,说白了就是让你存储文件啊、图片啊这类东西的。有朋友可能会有疑问,我自己服务器上不能存吗?当然可以,但是云存储方案比在自己服务器上存储文件是有很...
    文章 2020-12-25 242浏览量
  • 分布式事务概念详解

    TCC属于应用层的一种补偿方式,所以需要程序员在实现的时候写很补偿的代码,在一些场景中,一些业务流程可能TCC不太好定义及处理。三、本地消息表(异步确保) 本地消息表这种实现方式应该是业界使用最的,...
    文章 2018-03-26 1121浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化