• 《计算机科学概论(第12版)》—第1章1.3节海量存储器

    1.3 海量存储器由于计算机主存储器的不稳定性和容量的限制,大多数计算机都有称为海量存储(mass storage,或者二级存储)系统的附加存储设备,包括磁盘、CD盘、DVD盘、磁带、闪存驱动器和固态硬盘(所有这些我们...
    文章 2017-05-02 2223浏览量
  • 《深入理解Hadoop(原书第2版)》——2.3Hadoop系统的...

    这种基于Hadoop系统性能限制的巧妙设计在Hadoop系统中是很常见的。2.文件元数据和名称节点 当客户端向HDFS请求读取或者存储一个文件的时候,它需要知道要访问的数据节点是哪一个。知道这个信息之后,客户端可以直接...
    文章 2017-05-02 1386浏览量
  • 好程序员大数据培训分享Apache-Hadoop简介

    一旦使用多个硬件,相对来说,个别硬件产生故障的几率就高,为了避免数据丢失,最常见的做法就是复制(replication):文件系统保存数据的多个复本,一旦发生故障,就可以使用另外的复本。2、读取数据的正确性问题。大...
    文章 2020-05-29 1108浏览量
  • 带你读《企业私有云建设指南》之三:企业需求分析和...

    因此系统必须在可以接受的成本条件下,从系统结构、设计方案、设备选型、厂商的技术服务与维护响应能力、备件供应能力等方面考虑,使得系统故障发生的可能性尽可能少,影响尽可能小,对各种可能出现的紧急情况有应急...
    文章 2019-10-31 2904浏览量
  • 合辑|数据库学习不可不知的开发者词条汇总(三)

    点击查看全文91、BigtableBigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计...
    文章 2020-02-24 1031浏览量
  • 《循序渐进学Spark》一第1章

    1)分布式文件系统(Hadoop Distributed File System,HDFS):在集群上提供高可靠的文件存储,通过将文件块保存多个副本的办法解决服务器或硬盘故障的问题。2)计算框架MapReduce:通过简单的Mapper和Reducer的抽象...
    文章 2017-05-02 2292浏览量
  • 零距离接触阿里云时序时空数据库TSDB

    支持多种异构数据源的联合分析通常,业务把时序相关的数据存储在TSDB,非时序数据存储在其他系统中,比如维度信息存储在MySQL等。业务需要在多种数据中进行Join。时序SQL查询引擎支持业务在多种数据源之间直接进行...
    文章 2018-12-14 8887浏览量
  • Mysql学习之-Mysql存储引擎

    通常意义上,数据库也就是数据的集合,具体到计算机上数据库可以是存储器上一些文件的集合或者一些内存数据的集合。我们通常说的MySql数据库,sql server数据库等等其实是数据库管理系统,它们可以存储数据,并提供...
    文章 2017-11-14 1774浏览量
  • 带你读《企业数据湖》之二:数据湖概念概览

    由架构常识可知,一个系统的速度最多与处理链中最慢的子系统一样快,因此,如果存储层不够快,由近实时处理层执行的操作将会变得很慢,从而阻碍了该架构达到近实时的效果。在Lambda的总体架构中,针对已摄取的数据有...
    文章 2019-10-19 1262浏览量
  • 基于超大规模集群的本地存储系统优化

    为大家介绍一种更适合单机海量存储的文件系统缓存方案●本地存储优化案例分析,囊括了我们在实践中遇到的几个经典案例●本地存储系统性能实时监控,工欲善其事必先利其,只有iostat是不够的●磁盘故障监控与自动化...
    文章 2018-10-18 12038浏览量
  • 带你读《工业物联网安全》之二:工业物联网数据流和...

    故障树分析(FTA)中,我们对整个系统创建逻辑图,映射故障子系统和冗余安全设计元素之间的关系。图2-3展示了故障树的示例。与攻击树不同,FTA是自上而下的。在这里,我们通过组合一系列较低级别的事件(包括...
    文章 2019-11-05 1116浏览量
  • Apache Flink 1.9重磅发布!首次合并阿里内部版本...

    Apache Hive 是 Hadoop 生态圈中广泛用于存储和查询海量结构化数据的系统。Hive 除了是一个查询处理外,还提供了一个叫做 Metastore 的 catalog 来管理和组织大数据集。查询处理的一个常见集成点是与 Hive 的 ...
    文章 2019-08-26 1891浏览量
  • 《Storm企业级应用:实战、运维和调优》——1.1 什么...

    ZooKeeper:是Hadoop项目中的一款分布式协调系统,用于控制分布式系统中各个组件的一致性。Cassandra:是NoSQL中一款非常出色的产品,集合了Dynamo和BigTable特性的分布式存储系统,用于存储需要统计的数据,并...
    文章 2017-07-03 2248浏览量
  • 《Hadoop大数据分析与挖掘实战》——2.1节概述

    所以用户可以利用Hadoop轻松地组织计算机资源,简便、快速地搭建分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据的处理。Apache Hadoop目前版本(2.X版)含有以下模块:Hadoop通用模块,支持...
    文章 2017-05-02 1694浏览量
  • 带你读《企业私有云建设指南》之二:企业云计算涉及的...

    建设扩容成本高:IT系统中原有的UNIX服务器、数据库和存储阵列占比较高,标准化程度低,通用性差,导致建设扩容成本难以控制,给系统统一维护带来困难。扩展能力有限:系统的scale-up和scale-out能力不足,难以应对...
    文章 2019-10-31 2673浏览量
  • 一种基于Lucene的实时搜索服务

    实时更新处理 WAL日志大型分布式系统故障常见,设想一下,如果内存索引没有刷写,服务器就宕机了。内存中没有写于硬盘的数据就会丢失。所以我们的分布式实时搜索产品应对的办法是在写内存索引之前先写入WAL...
    文章 2018-01-26 5309浏览量
  • HDFS架构设计

    在本地文件系统中的一个目录下创建所有的文件并不是最佳策略,因为本地文件系统可能并不能高效的支撑单一目录下的大量文件存储。当DataNode启动时,它会扫描本地文件系统内,生成一个HDFS数据block和本地文件的映射...
    文章 2016-10-23 3417浏览量
  • OceanBase如何获得TPC-C测试第1名?

    OceanBase利用近两年逐渐成熟的LLVM编译框架实现了一个支持存储过程的编译,通过动态编译(Just-in-Time Compilation)的方式将存储过程翻译成高效的二进制可执行代码,在执行效率上获得了数量级的提升。...
    文章 2019-10-09 5285浏览量
  • 基于MaxCompute/Dataworks实现数据仓库管理与全链路...

    但随着时间的推移,传统数据仓库的数据计算与存储,已经无法很好地支持海量数据的计算与存储,这样大数据(分布式)技术才开始火热起来。那么说到这里,我们先说下数据仓库中,OLTP和OLAP系统的区别: OLTP:数据...
    文章 2019-04-28 1960浏览量
  • 一共81个,开源大数据处理工具汇总(上)

    另外,Drill的核心模块是Drillbit服务,该服务模块包括远程访问模块、SQL解析、查询优化、任务计划执行引擎、存储插件接口(DFS、HBase、Hive等的接口)、分布式缓存模块等几部分,如下图所示: ApacheDrill...
    文章 2015-10-13 2254浏览量
  • 【官方文档】Hadoop分布式文件系统:架构和设计

    Namenode在本地操作系统的文件系统存储这个Editlog。整个文件系统的名字空间,包括数据块到文件的映射、文件的属性等,都存储在一个称为FsImage的文件中,这个文件也是放在Namenode所在的本地文件系统上。Namenode...
    文章 2014-09-01 655浏览量
  • 五分钟学后端技术:一篇文章告诉你什么是云计算!

    大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。...
    文章 2020-04-02 2500浏览量
  • 带你读《数据库与数据处理:Access 2010 实现 第2版》...

    张玉洁 孟祥武 编著 第1章 数据处理与数据库早期计算机主要用于科学计算,数据类型单一。随着计算机技术的发展以及计算机的益普及,计算机应用已经远远超出了这个范畴。...缺点是无法存储结构化信息、在发生故障时不...
    文章 2019-11-11 991浏览量
  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳...

    示例7.1 一个例证7.2 数据处理工具的常见陷阱7.2.1 自定义语言7.2.2 不良的可组合抽象7.3 JCascalog介绍7.3.1 JCascalog的数据模型7.3.2 JCascalog查询的结构7.3.3 查询多个数据集7.3.4 分组和聚合7.3.5...
    文章 2017-05-02 1490浏览量
  • 平台篇-八年磨一剑,重新定义 HBase——HBase 2.0&...

    因为各种传感比 较多,时序数据需要满足高并发、海量存储等基本要求,除了 IoT 之外,在股票 以及监控数据里面也需要用到这样的时序数据。时空数据:轨迹以及气象网格数据也需要 HBase 的高并发和海量存储能力。...
    文章 2019-01-14 2560浏览量
  • 带你读《Greenplum:从大数据战略到实现》之三:数据...

    在磁带出现之前,它是一种非常流行的存储器,现在很多学校使用的答题卡就是基于类似原理。人类曾经发明过很多存储数据的介质,包括上古用于计数的绳子、壁画、甲骨、碑刻、竹简、帛书及后来的纸。然而,这些数据或...
    文章 2019-11-14 1638浏览量
  • 八年磨一剑,重新定义HBase——HBase 2.0&阿里云HBase...

    因为各种传感比较多,时序数据需要满足高并发、海量存储等基本要求,除了IoT之外,在股票以及监控数据里面也需要用到这样的时序数据。时空数据:轨迹以及气象网格数据也需要HBase的高并发和海量存储能力。Cube分析...
    文章 2018-06-12 14071浏览量
  • 分布式与集群的联系与区别

    只实现任务转换的负载均衡适用于支持ACTIVE-STANDBY的集群环境,在那里,集群中只有 一个服务实体工作,当正在工作的服务实体发生故障时,负载均衡把后来的任务转向另外一个服务实体。内部通信-为了能协同工作...
    文章 2019-08-13 802浏览量
  • 《架构真经:互联网技术架构的设计原则(原书第2版)...

    这种故障隔离和客户拆分允许公司通过扩展获得早期的盈利能力,同时避免了很多早期SaaS和PaaS产品常见的噪音临近问题。此外,该公司重视由多租户模式所带来的成本效益,尽管他们沿着客户边界创建故障隔离区,但是他们...
    文章 2017-05-02 1394浏览量
  • 面向大数据与云计算调度挑战的...系统—Fuxi 2.0全揭秘

    随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和磨练,伏羲的内涵不断扩大,从单一的资源调度(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data Placement)、资源调度(Resouce ...
    文章 2020-05-13 2433浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化