• HBase+Spark技术双周刊 第八期

    中国HBase技术社区第八届MeetUp ——HBase应用实践专场(南京站)
中国HBase技术社区第八届MeetUp ——HBase应用实践专场(南京站)回顾,阿里云,毕马威,苏宁等公司数据库技术大咖共话HBase技术实践。中国HBase...
    文章 2019-05-28 6976浏览量
  • 中国HBase技术社区第一届MeetUp-HBase2.0研讨圆桌会

    当时我们把HBase形容为存储整个互联网的数据库,也就是说它是非常大容量,高并发的数据库,随着这么多年的发展也衍生出了非常非常多的场景。三、360在什么的场景下使用了HBase?另外我们知道360有一定的规模...
    文章 2018-06-13 7467浏览量
  • 中国HBase技术社区第一届MeetUp-HBase2.0研讨圆桌会

    当时我们把HBase形容为存储整个互联网的数据库,也就是说它是非常大容量,高并发的数据库,随着这么多年的发展也衍生出了非常非常多的场景。三、360在什么的场景下使用了HBase?另外我们知道360有一定的规模...
    文章 2018-06-14 2187浏览量
  • 基于HBase和Spark构建企业级数据处理平台

    专注于大数据分布式计算和数据库领域,具有6年分布式开发经验,先后研发Spark及自主研发内存计算,目前为广大公有云用户提供专业的云HBase数据库及计算服务。以下内容根据演讲视频以及PPT整理而成。本文分享主要围绕...
    文章 2019-04-01 6721浏览量
  • [Phoenix]八、动态列

    由于Phoenix是HBase上的SQL层,借助HBase特性实现的动态列,避免了传统关系型数据库动态列实现存在的问题。二、动态列使用 示例表(用于语法说明) CREATE TABLE EventLog eventId BIGINT NOT NULL, eventTime TIME ...
    文章 2018-04-08 7057浏览量
  • 大白话彻底搞懂 HBase RowKey 详细设计

    RowKey从字面意思来看是行键的意思,咱们知道HBase可以理解为一个nosql(not only sql)数据库,既然是数据库,那么咱们日常使用最多的就是增删改查(curd)。其实在增删改查的过程中RowKey就充当了主键的作用,它和...
    文章 2020-06-12 1377浏览量
  • HBase二级索引

    在方案1的场景中,想象一下,如果单索引数量多达10个会怎么样?10个索引,就要merge 10次,性能可想而知。解决这个问题需要参考RDBMS的组合索引实现。比如出生地和年龄需要同时查询,此时如果建立一个出生地和年龄的...
    文章 2017-11-04 3944浏览量
  • hbase 学习(十四)Facebook针对hbase的优化方案分析

    如Figure 16所示,一般分布式数据库系统分为三个层次:db layer/replication layer/local layer。这种分层架构的最大优点是简洁清晰,每层各司其职。例如db layer只需要处理DB相关的逻辑,底层的存储认为是available...
    文章 2016-09-11 2226浏览量
  • 数据库 Nebula Graph 在 HBaseCon Asia2019 的分享...

    这样在 search 的时候可以回答一些问题,比如说今天的天气怎么样?比如说现在谁的老婆的外甥的二大爷是谁。根据一些类似于问题式的知识,而不是基于关键字进行 search。知识图谱这几年非常的火,主要的原因就是一些...
    文章 2019-07-24 3645浏览量
  • Java技术周刊第3期:Spring ...starter-hbase 集成 HBase

    Spring Boot 2.x:通过 spring-boot-starter-hbase 集成 HBaseHBase 是在 Hadoop 分布式文件系统(简称:HDFS)之上的分布式面向列的数据库。而且是 2007 最初原型,历史悠久。那追根究底,Hadoop 是什么?Hadoop是...
    文章 2019-04-09 1463浏览量
  • 小米架构师:亿级大数据实时分析与工具选型

    最后小米提出一个很Common的HBase迁移方法,在最开始写数据的时候双写,既写HBase又写MySQL的,保证新的数据会同时存在于HBase和MySQL里,第二个就是把MySQL中的历史数据迁移到HBase,这样从理论上两个数据库就能...
    文章 2017-05-02 3108浏览量
  • 数据应用之双色球算奖平台总体设计历史数据存储篇

    如果采用No-SQL技术(Hbase)又会是怎么样的情形呢?我们以期次为单位组织表结构,每期一个文件,以投注站编号和流水号为rowkey,以红球为family1,以篮球为family2。根据Hbase的特点,则既可以解决记录数的问题,也...
    文章 2016-04-19 1288浏览量
  • 【云周刊】第173期:直击数博|阿里胡晓明:用100亿的...

    本次云数据库HBase2.0产品发布会,将会给大家带来最新的云数据库HBase2.0产品,云数据库HBase2.0全面兼容社区HBase2.0版本,同时进行了深度的内核优化以及众多企业级功能定制,另外发布会将由多位HBase committer为...
    文章 2018-06-03 6393浏览量
  • 数据应用之双色球算奖平台总体设计历史数据存储篇

    如果采用No-SQL技术(Hbase)又会是怎么样的情形呢?我们以期次为单位组织表结构,每期一个文件,以投注站编号和流水号为rowkey,以红球为family1,以篮球为family2。根据Hbase的特点,则既可以解决记录数的问题,也...
    文章 2013-07-16 1061浏览量
  • 浅谈HBase数据分布

    可以说,rowkey的比较规则是整个HBase数据模型的核心,直接影响了整个请求路由体系的设计、读写链路、rowkey设计、scan的使用等,贯穿整个HBase。对于用户而言,深入理解这个规则及其应用有助于做出良好的表设计,写...
    文章 2018-07-29 5873浏览量
  • Spark入门介绍

    下图列出了Spark 和HBase数据库各自适用的场景(摘自HBase和Spark对比): 对比项目 Phoenix(HBase) Spark SQL复杂度 简单查询,必须命中索引 且 命中后 返回的数据较少,如果是join,则join任意一则返回的数据量在...
    文章 2019-06-22 2346浏览量
  • 云原生大数据架构中实时计算维表和结果表的选型实践

    但总体来说,MySQL 是非常优秀的数据库产品,在数据规模不怎么大的场景下,MySQL 绝对是个不错的选择。Redis在云上应用架构中,由于 MySQL 难以承载不断增加的业务负载,往往会使用 Redis 作为 MySQL 的查询结果集...
    文章 2021-09-14 1686浏览量
  • 数据采集和抽取怎么做?这篇文章终于说明白了!

    Sqoop主要用于在Hadoop(HDFS、Hive、HBase)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Datax DataX 是...
    文章 2020-05-21 1727浏览量
  • TableStore发布多元索引功能,打造统一的在线数据平台

    业界的发展现状是怎么样的?下一章节,我们一起看一下目前业界的比较领先的解决方案。业界领先方案 Cloudera Search Cloudera是一家位于美国的软件公司,向企业客户提供改造后的商业版本的Apache Hadoop体系的软件和...
    文章 2018-09-18 7029浏览量
  • No.1-Apache IoTDB 随笔-Time Series DBMS 综述(文末...

    第二种,就是在KV数据库的基础之上进行改进的时序数据库,比如,基于HBase开发的OpenTSDB。第三种,就是为时序数据量身定制的时序数据库,那么目前的领头羊就是InfluxDB。当然,我前面说过,我也很看好2020新晋的...
    文章 2020-12-17 743浏览量
  • 各种 NoSQL 的比较

    即使关系型数据库依然是非常有用的工具,但它们持续几十年的垄断地位就要走到头了。现在已经存在无数能撼动关系型数据库地位的 NoSQL,当然,这些 NoSQL 还无法完全取代它们。(也就是说,关系型数据库还是处理关系...
    文章 2017-05-02 2398浏览量
  • Elasticsearch对垒8大竞品技术,孰优孰劣?

    在互联网 2.0 时代,考验各互联网公司最简单的技术要求,就是看他们的搜索做的怎么样,那时大家的做法几乎一样,都基于 Lucene 核心构建一套搜索引擎,剩下的就看各公司的开发者们的水平。笔者有幸在 2012 年之前...
    文章 2020-06-30 11107浏览量
  • 首度公开!OceanBase存储系统架构的演进历程及工程...

    作为一款100%自研的分布式数据库,OceanBase历经了近十年的发展历程。近十年来,OceanBase的存储架构经历了多次演进,以解决业务越来越复杂苛刻的存储需求。本文整理自赵裕众(花名陈群)在2019 SACC中国系统架构师...
    文章 2019-11-26 3339浏览量
  • 数据迁移类测试策略

    a、关系数据库,直接新老数据库中jdbc方式获取数据,一条条进行对比,新老数据存在规则转换的情况需要在对账程序中同时进行规则判断。b、全量或抽样dump历史库和新库两份文件进行对比,数据库非常大的时候推荐使用...
    文章 2017-07-04 3563浏览量
  • 2018云数据库智能未来大会,我们看到了阿里云“嚣张”...

    去年随着人工智能的爆发,发布了POLARDB、HBase解决了大规模数据存储和运算,同时发布了人工智能数据库诊断助手CloudDBA。NewSQL家族实也现了如下提升:Redis4.0,自研版本性能提升3倍以上;MongoDB 3.4发布,自研...
    文章 2018-01-18 2462浏览量
  • 阿里巴巴高级专家谭宇:云数据库OceanBase的架构演进...

    云栖社区:在致力于更加优秀的金融级数据库服务上,OceanBase还将怎么做?茂七:OceanBase目前支撑了网商银行、蚂蚁交易、支付等多个核心系统,但发展到今天,才不到七年的时候,作为数据库,还有很长的路要走: 一是...
    文章 2016-08-04 6712浏览量
  • 云原生大数据架构中实时计算维表和结果表的选型实践

    以及分布式数据库 HBase。最初的大数据技术与需求往往集中在超大规模数据存储、数据处理、在线查询等。在这个阶段&xff0c;很多公司会选择自建机房部署 Hadoop 的方式&xff0c;大数据技术与需求集中在离线计算与大...
    文章 2021-09-17 77浏览量
  • COSCon'19|如何设计新一代的图数据库 Nebula

    在信息爆发式增长和内容平台遍地开花的信息时代,图数据库在当中扮演了什么的角色?同传统数据库相比,图数据库又有什么优势?图数据库开发需要哪些新技术?就此,开源社特访吴敏来分享下图数据库主题内容,从图...
    文章 2019-11-12 1683浏览量
  • 基于HBase快速构建 海量订单存储系统

    大家都是用单机的数据库系统或者是用大型机&xff0c;随着行业的发展&xff0c;数据越来越多&xff0c;单机或者是大型机已经存不下了&xff0c;所以我们需要一个多机或者多盘的方式来管理更多的数据。如上所示&xff0c;这里面有两...
    文章 2021-08-17 83浏览量
  • 5月6日云栖精选夜读|蚂蚁金服生产级 Raft 算法存储...

    1.蚂蚁金服生产级 Raft 算法存储模块剖析|SOFAJRaft 实现原理 本文为《剖析|SOFAJRaft 实现原理》第一篇。本文从 Log 日志存储 LogStorage、Meta 元信息存储 RaftMetaStorage 以及 Snapshot 快照存储 ...
    文章 2019-05-06 2828浏览量
1 2 3 4 6 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化