《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(3)

本文涉及的产品
密钥管理服务KMS,1000个密钥,100个凭据,1个月
简介: 《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(3)

《CDP企业数据云平台从入门到实践》——CDP之数据储存(2) https://developer.aliyun.com/article/1226409?spm=a2c6h.13148508.setting.14.12f54f0eNj6eW1


3. 如何使用 OPDB?


OPDB 可以在 HUE 中使用,HUE 支持 HBase 的搜索、插入、更新、删除、DDL 等操作。

image.png


同时,HUE 支持 SQL(Phonix)接口,可以在 HUE 中通过 Phonix 接口调用 HBase数据插入、更新、删除查询。


image.png


4. 快速启动项目


参考网址:https://github.com/cloudera/cod-examples


下图列举了基于 Java、Python 和 C#的入门示例,以方便大家体验 OPDB。


image.png



三、 企业就绪的 OPDB


OPDB 是一款企业就绪的产品。


1. OPDB 的安全模型


1) 认证


基于 Kerberos 的身份验证,可以与大多数企业身份和角色管理系统集成。


2) 授权


OPDB 通过 Ranger 进行授权管理,Ranger 中的命名空间、表、列族和列范围可以设置读、写、创建或管理权限。


3) 加密


数据加密通过 TSL 来完成:

• 传输中数据的传输级加密(RPC、WAL)。

• 静态数据的文件级加密(HFiles)。


2. 开箱即用的高可用性


OPDB 中的数据分布在 Ragion Server(RS)中,如下图所示,表(Table)按键范围划分为区域,RS 管理多个区域,并维护预写日志(WAL)以跟踪突变,WAL 和区域文件保存在共享文件系统(HDFS 或对象存储)中。

image.png

当 Region Server 崩溃时,受影响区域的客户端请求(读取、写入)将超时。


受影响的区域被重新分配给剩余的区域服务器,并重播 WAL 使受影响的区域保持更新。至此可以再次为受影响的地区提供服务,恢复时间<1 分钟。


如下图所示,假设 RS3 崩溃,其中的 D 和 F 将被重新分配到 RS1 和 RS2 中,并通过共享文件系统访问数据。


3. OPDB 复制


OPDB 的复制用于实施弹性和灾难恢复的全功能。


OPDB 的特性:


• OPDB 复制是异步复制。

• 最终或时间线的一致性。

• 作用于命名空间、表或列族。

• 任意拓扑

单向(A->B)

双向(A<-->B)

一对多(A->B,C,D)

循环(A->B->C->A)


1) 混合集群类型


• 跨数据中心、区域或可用区。

• 不同大小的源和目标集群。

• 从不安全到安全的集群。

• 跨 Kerberos 域,没有 x-realm 信任。


2) 批量加载被复制

image.png


4. 备份和灾难恢复选项


备份和灾难恢复常见的方式有:Replication 和 Snapshots,对于小数据量可以使用SyncTable 和 CopyTable。

image.png


1) Replication


可以自动进行完整的复制,在配置完成后将 HBase 从源自动复制到目标端,是目前最新的一种复制方式。


2) 快照(Snapshots)


• 快照在创建时占用空间很小,但可能会随着时间的推移而扩展,具体取决于数据更改率。

• 如果是灾备,要将它们运送到另一个系统,则需要完整的数据副本。

• 同样,远程系统上的快照加载比本地系统上的加载花费更长的时间。


5. 资源管理


如图所示,配额的范围可以是用户、表或命名空间。

image.png


《CDP企业数据云平台从入门到实践》——CDP之数据储存(4) https://developer.aliyun.com/article/1226399?groupCode=ClouderaCDP



目录
相关文章
|
4月前
|
Java 数据库连接 测试技术
SpringBoot入门 - 添加内存数据库H2
SpringBoot入门 - 添加内存数据库H2
166 3
SpringBoot入门 - 添加内存数据库H2
|
4月前
|
Java 数据库连接 测试技术
SpringBoot入门(4) - 添加内存数据库H2
SpringBoot入门(4) - 添加内存数据库H2
79 4
SpringBoot入门(4) - 添加内存数据库H2
|
7月前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
634 0
|
3月前
|
存储 安全 数据管理
时序数据库TDengine 与中移软件达成兼容性互认证,推动虚拟化云平台与时序数据库的深度融合
在数字化转型和智能化升级的浪潮下,企业对数据的需求日益增长,尤其是在物联网、大数据和实时分析等领域。随着设备数量的激增,时序数据的管理和处理变得愈发复杂,企业亟需高效、稳定的数据解决方案来应对这一挑战。时序数据库作为专门处理时间序列数据的工具,正逐渐成为各行业数字化转型的重要支撑。
75 4
|
5月前
|
Java 数据库连接 测试技术
SpringBoot入门(4) - 添加内存数据库H2
SpringBoot入门(4) - 添加内存数据库H2
63 2
SpringBoot入门(4) - 添加内存数据库H2
|
4月前
|
Java 数据库连接 测试技术
SpringBoot入门(4) - 添加内存数据库H2
SpringBoot入门(4) - 添加内存数据库H2
86 13
|
4月前
|
Java 数据库连接 测试技术
SpringBoot入门(4) - 添加内存数据库H2
SpringBoot入门(4) - 添加内存数据库H2
86 4
|
5月前
|
存储 人工智能 Java
Neo4j从入门到精通:打造高效知识图谱数据库 | AI应用开发
在大数据和人工智能时代,知识图谱作为一种高效的数据表示和查询方式,逐渐受到广泛关注。本文从入门到精通,详细介绍知识图谱及其存储工具Neo4j,涵盖知识图谱的介绍、Neo4j的特点、安装步骤、使用方法(创建、查询)及Cypher查询语言的详细讲解。通过本文,读者将全面了解如何利用Neo4j处理复杂关系数据。【10月更文挑战第14天】
502 6
|
5月前
|
SQL 存储 数据管理
SQL数据库的使用指南:从入门到精通
随着信息技术的飞速发展,数据库已成为各类企业和组织不可或缺的一部分。作为最流行的数据库管理系统之一,SQL数据库广泛应用于各种场景,如数据存储、数据管理、数据分析等。本文将详细介绍SQL数据库的使用方法,帮助初学者快速入门,并帮助有经验的开发者深化理解。一、SQL数据库基础首先,我们需要理解SQL数
264 2
|
7月前
|
SQL 存储 NoSQL
Redis6入门到实战------ 一、NoSQL数据库简介
这篇文章是关于NoSQL数据库的简介,讨论了技术发展、NoSQL数据库的概念、适用场景、不适用场景,以及常见的非关系型数据库。文章还提到了Web1.0到Web2.0时代的技术演进,以及解决CPU、内存和IO压力的方法,并对比了行式存储和列式存储数据库的特点。
Redis6入门到实战------ 一、NoSQL数据库简介

热门文章

最新文章