《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(4)

简介: 《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(4)

《CDP企业数据云平台从入门到实践》——CDP之数据储存(3) https://developer.aliyun.com/article/1226404?groupCode=ClouderaCDP


四、 部署 OPDB


1. OPDB 形态


OPDB 有三种形态:集群模式、DataHub 和 COD。


1) 集群模式:在具有 CDP 私有云基础的裸机上


• 存储在 HDFS 中的数据。

• 在裸机上运行的集群允许针对硬件最大程度地调整工作负载。

• 最可定制化的产品。


2) DataHub:CDP 公有云上的经典风格


• 云对象存储中的数据。

• CDP 公有云中的模板化部署。

• 提供一些可定制性,易于在公共云环境中进行配置。


3) COD:CDP 公共云上的托管服务


• 云对象存储中的数据。

• 支持自动缩放、自动调整和自动修复。

• 最容易配置,最低的管理开销。


目前在阿里云上的产品是经典形态,未来将上架 COD 形态。


2. OPDB 分布式架构


如图所示,OPDB 分布式架构由两部分组成:应用端/客户端(Apps/Clients)和 Server

端 OPDB。


1) 应用端/客户端:包括 JVM、Python、Javascript、SQL/JDBC 等。


2) Server 端:


• 接口:通过 REST Gateway、Thrift Gateway、Phonix Query Server 访问 OPDB。

• OPDB 主要是 HBase 集群,通过 Zookeeper 支持高可用,底层存储支持 HDFS、

S3、ADLS 等。

image.png


3. 未来:COD 的新功能


1) 针对开发人员和管理人员的利好


COD 的新功能可以减少开发人员和管理人员的工作,让他们能将时间花在更重要的事情上。

• 开发人员:轻松快速部署,部署操作更简单,只需 3 次点击,20 分钟即可完成部署。

• 管理人员:自主管理,支持自动伸缩、自动优化和自动修复,有效减少管理开销。


2) 连接到 COD


每个 COD 实例都有一个主页,其中包含各种类型的客户端的连接信息。连接方式包括:HBase、Phonix、JDBC 等。

image.png


3) COD 提高运营敏捷性


• 自动配置:减少配置开销

自动配置 Kerberos、TLS、缓存设置等。

默认情况下高度可用。

简化的复制设置。


• 自动缩放:调整峰值和平均负载

根据应用需求自动扩缩容。

降低基础设施成本。


• 自动优化:优化运行的工作负载

检测和缓解热点。

随着数据的增长,消除了对区域管理和平衡的需求。


4) 轻松的混合云部署


COD 作为未来混合云部署的重要组成部分,支持与本地 Data Centre 的 OPDB 以及其他公有云产品的 OPDB 进行交互,用于测试/开发、弹性、灾难恢复和云迁移。

image.png


COD 复制:

• 两次点击部署云集群。

• 基于向导的双向实时复制设置。

• 云数据库没有管理开销。

• 没有供应商差异,确保简化的应用程序提升和转移。

相关文章
SpringBoot入门 - 添加内存数据库H2
SpringBoot入门 - 添加内存数据库H2
153 3
SpringBoot入门 - 添加内存数据库H2
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
SpringBoot入门(4) - 添加内存数据库H2
SpringBoot入门(4) - 添加内存数据库H2
74 4
SpringBoot入门(4) - 添加内存数据库H2
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
158 75
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
Hutool创建数据源工厂动态查询不同数据库不同数据表的数据
Hutool创建数据源工厂动态查询不同数据库不同数据表的数据
26 2
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
321 61
|
3月前
|
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
61 1
招行面试:100万级别数据的Excel,如何秒级导入到数据库?
本文由40岁老架构师尼恩撰写,分享了应对招商银行Java后端面试绝命12题的经验。文章详细介绍了如何通过系统化准备,在面试中展示强大的技术实力。针对百万级数据的Excel导入难题,尼恩推荐使用阿里巴巴开源的EasyExcel框架,并结合高性能分片读取、Disruptor队列缓冲和高并发批量写入的架构方案,实现高效的数据处理。此外,文章还提供了完整的代码示例和配置说明,帮助读者快速掌握相关技能。建议读者参考《尼恩Java面试宝典PDF》进行系统化刷题,提升面试竞争力。关注公众号【技术自由圈】可获取更多技术资源和指导。
获取数据库中字段的数据作为下拉框选项
获取数据库中字段的数据作为下拉框选项
70 5

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等