《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(4)

简介: 《CDP企业数据云平台从入门到实践》——CDP之操作型数据库(4)

《CDP企业数据云平台从入门到实践》——CDP之数据储存(3) https://developer.aliyun.com/article/1226404?groupCode=ClouderaCDP


四、 部署 OPDB


1. OPDB 形态


OPDB 有三种形态:集群模式、DataHub 和 COD。


1) 集群模式:在具有 CDP 私有云基础的裸机上


• 存储在 HDFS 中的数据。

• 在裸机上运行的集群允许针对硬件最大程度地调整工作负载。

• 最可定制化的产品。


2) DataHub:CDP 公有云上的经典风格


• 云对象存储中的数据。

• CDP 公有云中的模板化部署。

• 提供一些可定制性,易于在公共云环境中进行配置。


3) COD:CDP 公共云上的托管服务


• 云对象存储中的数据。

• 支持自动缩放、自动调整和自动修复。

• 最容易配置,最低的管理开销。


目前在阿里云上的产品是经典形态,未来将上架 COD 形态。


2. OPDB 分布式架构


如图所示,OPDB 分布式架构由两部分组成:应用端/客户端(Apps/Clients)和 Server

端 OPDB。


1) 应用端/客户端:包括 JVM、Python、Javascript、SQL/JDBC 等。


2) Server 端:


• 接口:通过 REST Gateway、Thrift Gateway、Phonix Query Server 访问 OPDB。

• OPDB 主要是 HBase 集群,通过 Zookeeper 支持高可用,底层存储支持 HDFS、

S3、ADLS 等。

image.png


3. 未来:COD 的新功能


1) 针对开发人员和管理人员的利好


COD 的新功能可以减少开发人员和管理人员的工作,让他们能将时间花在更重要的事情上。

• 开发人员:轻松快速部署,部署操作更简单,只需 3 次点击,20 分钟即可完成部署。

• 管理人员:自主管理,支持自动伸缩、自动优化和自动修复,有效减少管理开销。


2) 连接到 COD


每个 COD 实例都有一个主页,其中包含各种类型的客户端的连接信息。连接方式包括:HBase、Phonix、JDBC 等。

image.png


3) COD 提高运营敏捷性


• 自动配置:减少配置开销

自动配置 Kerberos、TLS、缓存设置等。

默认情况下高度可用。

简化的复制设置。


• 自动缩放:调整峰值和平均负载

根据应用需求自动扩缩容。

降低基础设施成本。


• 自动优化:优化运行的工作负载

检测和缓解热点。

随着数据的增长,消除了对区域管理和平衡的需求。


4) 轻松的混合云部署


COD 作为未来混合云部署的重要组成部分,支持与本地 Data Centre 的 OPDB 以及其他公有云产品的 OPDB 进行交互,用于测试/开发、弹性、灾难恢复和云迁移。

image.png


COD 复制:

• 两次点击部署云集群。

• 基于向导的双向实时复制设置。

• 云数据库没有管理开销。

• 没有供应商差异,确保简化的应用程序提升和转移。

目录
相关文章
|
4月前
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
542 7
|
7月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
5月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
10月前
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
980 4
|
6月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
5月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
156 11
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
599 0
|
数据采集 数据库 Python
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
715 174