【选型指导】从头构建数据分析,如何做好AnalyticDB PostgreSQL的产品选型

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: ADBPG的产品线比较丰富,很多同学都想知道应该如何选择最适合自己的产品。本文从用户的数据链路视角切入,带大家快速基于现有的数据体系,构建ADBPG的数据仓库服务;

售卖形态介绍

ADBPG 目前主力在售的有两种形态,一种为存储弹性形态,另一种为serverless形态;


存储弹性: 该形态能力较为全面,无功能裁剪;产品成熟度非常高;

Serverless:该形态为ADBPG的主力演进形态,部分功能暂不支持,可参考功能对比;该形态支持计算秒级的弹性和存储的按需付费,可实现按需使用:同时全新架构在复杂分析,跑批等场景下的性能有极强的优势;


接下来,我们以数据链路的视角来帮助您在这个时刻选择最适合你的ADBPG产品规格;


链路选择

建议根据您目前保有的数据源进行选型。

如果您当下保有主要为大数据离线数据湖,请选择Serverless版本,它能够提供通过更快的通过攒批的方式 + DMS的任务调度完成进行导入;

如果您当下数据都保存在RDS、Polar DB或者在ECS上自建了数据库,我们建议您选择存储弹性模式,使用DTS进行快速的数据同步。存储弹性模式支持【主键】,可以快速承载您现在的表格式,完成一键建仓;


以下为典型数据格式的建仓及相关使用指导;


当前保有的数据存储

建议选型

快速开始指导

  • OSS 存储
  • Maxcompute 存储
  • HDFS 存储

Serverless 版本

若需要构建同步链路可参考:https://developer.aliyun.com/article/893176 ,可根据不同的数据源进行调整;
数据源使用介绍:
1OSS数据导入: https://help.aliyun.com/document_detail/164815.html
2MaxCompute 数据导入:https://help.aliyun.com/document_detail/172968.html
3HDFS 数据导入:https://help.aliyun.com/document_detail/154138.html

  • RDS 和 Polar 数据库, 如MySQL、PostgreSQL、SQL Server;
  • ECS上自建的数据库
  • Flink流数据

存储弹性(高性能版)

对于OLTP数据库,需要使用DTS进行数据同步;
1构建数据链路:https://help.aliyun.com/document_detail/311152.html
2自建数据库导入: https://help.aliyun.com/document_detail/300120.html

Flink接入:https://help.aliyun.com/document_detail/408979.html




典型场景

  1. 更经济的数据仓库: 支持按需存储, 极低存储单价,对于大数据量且有分析需求的场景有着很强的适配性.
  2. 高性能海量数据分析: TB及以上的复杂数据分析可秒级返回,有明显的性能优势;
  3. 数据湖分析: 支持对数据湖数据进行高效分析,引擎支持一套引擎对多数源进行敏捷分析;
  4. 业务中台: 构建业务中台,支持业务数据ETL,分析,生成洞见的使用链路,支持企业报表,大盘等主要数据应用,支持业务;
  5. 可持续发展的数据平台: 极强的架构可扩展性,从单数据中台到“中心数据中台+多点数据市场”的灵活拓展,支持数据共享,秒级弹性,支持任意级别的数据平台建设;
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
113 5
|
4天前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
265 22
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
|
20天前
|
存储 关系型数据库 BI
实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓
实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。
|
20天前
|
SQL 存储 分布式计算
Hologres+Paimon构建一体化实时湖仓
Hologres 3.0全新升级,面向未来的一体化实时湖仓。它支持多种Table Format,提供湖仓存储、多模式计算、分析服务和Data+AI一体的能力。Hologres与Paimon结合,实现统一元数据管理、极速查询性能、增量消费及ETL功能。Dynamic Table支持流式、增量和全量三种刷新模式,满足不同业务需求,实现一份数据、一份SQL、一份计算的多模式刷新。该架构适用于高时效性要求的场景,也可用于成本敏感的数据共享场景。
|
1月前
|
数据采集 监控 搜索推荐
用户画像构建:年度数据分析的用户视角
在数据驱动的时代,年度数据分析对企业战略规划和运营优化至关重要。本文从数据收集、预处理、分析、可视化到应用实践,全面探讨如何通过年度数据分析实现业务增长,助力企业精准决策。通过构建全面的数据源体系、清洗整合数据、洞察趋势、发现机会,并借助数据可视化工具,最终将数据转化为实际行动,持续优化企业运营。
|
1月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
2月前
|
消息中间件 人工智能 监控
Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建
本文由喜马拉雅直播业务与仓库建设负责人王琛撰写,介绍了喜马拉雅直播业务的数据仓库架构迭代升级。文章重点分享了基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效,通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警,大幅提升了运营效率与决策质量,并为未来的业务扩展和 AI 项目打下坚实基础。
254 5
Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建
|
2月前
|
SQL 存储 数据挖掘
快速入门:利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代,实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求,而AnalyticDB(ADB)作为阿里巴巴推出的一款实时数据仓库服务,凭借其强大的实时处理能力和易用性,成为了众多企业的首选。作为一名数据分析师,我将在本文中分享如何快速入门AnalyticDB,帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
71 2
|
2月前
|
缓存 监控 大数据
构建高可用AnalyticDB集群:最佳实践
【10月更文挑战第25天】在大数据时代,数据仓库和分析平台的高可用性变得尤为重要。作为阿里巴巴推出的一款完全托管的PB级实时数据仓库服务,AnalyticDB(ADB)凭借其高性能、易扩展和高可用的特点,成为众多企业的首选。本文将从我个人的角度出发,分享如何构建和维护高可用性的AnalyticDB集群,确保系统在各种情况下都能稳定运行。
51 0
|
关系型数据库 分布式数据库 PolarDB
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
384 0

热门文章

最新文章

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 云数据库 RDS PostgreSQL 版