【选型指导】从头构建数据分析,如何做好AnalyticDB PostgreSQL的产品选型

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: ADBPG的产品线比较丰富,很多同学都想知道应该如何选择最适合自己的产品。本文从用户的数据链路视角切入,带大家快速基于现有的数据体系,构建ADBPG的数据仓库服务;

售卖形态介绍

ADBPG 目前主力在售的有两种形态,一种为存储弹性形态,另一种为serverless形态;


存储弹性: 该形态能力较为全面,无功能裁剪;产品成熟度非常高;

Serverless:该形态为ADBPG的主力演进形态,部分功能暂不支持,可参考功能对比;该形态支持计算秒级的弹性和存储的按需付费,可实现按需使用:同时全新架构在复杂分析,跑批等场景下的性能有极强的优势;


接下来,我们以数据链路的视角来帮助您在这个时刻选择最适合你的ADBPG产品规格;


链路选择

建议根据您目前保有的数据源进行选型。

如果您当下保有主要为大数据离线数据湖,请选择Serverless版本,它能够提供通过更快的通过攒批的方式 + DMS的任务调度完成进行导入;

如果您当下数据都保存在RDS、Polar DB或者在ECS上自建了数据库,我们建议您选择存储弹性模式,使用DTS进行快速的数据同步。存储弹性模式支持【主键】,可以快速承载您现在的表格式,完成一键建仓;


以下为典型数据格式的建仓及相关使用指导;


当前保有的数据存储

建议选型

快速开始指导

  • OSS 存储
  • Maxcompute 存储
  • HDFS 存储

Serverless 版本

若需要构建同步链路可参考:https://developer.aliyun.com/article/893176 ,可根据不同的数据源进行调整;
数据源使用介绍:
1OSS数据导入: https://help.aliyun.com/document_detail/164815.html
2MaxCompute 数据导入:https://help.aliyun.com/document_detail/172968.html
3HDFS 数据导入:https://help.aliyun.com/document_detail/154138.html

  • RDS 和 Polar 数据库, 如MySQL、PostgreSQL、SQL Server;
  • ECS上自建的数据库
  • Flink流数据

存储弹性(高性能版)

对于OLTP数据库,需要使用DTS进行数据同步;
1构建数据链路:https://help.aliyun.com/document_detail/311152.html
2自建数据库导入: https://help.aliyun.com/document_detail/300120.html

Flink接入:https://help.aliyun.com/document_detail/408979.html




典型场景

  1. 更经济的数据仓库: 支持按需存储, 极低存储单价,对于大数据量且有分析需求的场景有着很强的适配性.
  2. 高性能海量数据分析: TB及以上的复杂数据分析可秒级返回,有明显的性能优势;
  3. 数据湖分析: 支持对数据湖数据进行高效分析,引擎支持一套引擎对多数源进行敏捷分析;
  4. 业务中台: 构建业务中台,支持业务数据ETL,分析,生成洞见的使用链路,支持企业报表,大盘等主要数据应用,支持业务;
  5. 可持续发展的数据平台: 极强的架构可扩展性,从单数据中台到“中心数据中台+多点数据市场”的灵活拓展,支持数据共享,秒级弹性,支持任意级别的数据平台建设;
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
1月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
75 5
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
Python 数据分析:从零开始构建你的数据科学项目
【10月更文挑战第9天】Python 数据分析:从零开始构建你的数据科学项目
57 2
|
2月前
|
数据采集 机器学习/深度学习 数据可视化
构建高效数据分析系统的关键技术
【10月更文挑战第5天】构建高效数据分析系统的关键技术
44 0
|
1月前
|
SQL 存储 数据挖掘
快速入门:利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代,实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求,而AnalyticDB(ADB)作为阿里巴巴推出的一款实时数据仓库服务,凭借其强大的实时处理能力和易用性,成为了众多企业的首选。作为一名数据分析师,我将在本文中分享如何快速入门AnalyticDB,帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
40 2
|
4月前
|
Kubernetes 并行计算 数据挖掘
构建高可用的数据分析平台:Dask 集群管理与部署
【8月更文第29天】随着数据量的不断增长,传统的单机数据分析方法已无法满足大规模数据处理的需求。Dask 是一个灵活的并行计算库,它能够帮助开发者轻松地在多核 CPU 或分布式集群上运行 Python 代码。本文将详细介绍如何搭建和管理 Dask 集群,以确保数据分析流程的稳定性和可靠性。
253 3
|
4月前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之RDS和ADB的区别是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
112 2
|
4月前
|
机器学习/深度学习 数据采集 数据挖掘
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题二
本文提供了第十一届泰迪杯数据挖掘挑战赛B题问题二的详细解题步骤,包括时间序列预测模型的建立、多元输入时间预测问题的分析、时间序列预测的建模步骤、改进模型的方法,以及使用Python进行SARIMA模型拟合和预测的具体实现过程。
80 1
|
4月前
|
供应链 算法 数据挖掘
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 23页论文及实现代码
本文介绍了2023年第十一届泰迪杯数据挖掘挑战赛B题的解决方案,深入分析了产品订单数据,并使用Arimax和Var模型进行了需求预测,旨在为企业供应链管理提供科学依据,论文共23页并包含实现代码。
104 0
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 23页论文及实现代码
|
4月前
|
前端开发 Java JSON
Struts 2携手AngularJS与React:探索企业级后端与现代前端框架的完美融合之道
【8月更文挑战第31天】随着Web应用复杂性的提升,前端技术日新月异。AngularJS和React作为主流前端框架,凭借强大的数据绑定和组件化能力,显著提升了开发动态及交互式Web应用的效率。同时,Struts 2 以其出色的性能和丰富的功能,成为众多Java开发者构建企业级应用的首选后端框架。本文探讨了如何将 Struts 2 与 AngularJS 和 React 整合,以充分发挥前后端各自优势,构建更强大、灵活的 Web 应用。
61 0
|
4月前
|
SQL 数据采集 算法
【电商数据分析利器】SQL实战项目大揭秘:手把手教你构建用户行为分析系统,从数据建模到精准营销的全方位指南!
【8月更文挑战第31天】随着电商行业的快速发展,用户行为分析的重要性日益凸显。本实战项目将指导你使用 SQL 构建电商平台用户行为分析系统,涵盖数据建模、采集、处理与分析等环节。文章详细介绍了数据库设计、测试数据插入及多种行为分析方法,如购买频次统计、商品销售排名、用户活跃时间段分析和留存率计算,帮助电商企业深入了解用户行为并优化业务策略。通过这些步骤,你将掌握利用 SQL 进行大数据分析的关键技术。
204 0

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 云数据库 RDS PostgreSQL 版