Serverless数据仓库探索,助力企业敏捷数据分析

本文涉及的产品
简介: 本文介绍了如何通过通过Serverless的OLAP产品,帮助企业升级至更加敏捷的分析平台架构,大幅简化架构复杂度并提高分析效率。

敏捷云原生数据仓库架构

传统的云数据仓库需要用户购买一个预置的数据资源进行7*24的长时间运行;这种方式对于当下崇尚敏捷创业者来说使用负担较大,对于探索类或成长型业务缺少灵活的使用模式以满足低成本数据分析诉求;


随着这个问题被越来越多的企业关注,Serverless的使用方式开始逐渐被各大厂商提及,Big Query, Snowflake,Redshift等都进行了类似的布局,而国内的数仓产品还处于探索阶段,对于基于计算资源以满足仓内分析的安量付费模式还没有被创业者所看见;


阿里云AnalyticDB PostgreSQL在2022底发布了其Serverless数据仓库引擎,它能帮助企业构建更加现代的数据策略; 在开通后仅需完成数据载入后即可立即开始分析,Serverless版本仅在分析执行时对使用中的计算资源计费,计算空闲时则免费,这可以大幅降低企业数据使用负担;该版本对于当下考虑构建全系企业的数据架构或想在不破坏当前架构下,探索创新业务时,均可提供高效且轻量的数据架构服务; 可在几分钟~小时内,帮助企业进行低成本探索;


用户可以开通一个Serverless的自动调度实例, 创建时进行分析计算资源(ACU Analytic Compute Unit)阈值设定,该阈值对该实例在计算触发时的计算资源上限进行限制,当计算发生时,系统会快速响应对应的资源来以满足用户的计算需求; 用户可以在控制台实时查看当前的计算资源(ACU)的实时使用情况。限制瞬时的资源使用上限,这可以更好的保障资源的财务可控; 当然这个可以根据不同的时刻对于资源的需求不同进行手动调整;


Serverless的三种推荐场景

1. 搭建敏捷分析平台,灵活支持数据湖分析,联邦分析;

海量数据存储在数据湖中,如OSS, ODPS等环境; 持续的分析并不是一个常态,对于业务需求我们将需要面向数据湖进行小额数据采样的分析;这个时候,无需繁重的IT规划,用户可以依托ADB PG的Serverless可以快速拉起起一个轻量级的数据分析框架并支持业务并完成一个最具性价比的分析服务;







网络异常,图片无法展示
|


1.

ADB PostgreSQL的数据湖分析

a.

面向ODPS的数据分析: https://help.aliyun.com/document_detail/172968.html

b.

面向OSS的数据分析: https://help.aliyun.com/document_detail/445437.html

c.

面向Hadoop的数据分析: https://help.aliyun.com/document_detail/181346.html

2.

ADB PostgreSQL的数据库联邦分析

a.

面向主流数据库的联邦分析: https://help.aliyun.com/document_detail/183722.html


2. 构建读写分立架构

稳定的数据业务更适合使用包年包月的购买模式,因为业务可以精确预期并相对稳定,通过包年包月的购买模式可以获得较大的折扣从而实现最优的财务选择;但是对于分析业务,它更多是以短期的业务目标作为驱动,是探索性的数据使用,具备高度紧急,不确定性强,时效性要求高等特征;业务侧需求和技术架构团队的稳定性存在局部矛盾,这时,最佳的分析路径是通过快速构建物理隔离的灵活分析架构;




网络异常,图片无法展示
|




当分析介入后,可以快速通过数据共享能力对现有实例进行数据联通,同时可以实现灵活的数据分析能力;同时如果分析需求过多,可以也可以开放多个资源实例来帮助用户满足分析能力的资源;


3.

高性价比数据归档

生产库产生的低频分析的数据一定要放到数据湖里? Serverless提供了一个新的方案;可以通过DMS自带的数据归档能力,将生产库中无用或者低频分析用的数据进行归档,并廉价存储;这个方案有几个好处;

1.

可以白屏化的批量构建数据归档及设置白屏化

2.

仅在归档的过程中进行资源启动,当数据归档后则仅需要付低价的存储用以保留;

3.

归档的数据可以随时启动分析,仅对分析的时间进行资源收费;

具体操作可以参考: https://developer.aliyun.com/article/1044443?




网络异常,图片无法展示
|




创建Serverless实例

接下来我们可以快速创建一个Demo来让大家更好的了解Serverless自动版的使用方式;


首先免费创建Serverless自动调度版本的实例,用户可以在按量付费下,选择Serverless,并在模式中选择自动调度版本进行创建;目前Serverless自动调度版本正在免费测试中,计算资源免费,存储价格为0.0008元/GB/小时(以北京地区为例);



网络异常,图片无法展示
|



创建后,来到实例控制台,在这里可以管理刚刚创建的实例;



网络异常,图片无法展示
|



可以看到实例在创建后,没有SQL计算的使用情况下,实例会处于一个空闲的状态,在这个状态下的计算是不会进行任何计费的;


接下来我们来用提前加载好的样本数据进行测试用例的使用;

1.

首先创建数据库主账号

2.

加载样本数据数据集,可在控制台选择加载样本数据集,并查看配套的样本SQL;



网络异常,图片无法展示
|



3.

登录数据库后,在对应的实例分析界面上可以执行样本SQL;



网络异常,图片无法展示
|


4.

对于实例资源的使用情况,可以回到实例详情页并在监控中进行查看;



网络异常,图片无法展示
|



5.

若发现算力不匹配或希望更快的资源释放时间,用户可以手动进行实例资源的阈值和冷却时间调整; 通过调整,可以改变在计算时需要介入的瞬时计算资源以及在SQL计算结束后,进入空闲状态的等待市场; 目前最少为60秒;



网络异常,图片无法展示
|



结语

对于serverless,我们看到了行业的头部厂商均已入局,更精细的按需使用和财务管理开始在国际的头部厂商中获得了越来越多的实践。将复杂留给厂商,将简单留给客户依然是云厂商始终坚持的原则;Serverless在海外也成为了更加灵活,易用的代名词;  

ADB PostgreSQL作为分析型数据仓库,是国内该领域的探索者; 目前ADB PG产品是首个获得了信通院的Serverless分析型数据库,“增强级”的评级,产品开放了公测版本试用,欢迎各位尝试并提供宝贵意见,一起为企业提供更易用,更灵活,更高性价比的云数据仓库服务。

相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
4月前
|
数据可视化 数据挖掘 Java
提升代码质量与效率的利器——SonarQube静态代码分析工具从数据到洞察:探索Python数据分析与科学计算库
在现代软件开发中,保证代码质量是至关重要的。本文将介绍SonarQube静态代码分析工具的概念及其实践应用。通过使用SonarQube,开发团队可以及时发现和修复代码中的问题,提高代码质量,从而加速开发过程并减少后期维护成本。 在当今信息爆炸的时代,数据分析和科学计算成为了决策和创新的核心。本文将介绍Python中强大的数据分析与科学计算库,包括NumPy、Pandas和Matplotlib,帮助读者快速掌握这些工具的基本用法和应用场景。无论是数据处理、可视化还是统计分析,Python提供了丰富的功能和灵活性,使得数据分析变得更加简便高效。
|
12天前
|
存储 弹性计算 Cloud Native
1 名工程师轻松管理 20 个工作流,创业企业用 Serverless 让数据处理流程提效
为应对挑战,语势科技采用云工作流CloudFlow和函数计算FC,实现数据处理流程的高效管理与弹性伸缩,提升整体研发效能。
64682 1
|
3月前
|
数据可视化 算法 数据挖掘
探索Python在数据分析中的应用
在这篇文章中,我们将深入探讨Python语言在数据分析领域的强大应用。Python,作为一门简洁、易学且功能强大的编程语言,已经成为数据科学家和分析师的首选工具之一。本文不仅会介绍Python在数据处理、清洗、分析和可视化方面的关键库,如Pandas、NumPy、Matplotlib和Seaborn,而且还会通过实际案例展示这些库如何被用于解决实际问题。我们的目标是为读者提供一个清晰的指南,帮助他们理解Python在数据分析中的潜力,并鼓励他们开始自己的数据分析项目。
|
2月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175339 348
|
3月前
|
数据采集 机器学习/深度学习 数据可视化
探索Python在数据分析中的应用
本文深入探讨了Python语言在数据分析领域的强大应用能力。随着大数据时代的到来,数据分析已成为企业决策不可或缺的一部分。Python,作为一种高级编程语言,以其简洁的语法、强大的库支持和广泛的社区资源,在数据处理、分析及可视化方面展现出独特的优势。文章首先介绍了Python在数据分析中的主要应用场景,随后详细阐述了几个关键的Python库(如Pandas、NumPy、Matplotlib等)的功能和使用方法,最后通过一个实际案例展示了如何利用Python进行有效的数据分析。通过本文,读者将能够理解Python在数据分析领域的重要性,掌握其基本应用方法,并激发进一步深入学习的兴趣。
18 0
|
3月前
|
机器学习/深度学习 数据采集 数据可视化
探索Python在数据分析中的应用
本文将深入剖析Python语言在数据分析领域的强大应用,通过实际案例展示如何利用Python处理、分析数据,并提取有价值的信息。不同于传统的摘要,我们将从Python的简洁语法、丰富的数据分析库(如Pandas、NumPy、Matplotlib)入手,探讨其在数据预处理、分析及可视化方面的优势。文章还将讨论Python与其他数据分析工具的比较,旨在为读者提供一个全面、深入的理解,帮助他们认识到Python在数据科学中不可替代的地位。
|
3月前
|
数据可视化 数据挖掘 数据处理
探索Python在数据分析中的应用
在这篇文章中,我们将深入探讨Python语言在数据分析领域的强大应用。Python,作为一种高级编程语言,以其简洁的语法、强大的库支持以及广泛的社区资源,成为了数据科学家和分析师的首选工具。本文不仅会介绍Python在数据处理、清洗、可视化以及模型构建中的关键角色,还会通过实际案例,展示如何运用Python解决复杂的数据分析问题。此外,我们将提供一系列高效的技巧和最佳实践,帮助读者提升使用Python进行数据分析的效率和效果。
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
探索Python在数据分析中的应用
本文深入探讨了Python语言在数据分析领域的广泛应用,通过实例展示了如何利用Python处理、分析和可视化数据。不同于传统的技术文章摘要,我们将带您一步步了解Python在数据处理过程中的独特优势,包括其丰富的库支持(如Pandas、NumPy和Matplotlib)、易于学习的语法以及强大的社区支持。文章还将介绍一些高效的数据分析技巧和最佳实践,旨在为读者提供一个清晰的指南,帮助他们充分利用Python进行数据分析,从而在数据驱动的世界中做出更加明智的决策。
15 2
|
3月前
|
机器学习/深度学习 数据可视化 数据处理
深入浅出:Python中的异步编程探索Python在数据分析中的应用
在当今高速发展的互联网时代,异步编程已成为提升应用性能和响应速度的关键技术之一。本文旨在深入浅出地介绍Python中的异步编程概念、原理及其实践应用。通过对比同步与异步编程的不同,解析asyncio库的核心机制,并结合实例演示如何在Python项目中有效实现异步编程,本文希望能够帮助读者更好地理解异步编程的魅力,以及如何在自己的项目中运用这一强大的编程范式。 在当今数据驱动的时代,Python已经成为数据科学家和分析师的首选语言之一。本文将深入探讨Python在数据分析领域的实际应用,包括其在数据处理、可视化以及机器学习中的作用。我们将通过实例,展示如何利用Python的强大库(如Pand
13 2
|
3月前
|
数据采集 数据可视化 数据挖掘
探索Python在数据分析中的应用
本文深入探讨了Python语言在数据分析领域的实际应用,从Python的基础知识出发,逐步深入到如何利用Python进行数据处理、分析及可视化。文章不仅讲述了Python在数据分析中的重要性,还通过实例演示了使用Pandas和Matplotlib等库来处理和分析真实数据集的过程。本文旨在为读者提供一个清晰的指南,帮助他们理解如何有效地使用Python进行数据分析,无论是数据科学的新手还是希望扩展技能的专业人士,都能从中获益。

热门文章

最新文章

相关产品

  • 函数计算