【免费公测中】为数据赋予超能力,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics

本文涉及的产品
函数计算FC,每月15万CU 3个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 近日,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics,Data Lake Analytics,帮助更多不具备分析能力的存储服务,赋予其分析的能力。

近日,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics,Data Lake Analytics,帮助更多不具备分析能力的存储服务,赋予其分析的能力。

从生活中的购物交易,到工业上的生产制造,再到社交网络媒体信息、企业化管理决策等等,大数据成为当前经济社会最重要的前进方向之一。越来越多的企业在面临数据以指数级成倍增长的时候,第一选择存储服务来存储数据,那在人人高喊数据为王的时代,如果数据仅仅被存储起来,而不加以分析,那数据的超能力也将毫无意义。

拥抱分析能力迫在眉睫

很多企业用户选择阿里云对象存储服务OSS或者表格存储(Table Store)来存储数据,作为面向海量数据、极低成本、高度灵活的存储平台,云上客户存储了大量的流水数据、日志数据、监控数据等,然而这些数据今天不具备低成本、灵活高效的分析能力。OSS和Table Store不但存储了大量的历史数据,而且新数据每日剧增。

以往客户需要分析OSS数据,需要临时将数据导入各种事先购买或者部署好的分析引擎,分析完再将数据删除、释放分析引擎的资源,链路长,耗时耗力极其不便,也不利于节省成本。

1

如果客户使用Hadoop等传统的MR解决方案,虽然存储和计算分离,但是考虑到资源复用,往往需要在购买的ECS或者物理机上既部署存储节点又要部署计算节点,存储和计算无法做到真正的按需各自扩展。而开源Greenplum等传统的MPP数据库,更是存储和计算一体化,存储和计算分别按需扩展更是无法支撑。

而Serverless化数据分析引擎-Data Lake Analytics弥补了以上痛点。无需ETL,就可使用标准 SQL、现有的商业智能 (BI) 和ETL工具,以极低成本与高效地轻松分析与集成在阿里云OSS、Table Store数据源的数据。
Data Lake Analytics四大特性为数据分析保驾护航
2

Data Lake Analytics使得更多异构数据源具备融合分析的能力。不仅支持联合OSS和Table Store进行数据分析,后续也会支持对接更多的数据源接入,Serverless,意味着客户使用分析服务无需购买或者管理服务器,升级透明,Data Lake Analytics基于ECS、ESS轻松做到弹性伸缩服务,能让业务真正做到按需扩存储、计算资源,按使用量付费分析,不分析只需要拥有存储成本,整个方案成本极低。

不仅如此,Data Lake Analytics支持SQL 2003标准、丰富的内置函数支持,可以像使用数据库一样做访问OSS文件或者其他数据源。支持标准JDBC/ODBC, 应用程序轻松集成。在交互式能力上,Data Lake Analytics通过高效智能优化器,新一代分析引擎XIHE, 全面融合MPP+DAG技术使得查询性能非常出色,具备真正的可交互式分析能力。

打破传统,多场景适用
场景一:数据提取平台
某客户有大量的数据在OSS上,每天开发者要处理大量的临时取数的需求,客户最终基于OSS + Data Lake Analytics做到廉价可扩展的数据提取平台。整个方案如下:
3

客户端通过报表工具生成各种提取数据的SQL,报表工具将SQL发送至Data Lake Analytics, Data Lake Analytics则直接去分析OSS数据,然后将分析后的结果返回给报表工具。OSS的10TB的存储每月费用在1200元左右,Data Lake Analytics则是完全按照查询使用量来付费(目前处于公测免费阶段),从而实现了一个完全自助化、极其廉价的可持续扩展的数据提取平台。

场景二:DB冷数据分析和快速恢复

4

为降低rds的成本,客户不定期的有大量的历史库数据通过DBS备份至OSS,针对历史归档的业务数据,偶尔可能有少量的分析需求,此时通过Data Lake Analytics即可轻松满足。此外,客户若发现在线库的业务数据需要利用OSS归档数据做订正,以往做法是先购买一个超大规格的RDS, 然后将OSS备份恢复至RDS,将用来做订正的数据查询出来。有了Data Lake Analytics后,就可以轻松的通过Data Lake Analytics直接查询到OSS的数据用做订正,非常便捷,成本同时降低了很多。Data Lake Analytics提供端到端的数据安全访问保障,支持OSS的安全角色访问和表级别的用户授权,实现用户数据的安全隔离。

场景三:能源电池数据分析平台
客户有大量电池数据,需要天级别仅分析一次蓄电池的数据,来分析电池的使用寿命,以决定是否提前做报废。客户通过将电池数据批量上传至OSS,通过Data Lake Analytics每日分析一次,OSS 10TB月均存储成本约1200元,Data Lake Analytics则按照查询数据量计费(目前公测期间不收费),成本极具优势。

5

云上目前OSS、Table Store等存储有大量的业务数据急需分析能力,而Data Lake Analytics的出现则很好的满足了这一需求。对于云上中小企业来说,可以选择用最廉价的存储来搭配最普惠灵活的的分析能力。阿里云Data Lake Analytics正是最普惠灵活的分析能力的实践者,目前公测期间免费试用,欢迎大家前来体验.
PC端请戳链接体验公测:https://www.aliyun.com/product/datalakeanalytics
移动端请扫描下方二维码
6

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
6天前
|
数据采集 数据可视化 数据挖掘
Pandas数据应用:天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库,适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析(如滚动平均和重采样)等内容,并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法,帮助用户更好地进行气候趋势预测和决策。
98 71
|
5天前
|
存储 数据采集 数据可视化
Pandas数据应用:电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析,涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据,利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等,提供解决方案,如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化,探讨内存不足和性能瓶颈的应对方法,并总结常见报错及解决策略,帮助提升电商企业的数据分析能力。
101 73
|
3月前
|
消息中间件 缓存 Serverless
在进行实时数据处理时,FaaS 如何保证数据的一致性和处理的实时性?
在进行实时数据处理时,FaaS 如何保证数据的一致性和处理的实时性?
|
2天前
|
存储 数据采集 数据可视化
Pandas数据应用:医疗数据分析
Pandas是Python中强大的数据操作和分析库,广泛应用于医疗数据分析。本文介绍了使用Pandas进行医疗数据分析的常见问题及解决方案,涵盖数据导入、预处理、清洗、转换、可视化等方面。通过解决文件路径错误、编码不匹配、缺失值处理、异常值识别、分类变量编码等问题,结合Matplotlib等工具实现数据可视化,并提供了解决常见报错的方法。掌握这些技巧可以提高医疗数据分析的效率和准确性。
39 22
|
2月前
|
存储 机器学习/深度学习 数据可视化
数据集中存在大量的重复值,会对后续的数据分析和处理产生什么影响?
数据集中存在大量重复值可能会对后续的数据分析和处理产生多方面的负面影响
128 56
|
7天前
|
数据采集 数据可视化 索引
Pandas数据应用:股票数据分析
本文介绍了如何使用Pandas库进行股票数据分析。首先,通过pip安装并导入Pandas库。接着,从本地CSV文件读取股票数据,并解决常见的解析错误。然后,利用head()、info()等函数查看数据基本信息,进行数据清洗,处理缺失值和重复数据。再者,结合Matplotlib和Seaborn进行数据可视化,绘制收盘价折线图。最后,进行时间序列分析,设置日期索引、重采样和计算移动平均线。通过这些步骤,帮助读者掌握Pandas在股票数据分析中的应用。
37 5
|
19天前
|
数据采集 监控 数据挖掘
常用电商商品数据API接口(item get)概述,数据分析以及上货
电商商品数据API接口(item get)是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息,包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要,是商品数据分析、价格监控、上货策略制定等工作的基础。
|
3月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
261 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
某A保险公司的 数据图表和数据分析
某A保险公司的 数据图表和数据分析
73 0
某A保险公司的 数据图表和数据分析
|
3月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
72 0

相关产品

  • 函数计算