阿里云 MaxCompute 2021-2 月刊

本文涉及的产品
对象存储 OSS,20GB 3个月
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
简介: 2021年2月,MaxCompute发布云数仓内的机器学习 MaxCompute SQLML功能,以及MaxCompute湖仓一体OSS数据湖集成方案等15项新功能,欢迎阅读产品2月刊了解新发功能详情。

MaxCompute 2月新发布功能


1、MaxCompute SQLML 功能(中国区)商业化发布 查看文档 >>

MaxCompute SQLML 支持使用SQL语言在 MaxCompute 中创建、训练和应用机器学习模型,实现 AI 普惠。

适用客户

各个领域的 SQL从业人员/ 数据工程师 / 数据分析师 / 数据科学家

发布功能
MaxCompute SQLML 可以让数据工程师、分析师和数据科学家使用 SQL 语言在 MaxCompute 中创建、训练和应用机器学习模型,使 SQL 从业人员利用现有的 SQL 工具和技能就能应用机器学习的能力,同时无需做数据迁移,实现机器学习的普惠。


2、MaxCompute 湖仓一体功能商业化发布 查看文档 >>

MaxCompute 湖仓一体方案融合数据湖的灵活性、生态丰富性与数据仓库的企业级能力,构建数据湖和数据仓库融合的数据管理平台。

适用客户

有以下诉求企业中的 CTO / 数据平台架构师 / 大数据部门主管 / 数据开发人员等

• 已经基于 Hadoop 集群搭建数据平台,同时对集群资源弹性有需求,希望利用 MaxCompute 的弹性与大规模机器学习能力,快速迭代创新业务
• 企业有多个 Hadoop 集群,需要各个集群之间数据打通,利用 DataWorks / Dataphin 构建企业数据中台
• 以阿里云 OSS 构建数据湖应用,希望借助云数仓实现数据统一分析和管理

发布功能

MaxCompute 湖仓一体方案通过数据仓库 MaxCompute、数据湖(对象存储 OSS 或 Hadoop HDFS)共同实现。本次发布两种构建湖仓一体的方式:

• 与阿里云 OSS + DLF 构建湖仓一体能力:通过 MaxCompute 和 OSS 实现。该方式需要配套使用阿里云产品数据湖构建 DLF(Data Lake Formation)。数据湖的元数据(Schema)全部位于DLF中。MaxCompute可以利用DLF对湖数据的元数据管理能力,提升对OSS半结构化格式(AVRO、CSV、JSON、PARQUET、ORC)数据的处理能力。

• 与 Hadoop HDFS 构建湖仓一体能力:通过MaxCompute和Hadoop HDFS(包括本地机房搭建、基于云上虚拟机搭建以及阿里云 E-MapReduce等)实现。您需要填写MaxCompute湖仓一体方案使用申请表,提交申请后,MaxCompute团队技术人员会联系并协助您完成后续操作。


3、MaxCompute zOrder 排序支持与 Distribute by 共用 查看文档 >>

适用客户

开发者、分析师

发布功能

在表或分区写入数据时,查询语句指定zOrder by字段,根据指定的一列或多列按zOrder 方式进行局部排序再写入,可以提高后续在排序数据上做一列或多列交互式查询时的效率。


4、MaxCompute 支持在 values 表达式中使用非常量表达式 查看文档 >>

适用客户

开发者,分析师

发布功能

MaxCompute对 Valuse 表达式进行扩展。原先仅支持常量,扩展后还支持非常量表达式,便于用户在Values表达式中使用函数等非常量表达式。在生成数据,测试计算逻辑时使用更方便。使用方法示例: select * from values (udf(1)),(to_date('20190101', 'yyyyMMdd')),(getdate()),(datetime '2019-01-02 00:00:00') t(d);


5、MaxCompute SQL 支持SkewJoin Hint用于优化join时数据长尾问题 查看文档 >>

适用客户

开发者

发布功能

MaxCompute SQL 支持SkewJoin Hint用于优化join时存在数据长尾问题,,加快Join的执行速度。


6、MaxCompute 推出 Freeride 及 Analyze 两种优化器元数据收集工具 查看文档 >>

适用客户

开发者,分析师

发布功能

MaxCompute推出Freeride(同步)和Analyze(异步)两套优化器元数据收集工具,用于优化计算和查询性能。


7、MaxCompute 内置函数新增或增强

适用客户

开发者、分析师、开源或其他生态用户

发布功能

MaxCompute 日期函数、字符串函数、聚合函数、其他函数等内置函数新增用法或增强兼容性。

日期函数文档 >> 字符串函数文档 >> 聚合函数文档 >> 其他函数文档 >>


8、MaxCompute SQL array 数据类型处理函数新增和增强 查看文档 >>

适用客户

开发者、分析师、有半结构化数据处理需求的用户

发布功能

MaxCompute 新增array_intersect函数,用于计算两个array的交集。
增强内建函数sort_array,增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。


9、MaxCompute 外表Hive兼容模式支持用户自定义serde类 查看文档 >>

适用客户

开发者,外表用户,有开源或自定义数据格式处理需求的用户

发布功能

用户可以在创建外表时使用using jar的方式,使用自定义的serde类实现外表对特殊数据格式的兼容。


10、MaxCompute 外表 OSS 写入场景能力增强 查看文档>>

适用客户

开发者,有导出数据需求的用户,有使用第三方引擎读取导出的数据需求的用户

发布功能

MaxCompute 支持使用 OSS Multi-upload 写 OSS 外表,数据直写到表目录下,不包含.odps 子目录。


11、MaxCompute命令行提供关闭表头显示,便于shell调用 查看文档 >>

适用客户

开发者

发布功能

MaxCompute 可以通过参数设置关闭命令行stdout输出结果的表头显示,便于用户获取动态返回值用于其他操作。


12、MaxCompute支持云HBase外部表 查看文档 >>

适用客户

开发者,分析师,联邦查询用户

发布功能

MaxCompute Hbase外部表支持读写云HBase,在MaxCompute中进行数据导入、写出或联邦查询。


13、MaxCompute支持RDS外部表(公测) 查看文档 >>

适用客户

开发者,分析师,联邦查询用户

发布功能

RDS是阿里云客户主要使用的数据库服务,MaxCompute支持RDS外部表对RDS (RDS MySQL 5.x)进行读写操作。


14、MaxCompute外表支持JDBC方式读写MC-Hologres(公测) 查看文档 >>

适用客户

开发者,分析师,联邦查询用户,有对MaxCompute与MC-Hologres同步数据需求的用户

发布功能

MaxCompute支持创建MC-Hologres外部表,并通过JDBC方式MaxCompute读写同步MC-Hologre数据。


15、MaxCompute支持Unload语句把数据导出到OSS外部存储 查看文档 >>

适用客户

开发者,分析师,对存储优化有需求的用户,在对象存储上使用其他引擎处理分析MaxCompute导出数据的用户

发布功能

MaxCompute支持Unload语句导出数据到OSS,方便用户使用OSS存储数据,并方便OSS上其他计算引擎使用导出的数据。


MaxCompute 产品官网 >>
阅读往期月刊 >>

444

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
18天前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
17541 28
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
17天前
|
分布式计算 数据可视化 大数据
阿里云大牛熬夜整理的Python大数据小抄,GitHub星标125K!
Python 是一种流行的编程语言,在大数据领域有广泛的应用。Python 拥有丰富的库和工具,可用于数据处理、分析和可视化。 在大数据处理方面,Python 可以与 Hadoop、Spark 等大数据框架集成,实现大规模数据的处理和分析。它也适用于数据清洗、数据转换、数据挖掘等任务。 此外,Python 的数据分析库如 Pandas、NumPy 和 Matplotlib 等,提供了强大的数据处理和可视化功能,使得数据分析变得更加简单和高效。
|
22天前
|
分布式计算 数据可视化 大数据
阿里云大牛熬夜整理的Python大数据小抄,GitHub星标125K!
Python 是一种流行的编程语言,在大数据领域有广泛的应用。Python 拥有丰富的库和工具,可用于数据处理、分析和可视化。 在大数据处理方面,Python 可以与 Hadoop、Spark 等大数据框架集成,实现大规模数据的处理和分析。它也适用于数据清洗、数据转换、数据挖掘等任务。 此外,Python 的数据分析库如 Pandas、NumPy 和 Matplotlib 等,提供了强大的数据处理和可视化功能,使得数据分析变得更加简单和高效。
|
24天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
35 1
|
9天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之在阿里云DataWorks中,如何关闭跨空间查询表功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
10天前
|
机器学习/深度学习 运维 算法
|
5天前
|
弹性计算 应用服务中间件 Linux
阿里云服务器开放端口完整图文教程
笔者近期开发完成的服务端程序部署在阿里云的ECS云服务器上面,一些应用程序配置文件需要设置监听的端口(如Tomcat的8080、443端口等),虽然通过CentOs 7系统的的「防火墙」开放了对应的端口号,任然无法访问端口号对应的应用程序,后面了解到原来还需要设置云服务器的「安全组规则」,开放相应的端口权限,服务端的接口才能真正开放。
80 1
阿里云服务器开放端口完整图文教程
|
1天前
|
存储 域名解析 运维
阿里云轻量应用服务器82元与298元年解析与选择参考
目前,阿里云推出的两款特惠轻量应用服务器——82元1年的2核2G3M套餐和298元1年的2核4G4M套餐,吸引了众多用户的关注。本文将深入解析这两款套餐的具体配置、优势、应用场景及选购建议,以供参考。
阿里云轻量应用服务器82元与298元年解析与选择参考
|
2天前
|
存储 固态存储 大数据
阿里云服务器实例、块存储、带宽收费标准与云服务器最新活动价格参考
阿里云服务器价格通常包括云服务器实例价格、块存储价格和带宽价格组成,云服务器不同实例规格收费标准不一样,选择不同类型的块存储收费标准也不一样,选择不同的带宽收费标准也不一样。现在阿里云轻量应用服务器2核4G4M峰值带宽298元1年,云服务器2核4G5M固定带宽199元1年、2核8G1M固定带宽652.32元1年、4核8G1M固定带宽955.58元1年、4核16G10M带宽100G ESSD Entry云盘70元1个月。本文为大家整理了目前阿里云服务器实例、块存储、带宽收费标准与云服务器最新的活动价格情况,以供参考。
阿里云服务器实例、块存储、带宽收费标准与云服务器最新活动价格参考
|
2天前
|
存储 弹性计算 固态存储
租赁云服务器多少钱一年?阿里云价格确实优惠!
阿里云服务器价格优惠多样,适合不同需求。2024年最新优惠中,轻量应用服务器2核2G3M带宽一年82元(约6.8元/月),新老用户均可享受99元一年的2核2G3M带宽ECS经济型e实例。企业用户专享2核4G5M带宽ECS u1实例199元一年。4核16G10M带宽游戏服务器70元/月,8核32G10M带宽160元/月。此外,还有GPU服务器等多种配置可选。续费优惠根据时长不同,最长可达3折。带宽和存储也有多种价格方案。具体详情和最新优惠请访问阿里云官网。
租赁云服务器多少钱一年?阿里云价格确实优惠!