阿里云 MaxCompute 2023-1~4 月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute 发布新人特惠免费试用规格,5000CU*H计算资源和100GB存储,3个月免费用,让您0元体验MaxCompute 强劲的产品力。

本刊为您带来 2023年1月~4月 MaxCompute 产品最新动态。


1. MaxCompute 发布新人特惠免费试用规格 查看文档  >>


适用对象

未购买过MaxCompte任何商品的用户


发布功能

MaxCompute在阿里云试用中心推出新人特惠免费试用规格,该规格主要基于MaxCompute按量计费商品,提供5000度(CU*H)的计算抵扣包和8G的存储抵扣包(可抵扣标准存储100 GB)的免费额度。 未购买过MaxCompte任何商品,且实名认证的账号可通过阿里云试用中心0元购买新人特惠规格,购买后可参考试用教程快速体验MaxCompute产品,该规格支持体验SQL、MR、Spark、Mars等核心计算能力。领取免费试用 >>


2. MaxCompute Quota使用规则发布 查看文档  >>


适用对象

MaxCompute 运维管理人员


发布功能

MaxCompute支持对包年包月二级Quota配置规则条件,指定满足某些条件的作业可以被调度到对应的Quota里执行。通过这个功能,您可以灵活方便的实现对不同“角色”的作业进行Quota隔离,如按项目、按作业owner、按作业类型、按作业的配置(Settings)等不同条件规则指定使用不同的Quota,更合理的规范资源的使用,同时提升Quota的利用率。


3. MaxCompute 支持Hologres外部表存储直读 查看文档  >>


适用对象

数据管理员,数据研发人员,数据分析人员


发布功能

在MaxCompute里建的Hologres外表,用Hologres存储直读,平均速度提升3倍以上,数据量越大效果越明显;同时减少hologres连接数,使用存储直读后每个查询只需一个连接数。


4. MaxCompute 支持标签分账 查看文档  >>


适用对象

具有分账诉求的企业客户


发布功能

MaxCompute支持为项目(Project)、一级配额(Quota)绑定标签,绑定标签后,您可以使用标签分账。通常用于多个业务部门共用一个阿里云账号时,通过为归属于不同部门的项目绑定不同的标签,实现直接在阿里云费用中心按业务部门进行分账。


5. MaxCompute 增强显示数据对象SHOW命令 查看文档  >>


适用对象

数据分析,数据管理人员等


发布功能

让用户可以方便的对表、视图和函数进行SHOW操作,包括显示普通表和外部表,显示普通视图和物化视图,显示用户自定义函数和内建函数。


6. MaxCompute 支持External Volume非结构化数据存储能力 查看文档  >>


适用对象

· 在数仓的权限体系、数据开发和治理场景下,对包括非结构化数据在内的文件数据,有存储和计算需求的用户

· 在数仓中根据数仓和外部数据关联计算的需求,管理OSS等外部存储,进而进行非结构化数据管理的用户


发布功能

External Volume是MaxCompute提供的分布式、大数据存储方案,是OSS路径在数仓中的映射和管理对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。


7. MaxCompute 推出向量计算引擎Proxima CE 查看文档  >>


适用对象

· 在MaxCompute数仓中进行离线、大批量向量检索计算任务的开发者

· 将大量离线数据中每一行数据记录的结构化数据、非结构化数据提取的向量和向量检索条件进行关联计算,实现结构化和非结构化数据结合使用的开发者


发布功能

Proxima CE 是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。相比于Faiss等开源的同类产品,Proxima CE在稳定性、性能等方面都具有优势。Proxima CE以内嵌可执行JAR包的形式提供给用户在MaxCompute上运行,支持以MaxCompute表的形式作为底库和查询向量数据的输入,整体上分为索引构建和批量查询两个主要过程,驱动多个MaxCompute MapReduce或Graph Job,完成对索引的构建和查询的检索,最终通过MaxCompute表输出批量检索的结果。


8. MaxCompute 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据 查看文档  >>


适用对象

· 在湖仓一体融合场景下进行大数据开发、治理、分析的开发者、数仓管理员或分析师

· 直接在数仓权限体系和数据基础上,使用分布式计算引擎处理非结构化数据并与结构化数据关联计算的用户


发布功能

External Volume是MaxCompute提供的基于OSS等外部存储服务的仓内非结构化大数据存储方案。方便用户更直接的使用MaxCompute计算引擎在仓内处理非结构化数据。目前的使用场景包括利用MaxCompute Spark通过External Volume引用或处理OSS数据,以及利用基于MapReduce任务的Proxima CE向量计算引擎在MaxCompute中做向量计算等。


9. MaxCompute 新版作业运维发布 查看文档  >>


适用对象

数据开发人员和管理人员


发布功能

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理。如果您是数据开发人员,作业运维功能方便您日常查看、终止MaxCompute作业;如果您是管理员,作业运维功能方便您日常结合配额组查看某时刻的资源负载、终止MaxCompute作业。

新版作业运维同时满足查看作业快照信息和作业当前信息,您可以通过时间范围参数输入开始和结束时间实现:过滤在这个时间范围内执行完成的作业;过滤在结束时间或往前3分钟正在运行的作业,会有作业快照信息,这个时间也称为作业快照观测时间。


10. MaxCompute 物化视图加速功能发布 查看文档  >>


适用对象

数仓管理人员,数据建模人员,数据治理人员以及数据开发人员等


发布功能

用户在MaxCompute控制台开启物化视图智能分析后,系统会自动分析用户所有SQL计算逻辑,自动推荐适合创建物化视图的SQL脚本,用户使用推荐SQL脚本可以快速创建物化视图,同时用户可以在MaxCompute控制台上查看物化视图的使用效果,包括节省重复计算和提升效率的详情。


11. MaxCompute 支持更改表结构功能正式发布 查看文档  >>


适用对象

数据开发人员、数据仓库设计人员、数据仓库管理人员等


发布功能

支持用户修改表结构,包括支持新增复杂数据类型的列,删除列,更改列顺序以及更改列数据类型,可以在不重建表,不删数据的情况下更改表结构。




近期产品月刊回顾

阿里云 MaxCompute 2022-12月刊

阿里云 MaxCompute 2022-10月11月刊 >>

阿里云 MaxCompute 2022-9月刊 >>

阿里云 MaxCompute 2022-8月刊 >>

阿里云 MaxCompute 2022-7月刊 >>

阿里云 MaxCompute 2022-6月刊 >>

阿里云 MaxCompute 2022-4月5月刊合集 >>

阿里云 MaxCompute 2022-03 月刊 >>

阿里云 MaxCompute 2022-1月2月刊合集 >>


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
14天前
|
存储 人工智能 数据管理
|
7天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
13天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
40 4
|
21天前
|
SQL DataWorks 数据可视化
阿里云DataWorks评测:大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。
|
21天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
57 2
|
2月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据生态圈体系
阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
87 18
|
16天前
|
SQL 存储 分布式计算
阿里云 Paimon + MaxCompute 极速体验
Paimon 和 MaxCompute 的对接经历了长期优化,解决了以往性能不足的问题。通过半年紧密合作,双方团队专门提升了 Paimon 在 MaxCompute 上的读写性能。主要改进包括:采用 Arrow 接口减少数据转换开销,内置 Paimon SDK 提升启动速度,实现原生读写能力,减少中间拷贝与转换,显著降低 CPU 开销与延迟。经过双十一实战验证,Paimon 表的读写速度已接近 MaxCompute 内表,远超传统外表。欢迎体验!
|
2月前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
172 19
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
4月前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。

相关产品

  • 云原生大数据计算服务 MaxCompute