阿里云 MaxCompute 2023-1~4 月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute 发布新人特惠免费试用规格,5000CU*H计算资源和100GB存储,3个月免费用,让您0元体验MaxCompute 强劲的产品力。

本刊为您带来 2023年1月~4月 MaxCompute 产品最新动态。


1. MaxCompute 发布新人特惠免费试用规格 查看文档  >>


适用对象

未购买过MaxCompte任何商品的用户


发布功能

MaxCompute在阿里云试用中心推出新人特惠免费试用规格,该规格主要基于MaxCompute按量计费商品,提供5000度(CU*H)的计算抵扣包和8G的存储抵扣包(可抵扣标准存储100 GB)的免费额度。 未购买过MaxCompte任何商品,且实名认证的账号可通过阿里云试用中心0元购买新人特惠规格,购买后可参考试用教程快速体验MaxCompute产品,该规格支持体验SQL、MR、Spark、Mars等核心计算能力。领取免费试用 >>


2. MaxCompute Quota使用规则发布 查看文档  >>


适用对象

MaxCompute 运维管理人员


发布功能

MaxCompute支持对包年包月二级Quota配置规则条件,指定满足某些条件的作业可以被调度到对应的Quota里执行。通过这个功能,您可以灵活方便的实现对不同“角色”的作业进行Quota隔离,如按项目、按作业owner、按作业类型、按作业的配置(Settings)等不同条件规则指定使用不同的Quota,更合理的规范资源的使用,同时提升Quota的利用率。


3. MaxCompute 支持Hologres外部表存储直读 查看文档  >>


适用对象

数据管理员,数据研发人员,数据分析人员


发布功能

在MaxCompute里建的Hologres外表,用Hologres存储直读,平均速度提升3倍以上,数据量越大效果越明显;同时减少hologres连接数,使用存储直读后每个查询只需一个连接数。


4. MaxCompute 支持标签分账 查看文档  >>


适用对象

具有分账诉求的企业客户


发布功能

MaxCompute支持为项目(Project)、一级配额(Quota)绑定标签,绑定标签后,您可以使用标签分账。通常用于多个业务部门共用一个阿里云账号时,通过为归属于不同部门的项目绑定不同的标签,实现直接在阿里云费用中心按业务部门进行分账。


5. MaxCompute 增强显示数据对象SHOW命令 查看文档  >>


适用对象

数据分析,数据管理人员等


发布功能

让用户可以方便的对表、视图和函数进行SHOW操作,包括显示普通表和外部表,显示普通视图和物化视图,显示用户自定义函数和内建函数。


6. MaxCompute 支持External Volume非结构化数据存储能力 查看文档  >>


适用对象

· 在数仓的权限体系、数据开发和治理场景下,对包括非结构化数据在内的文件数据,有存储和计算需求的用户

· 在数仓中根据数仓和外部数据关联计算的需求,管理OSS等外部存储,进而进行非结构化数据管理的用户


发布功能

External Volume是MaxCompute提供的分布式、大数据存储方案,是OSS路径在数仓中的映射和管理对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。


7. MaxCompute 推出向量计算引擎Proxima CE 查看文档  >>


适用对象

· 在MaxCompute数仓中进行离线、大批量向量检索计算任务的开发者

· 将大量离线数据中每一行数据记录的结构化数据、非结构化数据提取的向量和向量检索条件进行关联计算,实现结构化和非结构化数据结合使用的开发者


发布功能

Proxima CE 是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。相比于Faiss等开源的同类产品,Proxima CE在稳定性、性能等方面都具有优势。Proxima CE以内嵌可执行JAR包的形式提供给用户在MaxCompute上运行,支持以MaxCompute表的形式作为底库和查询向量数据的输入,整体上分为索引构建和批量查询两个主要过程,驱动多个MaxCompute MapReduce或Graph Job,完成对索引的构建和查询的检索,最终通过MaxCompute表输出批量检索的结果。


8. MaxCompute 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据 查看文档  >>


适用对象

· 在湖仓一体融合场景下进行大数据开发、治理、分析的开发者、数仓管理员或分析师

· 直接在数仓权限体系和数据基础上,使用分布式计算引擎处理非结构化数据并与结构化数据关联计算的用户


发布功能

External Volume是MaxCompute提供的基于OSS等外部存储服务的仓内非结构化大数据存储方案。方便用户更直接的使用MaxCompute计算引擎在仓内处理非结构化数据。目前的使用场景包括利用MaxCompute Spark通过External Volume引用或处理OSS数据,以及利用基于MapReduce任务的Proxima CE向量计算引擎在MaxCompute中做向量计算等。


9. MaxCompute 新版作业运维发布 查看文档  >>


适用对象

数据开发人员和管理人员


发布功能

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理。如果您是数据开发人员,作业运维功能方便您日常查看、终止MaxCompute作业;如果您是管理员,作业运维功能方便您日常结合配额组查看某时刻的资源负载、终止MaxCompute作业。

新版作业运维同时满足查看作业快照信息和作业当前信息,您可以通过时间范围参数输入开始和结束时间实现:过滤在这个时间范围内执行完成的作业;过滤在结束时间或往前3分钟正在运行的作业,会有作业快照信息,这个时间也称为作业快照观测时间。


10. MaxCompute 物化视图加速功能发布 查看文档  >>


适用对象

数仓管理人员,数据建模人员,数据治理人员以及数据开发人员等


发布功能

用户在MaxCompute控制台开启物化视图智能分析后,系统会自动分析用户所有SQL计算逻辑,自动推荐适合创建物化视图的SQL脚本,用户使用推荐SQL脚本可以快速创建物化视图,同时用户可以在MaxCompute控制台上查看物化视图的使用效果,包括节省重复计算和提升效率的详情。


11. MaxCompute 支持更改表结构功能正式发布 查看文档  >>


适用对象

数据开发人员、数据仓库设计人员、数据仓库管理人员等


发布功能

支持用户修改表结构,包括支持新增复杂数据类型的列,删除列,更改列顺序以及更改列数据类型,可以在不重建表,不删数据的情况下更改表结构。




近期产品月刊回顾

阿里云 MaxCompute 2022-12月刊

阿里云 MaxCompute 2022-10月11月刊 >>

阿里云 MaxCompute 2022-9月刊 >>

阿里云 MaxCompute 2022-8月刊 >>

阿里云 MaxCompute 2022-7月刊 >>

阿里云 MaxCompute 2022-6月刊 >>

阿里云 MaxCompute 2022-4月5月刊合集 >>

阿里云 MaxCompute 2022-03 月刊 >>

阿里云 MaxCompute 2022-1月2月刊合集 >>


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
17天前
|
人工智能 分布式计算 DataWorks
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。
93 5
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
|
2天前
|
分布式计算 数据可视化 大数据
阿里云大牛熬夜整理的Python大数据小抄,GitHub星标125K!
Python 是一种流行的编程语言,在大数据领域有广泛的应用。Python 拥有丰富的库和工具,可用于数据处理、分析和可视化。 在大数据处理方面,Python 可以与 Hadoop、Spark 等大数据框架集成,实现大规模数据的处理和分析。它也适用于数据清洗、数据转换、数据挖掘等任务。 此外,Python 的数据分析库如 Pandas、NumPy 和 Matplotlib 等,提供了强大的数据处理和可视化功能,使得数据分析变得更加简单和高效。
|
5天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
24 1
|
27天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
|
9天前
|
分布式计算 Cloud Native 大数据
《阿里云产品四月刊》—云原生大数据计算服务 MaxCompute 新功能
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
9天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
12天前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
5天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
21 0
|
5天前
|
人工智能 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态。分布式计算框架 MaxFrame 支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据,100%兼容 Pandas 且自动分布式,与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。
53 0
|
9天前
|
存储 人工智能 OLAP
深度|大模型时代下,基于湖仓一体的数据智能新范式
本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。

相关产品

  • 云原生大数据计算服务 MaxCompute