阿里云 MaxCompute 2023-1~4 月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute 发布新人特惠免费试用规格,5000CU*H计算资源和100GB存储,3个月免费用,让您0元体验MaxCompute 强劲的产品力。

本刊为您带来 2023年1月~4月 MaxCompute 产品最新动态。


1. MaxCompute 发布新人特惠免费试用规格 查看文档  >>


适用对象

未购买过MaxCompte任何商品的用户


发布功能

MaxCompute在阿里云试用中心推出新人特惠免费试用规格,该规格主要基于MaxCompute按量计费商品,提供5000度(CU*H)的计算抵扣包和8G的存储抵扣包(可抵扣标准存储100 GB)的免费额度。 未购买过MaxCompte任何商品,且实名认证的账号可通过阿里云试用中心0元购买新人特惠规格,购买后可参考试用教程快速体验MaxCompute产品,该规格支持体验SQL、MR、Spark、Mars等核心计算能力。领取免费试用 >>


2. MaxCompute Quota使用规则发布 查看文档  >>


适用对象

MaxCompute 运维管理人员


发布功能

MaxCompute支持对包年包月二级Quota配置规则条件,指定满足某些条件的作业可以被调度到对应的Quota里执行。通过这个功能,您可以灵活方便的实现对不同“角色”的作业进行Quota隔离,如按项目、按作业owner、按作业类型、按作业的配置(Settings)等不同条件规则指定使用不同的Quota,更合理的规范资源的使用,同时提升Quota的利用率。


3. MaxCompute 支持Hologres外部表存储直读 查看文档  >>


适用对象

数据管理员,数据研发人员,数据分析人员


发布功能

在MaxCompute里建的Hologres外表,用Hologres存储直读,平均速度提升3倍以上,数据量越大效果越明显;同时减少hologres连接数,使用存储直读后每个查询只需一个连接数。


4. MaxCompute 支持标签分账 查看文档  >>


适用对象

具有分账诉求的企业客户


发布功能

MaxCompute支持为项目(Project)、一级配额(Quota)绑定标签,绑定标签后,您可以使用标签分账。通常用于多个业务部门共用一个阿里云账号时,通过为归属于不同部门的项目绑定不同的标签,实现直接在阿里云费用中心按业务部门进行分账。


5. MaxCompute 增强显示数据对象SHOW命令 查看文档  >>


适用对象

数据分析,数据管理人员等


发布功能

让用户可以方便的对表、视图和函数进行SHOW操作,包括显示普通表和外部表,显示普通视图和物化视图,显示用户自定义函数和内建函数。


6. MaxCompute 支持External Volume非结构化数据存储能力 查看文档  >>


适用对象

· 在数仓的权限体系、数据开发和治理场景下,对包括非结构化数据在内的文件数据,有存储和计算需求的用户

· 在数仓中根据数仓和外部数据关联计算的需求,管理OSS等外部存储,进而进行非结构化数据管理的用户


发布功能

External Volume是MaxCompute提供的分布式、大数据存储方案,是OSS路径在数仓中的映射和管理对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。


7. MaxCompute 推出向量计算引擎Proxima CE 查看文档  >>


适用对象

· 在MaxCompute数仓中进行离线、大批量向量检索计算任务的开发者

· 将大量离线数据中每一行数据记录的结构化数据、非结构化数据提取的向量和向量检索条件进行关联计算,实现结构化和非结构化数据结合使用的开发者


发布功能

Proxima CE 是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。相比于Faiss等开源的同类产品,Proxima CE在稳定性、性能等方面都具有优势。Proxima CE以内嵌可执行JAR包的形式提供给用户在MaxCompute上运行,支持以MaxCompute表的形式作为底库和查询向量数据的输入,整体上分为索引构建和批量查询两个主要过程,驱动多个MaxCompute MapReduce或Graph Job,完成对索引的构建和查询的检索,最终通过MaxCompute表输出批量检索的结果。


8. MaxCompute 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据 查看文档  >>


适用对象

· 在湖仓一体融合场景下进行大数据开发、治理、分析的开发者、数仓管理员或分析师

· 直接在数仓权限体系和数据基础上,使用分布式计算引擎处理非结构化数据并与结构化数据关联计算的用户


发布功能

External Volume是MaxCompute提供的基于OSS等外部存储服务的仓内非结构化大数据存储方案。方便用户更直接的使用MaxCompute计算引擎在仓内处理非结构化数据。目前的使用场景包括利用MaxCompute Spark通过External Volume引用或处理OSS数据,以及利用基于MapReduce任务的Proxima CE向量计算引擎在MaxCompute中做向量计算等。


9. MaxCompute 新版作业运维发布 查看文档  >>


适用对象

数据开发人员和管理人员


发布功能

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理。如果您是数据开发人员,作业运维功能方便您日常查看、终止MaxCompute作业;如果您是管理员,作业运维功能方便您日常结合配额组查看某时刻的资源负载、终止MaxCompute作业。

新版作业运维同时满足查看作业快照信息和作业当前信息,您可以通过时间范围参数输入开始和结束时间实现:过滤在这个时间范围内执行完成的作业;过滤在结束时间或往前3分钟正在运行的作业,会有作业快照信息,这个时间也称为作业快照观测时间。


10. MaxCompute 物化视图加速功能发布 查看文档  >>


适用对象

数仓管理人员,数据建模人员,数据治理人员以及数据开发人员等


发布功能

用户在MaxCompute控制台开启物化视图智能分析后,系统会自动分析用户所有SQL计算逻辑,自动推荐适合创建物化视图的SQL脚本,用户使用推荐SQL脚本可以快速创建物化视图,同时用户可以在MaxCompute控制台上查看物化视图的使用效果,包括节省重复计算和提升效率的详情。


11. MaxCompute 支持更改表结构功能正式发布 查看文档  >>


适用对象

数据开发人员、数据仓库设计人员、数据仓库管理人员等


发布功能

支持用户修改表结构,包括支持新增复杂数据类型的列,删除列,更改列顺序以及更改列数据类型,可以在不重建表,不删数据的情况下更改表结构。




近期产品月刊回顾

阿里云 MaxCompute 2022-12月刊

阿里云 MaxCompute 2022-10月11月刊 >>

阿里云 MaxCompute 2022-9月刊 >>

阿里云 MaxCompute 2022-8月刊 >>

阿里云 MaxCompute 2022-7月刊 >>

阿里云 MaxCompute 2022-6月刊 >>

阿里云 MaxCompute 2022-4月5月刊合集 >>

阿里云 MaxCompute 2022-03 月刊 >>

阿里云 MaxCompute 2022-1月2月刊合集 >>


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
26天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
104 19
|
28天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
人工智能 分布式计算 DataWorks
连续四年!阿里云领跑中国公有云大数据平台
近日,国际数据公司(IDC)发布《中国大数据平台市场份额,2023:数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币,其中阿里巴巴市场份额保持领先,占比达40.2%,连续四年排名第一。
227 12
|
3月前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
362 17
|
3月前
|
SQL 人工智能 大数据
阿里云牵头起草!首个大数据批流融合国家标准发布
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
90 7
|
3月前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
|
3月前
|
存储 SQL 分布式计算
Java连接阿里云MaxCompute例
要使用Java连接阿里云MaxCompute数据库,首先需在项目中添加MaxCompute JDBC驱动依赖,推荐通过Maven管理。避免在代码中直接写入AccessKey,应使用环境变量或配置文件安全存储。示例代码展示了如何注册驱动、建立连接及执行SQL查询。建议使用RAM用户提升安全性,并根据需要配置时区和公网访问权限。具体步骤和注意事项请参考阿里云官方文档。
|
3月前
|
机器学习/深度学习 数据可视化 大数据
阿里云大数据的应用示例
阿里云大数据应用平台为企业提供高效数据处理与业务洞察工具,涵盖Quick BI、DataV及PAI等核心产品。DT203课程通过实践教学,帮助学员掌握数据可视化、报表设计及机器学习分析技能,提升数据驱动决策能力。Quick BI简化复杂数据分析,DataV打造震撼可视化大屏,PAI支持全面的数据挖掘与算法应用。课程面向CSP、ISV及数据工程师等专业人士,为期两天,结合面授与实验,助力企业加速数字化转型。完成课程后,学员将熟练使用阿里云工具进行数据处理与分析。[了解更多](https://edu.aliyun.com/training/DT203)
|
4月前
|
机器学习/深度学习 分布式计算 BI
MaxCompute 与阿里云其他服务的协同工作
【8月更文第31天】在当今的数据驱动时代,企业需要处理和分析海量数据以获得有价值的洞察。阿里云提供了一系列的服务来满足不同层次的需求,从数据存储到高级分析。MaxCompute(原名 ODPS)作为阿里云的大规模数据处理平台,提供了强大的计算能力和丰富的功能,可以与阿里云的其他服务无缝集成,形成完整的大数据解决方案。本文将探讨 MaxCompute 如何与其他阿里云服务协同工作,包括存储服务 OSS、数据分析服务 Quick BI 以及机器学习平台 PAI。
58 1
|
4月前
|
存储 分布式计算 大数据
阿里云 EMR 强势助力,与阿里云大数据体系共创辉煌,把握时代热点,开启生态建设之旅
【8月更文挑战第26天】阿里云EMR(Elastic MapReduce)是一种大数据处理服务,与阿里云的多个服务紧密结合,共同构建了完善的大数据生态系统。EMR与对象存储服务(OSS)集成,利用OSS提供可靠、低成本且可扩展的数据存储;与MaxCompute集成,实现深度数据分析和挖掘;还支持数据湖构建服务,加速数据湖的搭建并简化数据管理与分析过程。EMR提供多种编程接口及工具,如Hive、Spark和Flink等,帮助用户高效完成大数据处理任务。
110 2

相关产品

  • 云原生大数据计算服务 MaxCompute