开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

1
今日
8198
内容
8
活动
348164
关注
|
1月前
|
人工智能 分布式计算 大数据
|

云栖实录 | MaxCompute 迈向下一代的智能云数仓

2024年云栖大会上,阿里云核心自研云原生智能数据仓库产品MaxCompute,在经过一年的深度打磨后,推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布,充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

284 0
|
4月前
|
分布式计算 大数据 数据处理
|

MaxCompute操作报错合集之在flush操作中报错:"context deadline exceeded (Client.Timeout exceeded while awaiting headers)",该如何解决

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

490 2
ACE
|
2月前
|
SQL 分布式计算 数据处理
|

如何创建2024云栖Openlake测试项目和配置环境

2024年云栖大会,MaxCompute 多项重磅产品新功能邀测发布,新特性包括 支持OpenLake的湖仓一体2.0、Object Table支持SQL或MaxFrame处理非结构化数据、Delta Table增量表格式、基于增量物化视图的增量计算、MCQA2.0 SQL引擎查询加速等。其相关特性将在中国区 公共云 北京、上海、杭州、深圳Region 上线开放试用。本文以最佳实践的方式,帮助您创建MaxCompute和周边产品 在Openlake解决方案demo中需要准备的实例、项目和开发环境,并完成配置。欢迎您玩转云栖邀测demo,体验新功能。

554 7
|
5月前
|
SQL 分布式计算 大数据
|

MaxCompute操作报错合集之遇到报错"ODPS-0130071:[1,8] Semantic analysis exception - class Ssf for user defined function ansy_xx cannot be loaded from any resources",该怎么办

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

456 5
|
8月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute这是什么原因?

182 3
|
3月前
|
SQL 人工智能 分布式计算
|

MaxCompute 产品新能力发布-2024年Q1

随着阿里云MaxCompute4.0的产品新版本发布,越来越多的MaxCompute产品新能力被客户广泛关注,包括近实时查询/湖仓一体&开放架构/容灾备份等。在此我们对外整体介绍一下MaxCompute FY25-Q1产品新功能,帮助更多用户借此了解MaxCompute4.0云原生数仓新版本的重点产品特性,核心竞争力与典型用户场景等信息。

280 1
|
3月前
|
架构师 Java 程序员
|

极限挑战:40亿个非负整数中找到没有出现的数(bit数组)

大家好!我是小米,一个积极活泼、热爱分享技术的29岁程序员。今天,我们一起来探讨一个有趣且实用的算法问题:如何在40亿个非负整数中找到没有出现的数。这个问题不仅考验我们的算法设计能力,还需要我们巧妙地利用有限的内存资源。

190 56
|
6月前
|
分布式计算 关系型数据库 MySQL
|

maxcompute迁移工具MMA使用操作手册

针对官方教程中省略和易出错的部分进行了补充,在使用过程中如果有更多问题,建议工单或者任务单咨询阿里云售后服务人员。

236 1
|
11月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute支持生成临时表吗?

294 3
|
3月前
|
DataWorks
|

DataWorks是什么?

178 2
|
5月前
|
SQL 分布式计算 MaxCompute
|

MaxCompute操作报错合集之通过UDF(用户定义函数)请求外部数据库资源并遇到报错,是什么原因

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

263 0
|
5月前
|
人工智能 分布式计算 DataWorks
|

首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试

2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。

317 5
|
6月前
|
存储 BI 关系型数据库
|

数仓学习---数仓开发之DWS层

数仓学习---数仓开发之DWS层

789 4
|
2月前
|
网络安全 数据安全/隐私保护
|

使用静态IP时出现“代理检测失败”的原因是什么?

随着数字化时代的加速发展,网络安全与隐私保护成为核心需求,HTTP凭借其独特优势成为新时代热门选择。本文分析了“代理检测失败,请确认代理IP的有效性”这一问题,主要原因包括:代理IP失效、配置错误、网络不稳定、类型不匹配及请求频率过高。解决建议为检查IP有效性、确保正确配置、选择合适代理类型并控制请求频率。希望这能帮助您解决问题!

140 9
|
5月前
|
SQL 分布式计算 大数据
|

MaxCompute操作报错合集之执行sql时,出现Cannot read properties of undefined (reading 'start')错误提示,该怎么办

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

167 0
|
10月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute运行节点出现这种报错?

110 2
|
6月前
|
分布式计算 容灾 大数据
|

MaxCompute( 原名ODPS)大数据容灾方案与实现(及项目落地实例)专有云

一,背景与概述    复杂系统的灾难恢复是个难题,具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台,是自主研发的大数据解决方案,其规模和稳定性在业界都是领先的。

2464 17
|
6月前
|
分布式计算 大数据 Hadoop
|

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。

601 2
|
11月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute这个是什么意思?

354 3
|
1月前
|
人工智能 分布式计算 数据处理
|

阿里云与传智教育联合直播:深度解析MaxFrame,探索量化交易新纪元

2024年10月15日,阿里云与传智教育联合举办了一场主题为“解密新一代AI+Python分布式计算框架MaxFrame”的直播,对阿里云最新推出的分布式计算框架MaxFrame进行了详细的介绍。

208 0
|
5月前
|
分布式计算 大数据 关系型数据库
|

MaxCompute产品使用问题之动态分区写入如何指定目标分区

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

121 2
|
6月前
|
SQL 存储 大数据
|

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。

319 13
|
8月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute pyodps怎么增加运行的并行度?

246 8
|
8月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute怎么知道应该买多少cu合适呢?

125 3
|
11月前
|
分布式计算 MaxCompute 大数据
|

请问大数据计算MaxCompute配额超了是什么原因导致的?

177 1
|
11月前
|
分布式计算 MaxCompute 关系型数据库
|

DataWorks中maxcompute有没有大文本数据类型,支持mysql 的text字段?

116 3
|
5月前
|
分布式计算 MaxCompute 大数据
|

大数据计算MaxCompute报错怎么解决?

124 1
|
5月前
|
SQL 分布式计算 前端开发
|

MaxCompute操作报错合集之SQL脚本设置参数set odps.mapred.reduce.tasks=18;没有生效,是为什么

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

168 5
|
5月前
|
分布式计算 DataWorks 大数据
|

MaxCompute产品使用合集之odps.sql.mapper.split.size和odps.stage.mapper.split.size这两个参数的区别是什么

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

273 2
|
6月前
|
分布式计算 数据挖掘 数据处理
|

基于 MaxCompute MaxFrame 实现分布式 Pandas 处理

阿里云分布式计算框架 MaxCompute MaxFrame 兼容 Pandas 接口且自动进行分布式处理,在保证强大数据处理能力的同时,可以大幅度提高数据处理规模及计算效率。

552 1
|
6月前
|
分布式计算 项目管理 MaxCompute
|

MaxCompute元数据使用实践--数据权限统计

本文主要介绍通过元数据的相关权限的视图进行数据权限的统计。

101628 2
|
11月前
|
分布式计算 MaxCompute DataWorks
|

DataWorks中maxcompute能实现自增id吗?

350 2
|
4月前
|
分布式计算 大数据 数据处理
|

MaxCompute操作报错合集之编写UDF(用户自定义函数)时,报错:找不到主类,是什么原因

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

125 1
|
4月前
|
SQL 分布式计算 资源调度
|

MaxCompute操作报错合集之执行SQL Union All操作时,数据类型产生报错,该怎么解决

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

135 1
|
4月前
|
存储 SQL 分布式计算
|

MaxCompute产品使用合集之表中的某个列设置为string类型,并且超过了8M,该如何处理

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

105 8
|
4月前
|
SQL 分布式计算 DataWorks
|

MaxCompute产品使用合集之如何获取本周和上周的开始日期和结束日期

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

131 1
|
4月前
|
SQL 分布式计算 大数据
|

MaxCompute产品使用合集之如何提升sql任务并行度

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

106 1
|
5月前
|
分布式计算 安全 大数据
|

MaxCompute操作报错合集之创建oss外部表时出现了报错:"Semantic analysis exception - external table checking failure, error message:,该怎么办

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

149 1
|
6月前
|
SQL 分布式计算 大数据
|

MaxCompute产品使用合集之MaxCompute的性能受到哪些因素的影响

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

191 0
我要发布