开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8280
内容
12
活动
348232
关注
|
存储 SQL 弹性计算
|

MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值

本文由阿里巴巴技术专家海清带来以“MaxCompute规格详解”为主题的演讲。首先概述了在使用MaxCompute时,通常选择的两种服务模式,按量计费和包年包月,以及在MaxCompute计费过程中所产生的各项费用。

1552 0
|
SQL 分布式计算 编译器
|

MaxCompute - ODPS重装上阵 第九弹 - 脚本模式与参数视图

MaxCompute提供了新的脚本模式与参数化视图,可以明显提高开发者的编程效率,提高代码的可重用性,与此同时,也提高了性能!

3210 1
|
SQL 分布式计算 Cloud Native
|

MaxCompute问答整理之2020-02月

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

1531 0
|
分布式计算 DataWorks MaxCompute
|

使用CLONE TABLE方式实现同region不同可用区的MaxCompute之间的数据迁移

该文章主要针对于用户同region不同账户之间的MaxCompute数据迁移方式,属于迁移的方式可以有三种方式,一、添加MaxCompute数据源的方式进行数据迁移(该方式针对多个表配置同步节点较为繁琐);二、使用tunnel方式结合代码进行数据的迁移;三、使用clone table进行MaxCompute数据到另一MaxCompute之间的数据迁移。

1822 0
|
SQL 存储 分布式计算
|

阿里云 MaxCompute 2020-2 月刊

MaxCompute2020年2月刊为您带来Python UDF 支持Python 3 ,MaxCompute存储格式全面升级AliORC等九项最新发布功能。欢迎阅读。

707 0
|
存储 SQL 弹性计算
|

EB级云智能数据仓库MaxCompute的聪明买与智慧用 | 2020 大数据技术公开课第二季

本季的三次课程将帮助企业和开发者在大数据计算方面做到更聪明的购买资源和更智慧的管理使用资源。

2014 0
|
SQL 存储 分布式计算
|

阿里云 MaxCompute 2020-2 月刊

MaxCompute2020年2月刊为您带来Python UDF 支持Python 3 ,MaxCompute存储格式全面升级AliORC等九项最新发布功能。欢迎阅读。

5550 0
|
SQL 弹性计算 分布式计算
|

DataWorks数据集成与开源Sqoop的对比

阿里巴巴技术专家张雅静为大家带来DataWorks数据集成与开源Sqoop的对比演讲。主要从介绍Sqoop开始谈起,接着详细介绍了DataWorks数据集成与开源Sqoop对比以及注意事项,然后着重说明了DataWorks数据集成并进行了实操演示,最后对全文进行了总结。 以下是精彩视频内容整理:

4147 0
|
SQL 存储 JSON
|

阿里云交互式分析与Presto对比分析及使用注意事项

文章首先介绍了Presto以及它的应用场景、特点、架构和原理、数据模型、数据类型,并且以Presto数据查询作为实例。然后介绍了阿里云交互式分析,同时列举了它的优势和典型应用场景,对权限、数据类型、实例对象层级进行讲解,并且对交互式分析的两大场景进行实践分析,列举了几种表的特征设置,以阿里云交互式分析开发作为示例展示其过程。

2655 0
|
存储 关系型数据库 MySQL
|

DataX:导入4字节UTF8编码(生僻字)到Mysql数据库的utf8mb4数据表

MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符,MYSQL的utf-8编码,只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符,日常生活中人的姓名就会有很多高位的生僻字。

7253 1
|
分布式计算 DataWorks Kubernetes
|

MaxCompute Spark与Spark SQL对比分析及使用注意事项

本文详细对比了Spark on MaxCompute与开源Spark模式在使用中的差异。本次分享主要从功能特性,代码开发,以及Spark on MaxCompute在DataWorks中部署的操作流程等方面进行详细讲解。

4318 0
|
存储 SQL 消息中间件
|

实时计算与SparkSteaming的对比

本文由阿里巴巴龙青云带来以“实时计算与SparkSteaming的对比”为题的演讲。首先对实时计算和产品模式进行概述。然后介绍了什么是Flink以及它的架构图、编程模型、计算模型和容错机制。接着阐述了Spark Streaming与实时计算的对比涉及生态集成对比、API对比、数据处理模式对比、时间机制对比以及容错机制对比五个方面。最后讲解了如何使用阿里云实时计算以及实时计算的使用限制。

2020 0
|
SQL 存储 分布式计算
|

MaxCompute SQL与Hive对比分析及使用注意事项

一个使用过Hadoop的Hive框架的大数据开发工程师,往往基本掌握了阿里云的大数据计算服务MaxCompute的90%。本次分享主要通过详细对比MaxCompute和Hive各个方面的异同及开发使用的注意事项,方便用户来开发使用MaxCompute,实现从Hive秒速迁移到MaxCompute。

5611 0
|
新零售 大数据 物联网
|

重磅发布!300页阿里巴巴大数据核心技术公开,速度收藏

重磅发布!阿里巴巴大数据团队历时一年,集合25+专家协力打造《像阿里巴巴一样玩转大数据》系列电子书,近300页实战精华。

65618 1
|
消息中间件 弹性计算 分布式计算
|

大数据搬站step by step

IDC,ECS自建和云数据库之间的数据搬站 1 IDC -> MaxCompute / EMR **【方案】:使用“独享数据集成资源组”,绑定可以连通用户IDC的用户VPC,然后提工单,由阿里云数据集成开发人员在独享数据集成资源组上配置路由,使独享数据集成资源组可以访问IDC内数据源。

3279 0
|
SQL 分布式计算 运维
|

Maxcompute Spark作业管控利器—Cupid Console

Cupid Console是MaxCompute客户端 0.33.1 及更新版本新增的一个插件,下载MaxCompute客户端最新版本:https://github.com/aliyun/aliyun-odps-console/releases,配置好后,运行odpscmd,针对spark作业的管控,Cupid Console增加了一组spark的命令,可以通过运行help spark查看这些命令的用法。

3112 0
|
分布式计算 自然语言处理 DataWorks
|

高效使用 PyODPS 最佳实践

以更清晰的认知 PyODPS,DataWorks PyODPS 节点以及 PyODPS 何时在计算集群运行,开发者如何利用 PyODPS 更高效地进行数据开发。

20009 3
|
弹性计算 分布式计算 DataWorks
|

MaxCompute同步数据的网络配置

MaxCompute可以通过数据集成加载不同数据源(例如:MySQL数据库等)数据,同样也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已经集成到DataWorks作为数据同步任务进行配置、运行。您可直接在DataWorks上配置MaxCompute数据源,再配置读取MaxCompute表或者写入MaxCompute表任务,数据的导入和导出整个过程只需在一个平台上进行操作。

2007 0
|
SQL 人工智能 分布式计算
|

大数据技术公开课年度合集,带你看尽2019大数据精彩直播

在过去的一年中,大数据技术公开课共六季23次直播,内容涵盖阿里经济体的大数据典型场景最佳实践揭秘,企业级大数据平台的构建和思考,各行业客户大数据实战,阿里巴巴大数据产品特性讲解,技术大咖专访,开发者成长等内容。为开发者更好的回顾和学习,现整理和集合内容见本帖。2020年第一季大数据技术公开课2.17日开播,欢迎一起学习。

1735 0
|
分布式计算 调度 MaxCompute
|

使用Airflow调度MaxCompute

MaxCompute对外提供了Python接口,通过提供的接口使用AirFlow进行调度

2307 0
|
人工智能 大数据 分布式计算
|

独家下载 |《领军行业大数据及AI实战》解锁九大行业领军企业云上大数据及AI实战

简介:深度剖析大数据在直播、多媒体、新零售、物联网、金融科技、社交、家居服务、互联网、泛娱乐9个行业实战场景,通过企业真实案例,助你速懂企业大数据实践。

84781 0
|
SQL 分布式计算 DataWorks
|

【含视频+文字版】《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季

亲爱的大数据开发者们,新年好!在过去的2019年中,MaxCompute开发者社区共举办了六季大数据技术公开课,也受到广大开发者们的认可和鼓励。2月份我们已经紧锣密鼓的筹备了新年的第一季大数据技术公开课—《从开源到云原生,你不得不知的大数据实战》,欢迎各位开发者们一起参加。

3022 0
|
分布式计算 DataWorks 大数据
|

MaxCompute项目子账号做超级管理员

MaxCompute的admin role可以进行比较基础的权限管理,本文主要介绍可以替代project owner进行project管理的超级管理员角色——super_administrator role,以及作为超级管理员日常管理工作中的一些建议。

1665 0
|
SQL 分布式计算 DataWorks
|

TiDb和MaxCompute同步数据

一、环境准备 保证TiDb集群外网可以访问 DataWorks 二、开发 1、允许TiDb远程连接 登录到TiDb执行授权语句 grant all privileges on *.* to 'user'@'%' identified by 'password' with grant optio.

2094 0
|
SQL 分布式计算 自然语言处理
|

阿里云 MaxCompute 2020-1 月刊

您好,MaxCompute 2020.1月刊如期而至,在疫情肆虐的日子里,祝福每一位开发者,平安健康,一切顺利。

1626 0
|
分布式计算 大数据 调度
|

阿里云 MaxCompute 2020-1 月刊

您好,MaxCompute 2020.1月刊如期而至,在疫情肆虐的日子里,祝福每一位开发者,平安健康,一切顺利。

8960 0
|
SQL 存储 分布式计算
|

MaxCompute问答整理之2020-01月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

1778 0
|
SQL JSON 分布式计算
|

MaxCompute - ODPS重装上阵 第八弹 - 动态类型函数

MaxCompute自定义函数的参数和返回值不够灵活,是数据开发过程中时常被提及的问题。Hive 提供给了 GenericUDF 的方式,通过调用一段用户代码,让用户来根据参数类型决定返回值类型。MaxCompute 出于性能、安全性等考虑,没有支持这种方式。

3080 0
|
SQL 分布式计算 运维
|

MaxCompute创建仅有查询权限的自定义角色

MaxCompute原有的权限模型提供的ACL授权方式,需要明确指定授权对象才能授权,ACL方式不支持通配符方式对新增表做授权。本文通过一个自定义角色的场景,介绍使用MaxCompute新升级的权限模型,利用ACL实现对特定规则的表进行授权。

3894 0
|
SQL 消息中间件 JSON
|

MaxCompute问答整理之12月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

1974 0
|
SQL 分布式计算 搜索推荐
|

阿里云 MaxCompute 2019-12 月刊

2019年12月刊,您将了解到 MaxCompute推出更加灵活的预付费资源模型-非预留计算资源,让您在成本不变的情况下使用更多弹性的计算资源;同时,MaxCompute 支持使用开源地理空间函数,更多详情请阅读本月刊。

2979 0
|
SQL 分布式计算 搜索推荐
|

阿里云 MaxCompute 2019-12 月刊

2019年12月刊中,您将了解到 MaxCompute推出更加灵活的预付费资源模型-非预留计算资源,让您在成本不变的情况下使用更多弹性的计算资源;同时,MaxCompute 支持使用开源地理空间函数,更多详情请阅读本月刊。

8610 0
|
分布式计算 Java MaxCompute
|

如何跨项目工作空间访问MaxCompute资源和函数

在项目开发过程中,相同云账号之下所创建的不同项目工作空间的资源和函数需要实现互相访问,需要授予什么权限呢?怎么去操作才可以去访问其他工作空间所创建的资源和函数。本文通过三种方式来介绍如何去授权访问跨工作空间的资源和函数。

3625 0
|
SQL 分布式计算 Linux
|

MaxCompute - ODPS重装上阵 第七弹 - Grouping Set, Cube and Rollup

MaxCompute中的GROUPING SETS功能是SELECT语句中GROUP BY子句的扩展。允许采用多种方式对结果分组,而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更有的执行计划,从而提高执行性能。

8258 0
|
SQL 资源调度 分布式计算
|

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

随着 Fuxi 2.0 首次亮相双十一,今年飞天大数据平台在混部侧支持和基线保障2个方面均顺利完成了目标。其中,混部支持了双十一 60%在线交易洪峰的流量,超大规模混部调度符合预期。在基线保障方面,单日数据处理 970PB,较去年增长超过60%。

3934 0
|
SQL JSON 分布式计算
|

MaxCompute与DataWorks权限介绍和示例

该篇文章的主要内容是MaxCompute与DataWork权限的经典知识点汇总,MaxCompute常使用的权限分类以及经典使用语句,以及MaxCompute基于policy策略的生产环境和开发环境为用户做权限管理的示例。

2548 0
|
分布式计算 MaxCompute 开发者
|

MaxCompute 开发者社区2019圣诞趴——致敬十年,感谢有你!

能有多少个十年,坚持当初的信念;能有多少个十年,勇做热血青年。MaxCompute 十年,谢谢旅程中有你的陪伴!

1433 0
|
SQL 分布式计算 Java
|

MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写

MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。

2874 0
|
数据采集 人工智能 分布式计算
|

可闭环、可沉淀、可持续的企业级数据赋能体系

对于所有企业来说,数据决定了基于算力、算法等能做出哪些场景和应用。在本次首席技术官大数据专享会上,友盟+首席产品官林鸣晖围绕业务数据化,数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据赋能体系进行分享,基于智能数据采集(U-SDC),用户数据平台(U-CDP),数据开放平台(U-DOP)探讨如何建立企业的数据银行。

6589 0
|
SQL 分布式计算 DataWorks
|

阿里风控大脑关于大数据应用的探索与实践

2019年双11阿里风控保护了约388亿消费者的操作行为,同时挡住了约22亿次恶意攻击。在首席技术官大数据专享会,阿里巴巴新零售技术事业群高级数据技术专家丁明峰为大家介绍了阿里风控大脑关于大数据应用的探索与实践,即风控领域如何应用大数据来构建风控体系?并详细介绍风控架构以及链路。

6435 0
|
SQL JSON 分布式计算
|

MaxCompute - ODPS重装上阵 第六弹 - User Defined Type

MaxCompute中的UDT(User Defined Type)功能支持在SQL中直接引用第三方语言的类或者对象,获取其数据内容或者调用其方法 。

4169 0
|
存储 人工智能 分布式计算
|

阿里经济体大数据平台的建设与思考

2019年双11成交额再创新高,总成交额达到2684亿元。那么,阿里巴巴是通过什么黑科技让全球的用户都能流畅的买买买呢?阿里巴巴经济体背后的大数据平台如何建设呢?在首席技术官大数据专享会上,阿里云智能计算平台事业部研究员关涛就为大家分享了阿里经济体大数据平台的建设与思考。

3323 0
|
SQL 存储 分布式计算
|

基于MaxCompute InformationSchema进行血缘关系分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。 本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

4966 0
|
分布式计算 MaxCompute 开发者
|

MaxCompute 有奖调研,你是来呢?还是来呢?还是来呢?

这是一次有礼品,更有使命感的问卷调研!

1231 0
|
SQL 分布式计算 关系型数据库
|

MaxCompute问答整理之11月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

7261 0
|
JSON 分布式计算 MaxCompute
|

MaxCompute中使用OSS外部表读取JSON数据

本文介绍了MaxCompute中使用OSS外部表读取JSON文件的数据,以及需要设立的flag。

6140 0
|
搜索推荐 算法 大数据
|

首席技术官大数据专享会线上首播 | 2019飞天大数据平台技术公开课第六季

2019年11月29日阿里云智能飞天大数据平台在北京国家会议中心召开 “首席技术官大数据专享会”,超过70位企业首席技术官和大数据平台负责人与会。会上由来自阿里云智能,阿里巴巴搜索推荐事业部,阿里巴巴CRO技术部,友盟+的四位分享嘉宾进行了精彩演讲。

7289 0
|
弹性计算 JSON 数据安全/隐私保护
|

实时计算产品的部署与RAM权限添加操作

本文介绍了实时计算的购买和部署,以及子账户的操作该产品的权限授予操作。

2223 0
|
SQL 分布式计算 DataWorks
|

阿里云 MaxCompute 2019-11 月刊

Tableau官方支持MaxCompute数据源,MaxCompute提供了对SQL查询任务结果的动态脱敏功能, 数据迁移工具全新发布等精彩内容尽在 11月刊,欢迎阅读。

11464 0
我要发布