【MaxCompute 常见问题】 准备工作

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 如果您是第一次使用 MaxCompute 和 DataWorks,请使用阿里云账号登录;如果您需要使用 RAM 子账号登录和创建项目,请根据准备阿里云账号检查账号是否已可用并授权

准备工作


MaxCompute 客户端EndpointProject 等相关问题


1.  开通 MaxCompute 的准备工作

如果您是第一次使用 MaxCompute DataWorks,请使用阿里云账号登录;如果您需要使用 RAM 子账号登录和创建项目,请根据准备阿里云账号检查账号是否已可用并授权。如果验证无误,请根据下述操作开通MaxCompute服务


2.  创建项目空间的前提条件

  • MaxCompute 控制台即为 DataWorks 控制台。如果您需要创建工作空间,请在 DataWorks 控制台上进行操作。创建项目空间前,您需要先开通 DataWorks服务,并确保开通的 Region MaxCompute 开通的 Region 保持一致。
  • DataWorks 工作空间模式分为简单空间模式和标准空间模式,两种模式的差异请参见简单模式和标准模式的区别。创建工作空间时,您需要选择合适的工作空间。


3.  安装并配置 MaxCompute 客户端(odpscmd)的前提条件

  • 客户端(odpscmd)基于 Java 开发。在安装前,请确保您的设备上有 Java 8 或以上版本。
  • 在配置客户端之前,请确保您已创建好项目空间。详情请参见创建项目空间


4.  需要配置 EndpointTunnel Endpoint 的场景

MaxCompute 客户端(odpscmd)配置,请参见安装并配置客户端

MaxCompute Studio project 连接配置,请参见项目空间连接管理

SDK 连接 MaxCompute 配置,请参见 JavaSDK绍和PythonSDK连接MaxCompute接口配置。

PyODPS 创建 MaxCompute 入口对象、通用配置、数据上传下载配置,请参见配置选项

DataWorks 的数据集成脚本模式连接 MaxCompute 数据源配置请参见配置 MaxCompute数据源。使用 DataX 开源工具连接 MaxCompute 数据源请参见导出SQL的运行结果


5.  从服务层面来看,MaxCompute 提供了两大类服务连接地址有哪些?

从服务层面来看,MaxCompute为您提供了两大类服务连接地址:

MaxCompute 服务本身的连接地址。您可以向 MaxCompute 发出除数据上传、下载外的所有请求,例如创建表、删除某个函数、创建一个作业等。


MaxCompute Tunnel 服务的连接地址:上传、下载数据的能力是通过 MaxCompute Tunnel 服务提供的。当您想通过 Tunnel 上传、下载数据时,可以通过 Tunnel 提供的链接地址发起请求。


6.  开通 MaxCompute 服务,如何根据本身数据存储量以及计算任务评估开通哪些产品规格?

可以参考一下这篇文章:浅谈MaxCompute资源规划管理及评估


7.  创建 Project 报错 OPDS 操作错误 OPDS-0410051,怎么解决?

此错误报错信息可以理解为 AK 信息错误。解决方法是重新生成 AK 信息,重新绑定 AK 信息。


8.  新建 RAM 用户无法访问 MaxCompute,如何解决?

RAM用户权限不足,需要由 RAM 用户归属的阿里云账号为 RAM 用户执行授权操作,详情请参见准备RAM用户


>>快来点击免费下载《阿里云MaxCompute百问百答》了解更多详情!<<


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
存储 SQL 缓存
使用实践:Hologres对接MaxCompute常见问题排查
本文总结了Hologres对接MaxCompute时的常见问题与处理方法。
3007 3
使用实践:Hologres对接MaxCompute常见问题排查
|
1月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
9月前
|
SQL 分布式计算 Hadoop
【大数据】Sqoop使用常见问题
【大数据】Sqoop使用常见问题
290 0
|
SQL 编解码 分布式计算
【MaxCompute 常见问题】 UDF
查看资源信息 假设资源名称为 pyudf_test.py,在 odpscmd 客户端执行 desc resource pyudf_test.py;,或在 datastudio 中新建 SQL 节点后输入 desc resource pyudf_test.py;执行。
【MaxCompute 常见问题】 UDF
|
数据采集 存储 消息中间件
谈谈大数据采集和常见问题
谈谈大数据采集和常见问题
384 0
|
SQL 数据采集 分布式计算
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜
|
分布式计算 DataWorks Java
MaxCompute Spark 使用及常见问题|学习笔记
快速学习 MaxCompute Spark 使用及常见问题
460 0
MaxCompute Spark 使用及常见问题|学习笔记
|
存储 分布式计算 DataWorks
【MaxCompute 常见问题】 MaxCompute Spark
如何将开源 Spark 代码迁移到 Spark on MaxCompute?分以下三种情形: 作业无需访问 MaxCompute 表和 OSS。您的 Jar 包可直接运行,具体步骤请参见搭建开发环境。注意,对于 Spark 或 Hadoop 的依赖必须设成 provided。
【MaxCompute 常见问题】 MaxCompute Spark
|
分布式计算 Java 开发工具
【MaxCompute 常见问题】Tunnel SDK
使用 Tunnel SDK 上传数据时,上传的数据可以自动分配到各个分区吗? Tunnel SDK 上传数据时,是无法自动分配到各个分区的。每一次上传只支持将数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。
【MaxCompute 常见问题】Tunnel SDK