【MaxCompute 常见问题】 准备工作

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 如果您是第一次使用 MaxCompute 和 DataWorks,请使用阿里云账号登录;如果您需要使用 RAM 子账号登录和创建项目,请根据准备阿里云账号检查账号是否已可用并授权

准备工作


MaxCompute 客户端EndpointProject 等相关问题


1.  开通 MaxCompute 的准备工作

如果您是第一次使用 MaxCompute DataWorks,请使用阿里云账号登录;如果您需要使用 RAM 子账号登录和创建项目,请根据准备阿里云账号检查账号是否已可用并授权。如果验证无误,请根据下述操作开通MaxCompute服务


2.  创建项目空间的前提条件

  • MaxCompute 控制台即为 DataWorks 控制台。如果您需要创建工作空间,请在 DataWorks 控制台上进行操作。创建项目空间前,您需要先开通 DataWorks服务,并确保开通的 Region MaxCompute 开通的 Region 保持一致。
  • DataWorks 工作空间模式分为简单空间模式和标准空间模式,两种模式的差异请参见简单模式和标准模式的区别。创建工作空间时,您需要选择合适的工作空间。


3.  安装并配置 MaxCompute 客户端(odpscmd)的前提条件

  • 客户端(odpscmd)基于 Java 开发。在安装前,请确保您的设备上有 Java 8 或以上版本。
  • 在配置客户端之前,请确保您已创建好项目空间。详情请参见创建项目空间


4.  需要配置 EndpointTunnel Endpoint 的场景

MaxCompute 客户端(odpscmd)配置,请参见安装并配置客户端

MaxCompute Studio project 连接配置,请参见项目空间连接管理

SDK 连接 MaxCompute 配置,请参见 JavaSDK绍和PythonSDK连接MaxCompute接口配置。

PyODPS 创建 MaxCompute 入口对象、通用配置、数据上传下载配置,请参见配置选项

DataWorks 的数据集成脚本模式连接 MaxCompute 数据源配置请参见配置 MaxCompute数据源。使用 DataX 开源工具连接 MaxCompute 数据源请参见导出SQL的运行结果


5.  从服务层面来看,MaxCompute 提供了两大类服务连接地址有哪些?

从服务层面来看,MaxCompute为您提供了两大类服务连接地址:

MaxCompute 服务本身的连接地址。您可以向 MaxCompute 发出除数据上传、下载外的所有请求,例如创建表、删除某个函数、创建一个作业等。


MaxCompute Tunnel 服务的连接地址:上传、下载数据的能力是通过 MaxCompute Tunnel 服务提供的。当您想通过 Tunnel 上传、下载数据时,可以通过 Tunnel 提供的链接地址发起请求。


6.  开通 MaxCompute 服务,如何根据本身数据存储量以及计算任务评估开通哪些产品规格?

可以参考一下这篇文章:浅谈MaxCompute资源规划管理及评估


7.  创建 Project 报错 OPDS 操作错误 OPDS-0410051,怎么解决?

此错误报错信息可以理解为 AK 信息错误。解决方法是重新生成 AK 信息,重新绑定 AK 信息。


8.  新建 RAM 用户无法访问 MaxCompute,如何解决?

RAM用户权限不足,需要由 RAM 用户归属的阿里云账号为 RAM 用户执行授权操作,详情请参见准备RAM用户


>>快来点击免费下载《阿里云MaxCompute百问百答》了解更多详情!<<


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
6月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
存储 SQL 缓存
使用实践:Hologres对接MaxCompute常见问题排查
本文总结了Hologres对接MaxCompute时的常见问题与处理方法。
3324 3
使用实践:Hologres对接MaxCompute常见问题排查
|
6月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之将MaxCompute方法设置成永久如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
6月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
SQL 编解码 分布式计算
【MaxCompute 常见问题】 UDF
查看资源信息 假设资源名称为 pyudf_test.py,在 odpscmd 客户端执行 desc resource pyudf_test.py;,或在 datastudio 中新建 SQL 节点后输入 desc resource pyudf_test.py;执行。
【MaxCompute 常见问题】 UDF
|
SQL 分布式计算 Hadoop
【大数据】Sqoop使用常见问题
【大数据】Sqoop使用常见问题
564 0
|
存储 分布式计算 DataWorks
【MaxCompute 常见问题】 MaxCompute Spark
如何将开源 Spark 代码迁移到 Spark on MaxCompute?分以下三种情形: 作业无需访问 MaxCompute 表和 OSS。您的 Jar 包可直接运行,具体步骤请参见搭建开发环境。注意,对于 Spark 或 Hadoop 的依赖必须设成 provided。
【MaxCompute 常见问题】 MaxCompute Spark
|
SQL JSON 分布式计算
【MaxCompute 常见问题】 外部表
使用 OSS 外部表怎么样将多个小文件,输出为一个文件? 查看 Logview 日志,看 SQL 的执行计划,看最后一个是 Reducer 还是 Joiner, 如果是 Reducer 则设置参数为 set odps.stage.reducer.num=1, 如果是 Joiner,则设置为 set odps.stage.joiner.num =1。
【MaxCompute 常见问题】 外部表
|
存储 SQL 分布式计算
【MaxCompute 常见问题】 产品计费
MaxCompute如何计费? MaxCompute 是以 project 为计费单元,计费项包括存储、计算、数据下载三类。 当我们开通 MaxCompute 服务时都会碰见一个问题,如何选择自己的计费方式,怎么估算?
【MaxCompute 常见问题】 产品计费
|
SQL 数据采集 分布式计算
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜