maxcompute开发环境问题之访问开发环境失败如何解决

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。

问题一:DataWorks如何访问MaxCompute开发环境和生产环境的项目

DataWorks如何访问MaxCompute开发环境和生产环境的项目



参考答案:

访问MaxCompute表的常见SQL有3种类型:

情况一:SELECT * FROM项目名.表名。

该SQL在数据开发、运维中心里运行,查询的均是生产环境的表。

情况二:SELECT * FROM项目名_dev.表名。

该SQL在数据开发、运维中心里运行,查询的均是开发环境的表。

情况三:SELECT * FROM表名。

当该SQL在数据开发里运行,查询的是开发环境的表。

当该SQL在运维中心里运行,查询的是生产环境的表。

综上,当SQL中的表名有“项目名”或“项目名_dev”前缀时,查询的环境是固定的。当SQL中的表名没有前缀时,查询的是哪个环境的表会随着实际的运行环境而变化。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/473178?spm=a2c6h.13066369.question.6.65da66bfvVmOVA&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@473178._.ID_473178-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_7



问题二:DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?



参考答案:

可以通过指定项目名前缀来指定访问生产表、开发表,insert+select方式写入 权限问题可以通过安全中心申请



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/560640?spm=a2c6h.13066369.question.9.65da66bfECRfEz&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@560640._.ID_560640-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_8



问题三:大数据计算MaxCompute根据环境动态传入来应用到底是生产还是开发的mysql配置信息?

projectname这个的话在dataworks中不用直接指定,它会根据开发和生产的运行动态获取大数据计算MaxCompute 的projectname。我现在遇到的问题是我的spark打成了一个jar包(这个jar包里面有开发和生产连接mysql配置信息),然后我先要dataworks的开发环境运行,最后再提交到生产运行。我代码想始终是一份代码,根据环境动态传入来应用到底是生产还是开发的mysql配置信息



参考答案:

参考这个文章 试用DataWorks的参数进行定义MaxCompute project name。

https://developer.aliyun.com/article/950945



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/556400?spm=a2c6h.13066369.question.8.65da66bfkHGsB4&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@556400._.ID_556400-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_9



问题四:大数据计算MaxCompute如何在开发环境配置数据自动化更新流程?

大数据计算MaxCompute如何在开发环境配置数据自动化更新流程?我一提交任务就直接进生产环境了



参考答案:

开发环境得手动执行,如果要调度的话需要提交发布到生产环境。开发环境没办法自动调度



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/551218?spm=a2c6h.13066369.question.11.65da66bfFFdIWq&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@551218._.ID_551218-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_10



问题五:DataWorks中Maxcompute表,已提交到开发环境的表字段怎么删除?

问题1:DataWorks中Maxcompute表,已提交到开发环境的表字段怎么删除?

问题2:会影响生产环境吗? 如何只删除开发环境



参考答案:

回答1:需要删除重建一下表 因为mc普通表不支持删除字段

回答2:使用语句drop 指定项目名前缀删除不影响生产表 xxx_dev.xxxx ,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/540160?spm=a2c6h.13066369.question.10.65da66bfudPsHW&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@540160._.ID_540160-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_11

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习 分布式计算 运维
MaxCompute产品使用合集之生产环境的a表和开发环境的a表的主要区别是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
113 4
|
分布式计算 DataWorks 数据处理
MaxCompute操作报错合集之UDF访问OSS,配置白名单后出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
208 2
|
分布式计算 大数据 数据挖掘
MaxCompute产品使用合集之如何解决MC通过外部表方式访问Hologres时,数据量达到3000万条左右导致查询速度慢
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
166 3
|
分布式计算 DataWorks MaxCompute
MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
201 5
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之如何在UDF函数中访问外网
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
106 2
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之同步任务为什么默认访问的是生产环境
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
存储 分布式计算 大数据
MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI操作报错合集之在ODPS的xxx_dev项目空间调用easyrec训练,需要访问yyy项目空间的OSS,出现报错,是什么导致的
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
SQL 弹性计算 分布式计算
MaxCompute产品使用合集之如何设置pyodps允许访问
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
118 0
|
分布式计算 大数据 数据处理
MaxCompute操作报错合集之在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

热门文章

最新文章