maxcompute开发环境问题之访问开发环境失败如何解决

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。

问题一:DataWorks如何访问MaxCompute开发环境和生产环境的项目

DataWorks如何访问MaxCompute开发环境和生产环境的项目



参考答案:

访问MaxCompute表的常见SQL有3种类型:

情况一:SELECT * FROM项目名.表名。

该SQL在数据开发、运维中心里运行,查询的均是生产环境的表。

情况二:SELECT * FROM项目名_dev.表名。

该SQL在数据开发、运维中心里运行,查询的均是开发环境的表。

情况三:SELECT * FROM表名。

当该SQL在数据开发里运行,查询的是开发环境的表。

当该SQL在运维中心里运行,查询的是生产环境的表。

综上,当SQL中的表名有“项目名”或“项目名_dev”前缀时,查询的环境是固定的。当SQL中的表名没有前缀时,查询的是哪个环境的表会随着实际的运行环境而变化。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/473178?spm=a2c6h.13066369.question.6.65da66bfvVmOVA&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@473178._.ID_473178-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_7



问题二:DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?

DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?



参考答案:

可以通过指定项目名前缀来指定访问生产表、开发表,insert+select方式写入 权限问题可以通过安全中心申请



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/560640?spm=a2c6h.13066369.question.9.65da66bfECRfEz&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@560640._.ID_560640-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_8



问题三:大数据计算MaxCompute根据环境动态传入来应用到底是生产还是开发的mysql配置信息?

projectname这个的话在dataworks中不用直接指定,它会根据开发和生产的运行动态获取大数据计算MaxCompute 的projectname。我现在遇到的问题是我的spark打成了一个jar包(这个jar包里面有开发和生产连接mysql配置信息),然后我先要dataworks的开发环境运行,最后再提交到生产运行。我代码想始终是一份代码,根据环境动态传入来应用到底是生产还是开发的mysql配置信息



参考答案:

参考这个文章 试用DataWorks的参数进行定义MaxCompute project name。

https://developer.aliyun.com/article/950945



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/556400?spm=a2c6h.13066369.question.8.65da66bfkHGsB4&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@556400._.ID_556400-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_9



问题四:大数据计算MaxCompute如何在开发环境配置数据自动化更新流程?

大数据计算MaxCompute如何在开发环境配置数据自动化更新流程?我一提交任务就直接进生产环境了



参考答案:

开发环境得手动执行,如果要调度的话需要提交发布到生产环境。开发环境没办法自动调度



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/551218?spm=a2c6h.13066369.question.11.65da66bfFFdIWq&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@551218._.ID_551218-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_10



问题五:DataWorks中Maxcompute表,已提交到开发环境的表字段怎么删除?

问题1:DataWorks中Maxcompute表,已提交到开发环境的表字段怎么删除?

问题2:会影响生产环境吗? 如何只删除开发环境



参考答案:

回答1:需要删除重建一下表 因为mc普通表不支持删除字段

回答2:使用语句drop 指定项目名前缀删除不影响生产表 xxx_dev.xxxx ,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/540160?spm=a2c6h.13066369.question.10.65da66bfudPsHW&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@540160._.ID_540160-RL_maxcompute%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_11

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 NoSQL 大数据
maxcompute开发环境问题之删除字段报错如何解决
MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。
|
2月前
|
数据采集 分布式计算 DataWorks
maxcompute开发环境问题之申请生产环境和开发环境的表权限失败如何解决
MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。
|
2月前
|
分布式计算 大数据 数据库连接
maxcompute开发环境问题之参数解析失败如何解决
MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。
|
2月前
|
存储 分布式计算 Hadoop
maxcompute配置问题之加速查询超时配置回退如何解决
MaxCompute配置是指在使用阿里云MaxCompute服务时对项目设置、计算资源、存储空间等进行的各项调整;本合集将提供MaxCompute配置的指南和建议,帮助用户根据数据处理需求优化其MaxCompute环境。
33 1
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
数据采集 SQL 分布式计算
maxcompute开发环境问题之自定义2个环境变量失败如何解决
MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。
|
2月前
|
SQL 分布式计算 大数据
maxcompute开发环境问题之同步到生产环境失败如何解决
MaxCompute开发环境是指设置和配置用于开发MaxCompute项目的本地或云端环境;本合集将指导用户如何搭建和管理MaxCompute开发环境,包括工具安装、配置和调试技巧。
|
8月前
|
SQL 安全 大数据
怎么做好大数据安全访问管控?彭文华
怎么做好大数据安全访问管控?彭文华
|
11月前
|
SQL 存储 分布式计算
MaxCompute 的UDF函数如何批量从一个开发环境注册到生产环境
MaxCompute 的UDF函数如何批量从一个开发环境注册到生产环境
111 0
|
分布式计算 资源调度 数据可视化

热门文章

最新文章