开发者社区> 问答> 正文

请问计算源一般情况,在安装dataphin时已同步安装后续我们产品升级之前的开发脚本要重新开发?

请问计算源一般情况下,在安装dataphin时,已经同步安装了,后续我们产品升级,好像要用到maxcompute,原来我们用的是hadoop,这样的话我们之前的开发脚本,是不是都得重样的开发了?新搭一套系统使用maxcompute引擎。

展开
收起
十一0204 2023-07-23 19:06:04 55 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果您在安装Dataphin时已经安装了计算源,且使用的是Hadoop引擎,但是后续需要升级到使用MaxCompute引擎,那么您之前的开发脚本可能需要进行相应的修改和调整。

    由于Hadoop和MaxCompute引擎的差异比较大,包括数据存储、计算模型、SQL语法等方面都有所不同,因此原本基于Hadoop引擎开发的脚本可能需要进行相应的调整和优化,以适应MaxCompute引擎的特点和要求。具体而言,您可能需要进行以下工作:

    数据存储和格式转换:MaxCompute和Hadoop的数据存储和格式有所不同,因此需要对数据进行相应的转换和处理,以适应MaxCompute的要求。

    计算模型和SQL语法:MaxCompute和Hadoop的计算模型和SQL语法也有所不同,您需要对原有的脚本进行相应的修改和调整,以适应MaxCompute的需求。例如,需要修改SQL语句、处理JOIN、GROUP BY、WINDOW等操作,以及调整计算逻辑和算法等方面。

    性能优化和调试:在迁移和调整脚本时,您需要关注计算性能和正确性,并进行相应的优化和调试工作,以确保脚本能够在MaxCompute引擎上正确、高效地运行。

    2023-07-27 20:28:57
    赞同 展开评论 打赏
  • 意中人就是我呀!

    dataphin初始化时计算引擎就确定了,后续改不了哈。代码任务是提交到计算引擎上运行的,原来系统的代码可以复制过去,但是一些语法和使用等可能要调整适配新系统的引擎去执行哈。此回答整理至钉群“Dataphin公共云答疑群”

    2023-07-26 10:23:09
    赞同 展开评论 打赏
  • 问题1:在Dataphin中新建了一个C项目,并配置了使用已经开通了访问A、B两个空间表的查询权限的数据源AK。那么在Dataphin的C项目中是可以直接查询Dataworks中A、B空间的表的。你可以通过配置正确的数据源和权限,将A、B空间的表引入到C项目的数据集中,然后可以在C项目中对这些表进行查询和操作。

    问题2:通过脚本任务去直接访问ODPS(MaxCompute)的表指的是在DataWorks中以脚本任务的方式编写代码来执行对ODPS表的操作。这种方式可以通过编写SQL语句来查询、插入、更新或删除ODPS表中的数据。

    在开发环境中执行 select * from A.table 这样的SQL查询语句,可以用于查询DataWorks中A空间的表。前提是你在DataWorks的开发环境中具有相应的权限和正确的配置,包括对A空间的访问权限以及连接到ODPS的配置信息(如Endpoint、AccessKey、SecretKey等)。

    请注意,具体的配置和操作可能会因DataWorks和Dataphin的版本和设置而有所不同。建议你参考阿里云官方文档、教程,或联系他们的客户支持团队,以获取更准确和详细的指导。

    2023-07-23 21:10:39
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
问答排行榜
最热
最新

相关电子书

更多
构建企业级好数据(Dataphin智能数据建设与治理白皮书) 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载