DataWorks采用阿里flink写入maxcompute,拉取依赖的时候报错了?
这个是什么问题呀?
数据同步前准备:MaxCompute环境准备https://help.aliyun.com/zh/dataworks/user-guide/maxcompute-data-source?spm=a2c4g.11186623.0.i315#section-ipo-gq2-5n9
读取或写入MaxCompute表数据时,您可以根据需要选择是否开启相关属性。
连接MaxCompute并开启项目级配置
登录MaxCompute客户端,详情请参见使用客户端(odpscmd)连接。
开启MaxCompute项目级相关配置:请确认是否已拥有对应的操作权限,您可使用Project Owner账号执行相关操作,关于MaxCompute权限说明,详情请参见角色规划。
开启acid属性
您可以使用Project Owner账号在客户端执行以下命令开启acid属性,关于MaxCompute ACID语义说明,详情请参见ACID语义。
setproject odps.sql.acid.table.enable=true;
(可选)开启2.0数据类型
如果需要使用MaxCompute数据2.0类型中的timestamp类型,您需要使用Project Owner账号在客户端执行以下命令开启数据2.0。
setproject odps.sql.type.system.odps2=true;
(可选)创建账号
工作空间绑定MaxCompute引擎时,默认将在DataWorks生成一个MaxCompute数据源,在当前工作空间可使用该默认引擎数据源进行数据同步,若您需要在其他空间同步当前工作空间的MaxCompute数据源,您需要创建Accesskey ID和Accesskey Secret,以便在其他工作空间创建数据源并使用该数据源时,可基于您的身份访问该引擎数据。
创建个人Accesskey ID和Accesskey Secret,操作详情请参见准备阿里云账号。
创建MaxCompute数据源,详情请参见配置MaxCompute数据源。
DataWorks采用阿里Flink写入MaxCompute时,拉取依赖报错可能有多种原因。以下是一些常见的解决方法:
mvn clean install -U
来强制更新依赖。这个错误提示表示在拉取依赖时,找不到名为'com.aliyun.odps:flink-connector-odps:iar:113.0'的依赖。请检查以下几点:
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>flink-connector-odps</artifactId>
<version>iar:113.0</version>
</dependency>
如果您使用的是Maven,请确保您的本地仓库中存在该依赖。您可以通过运行mvn clean install
命令来下载并安装依赖。
如果问题仍然存在,尝试将版本号更改为最新版本,例如:
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>flink-connector-odps</artifactId>
<version>iar:latest</version>
</dependency>
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。