DataWorks这个路径的格式是啥?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
元数据库名称前缀:元数据库是根据来源库名自动建立,但是可以手工指定元数据库的名称前缀。指定的前缀,将会应用到所有库中。比如,定义的前缀为“abc_”,那么来源库名在数据湖中的元数据库就会自动加上此前缀,如"abc_my_db",“abc_test_table” 等等,此时体现在OSS路径就会是 “oss://zhangsan/my_folder/abc_my_db/abc_test_table”。
在DataWorks中,OSS对象路径的格式为:
oss://<bucket-name>/<prefix>/<object-key>
其中,<bucket-name>是存储桶名称,<prefix>是前缀,<object-key>是对象键。您可以使用参数来动态生成对象路径。例如,如果您想使用bizdate和cyctime参数,可以将它们插入到对象路径中,如下所示:
oss://<bucket-name>/<prefix>/${bizdate}/${cyctime}/${object-key}
在这个例子中,${bizdate}和${cyctime}是占位符,它们将被实际值替换。这样,您就可以根据不同的业务日期和周期时间生成不同的OSS对象路径。
DataWorks的路径格式通常为:/{project}/{bizdate}/{cyctime}。其中,{project}表示项目名称,{bizdate}表示业务日期,{cyctime}表示周期时间。例如,如果项目名称为my_project,业务日期为20220101,周期时间为000000,那么路径就是/my_project/20220101/000000。
在OSS对象路径中,可以使用S(bizdate)、S{cyctime}等参数来表示业务日期和周期时间。例如,可以将路径设置为/my_project/S{bizdate}/S{cyctime},这样在运行时,DataWorks会自动替换为实际的业务日期和周期时间。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。