问题一:DataWorks生命周期是什么?
DataWorks生命周期是什么?
参考回答:
表的生命周期(Lifecycle),指表(分区)数据从最后一次更新的时间算起,在经过指定的时间后没有变动,则此表(分区)将被MaxCompute自动回收,这个指定的时间就是生命周期。生命周期回收为每天定时启动,扫描全量分区。
设置生命周期
--创建新表。 CREATE [external] TABLE [if not exists] <table_name> [(<col_name> <data_type> [default <default_value>] [comment <col_comment>], ...)] [comment <table_comment>] [partitioned BY (<col_name> <data_type> [comment <col_comment>], ...)] --用于创建聚簇表时设置表的Shuffle和Sort属性。 [clustered BY | range clustered BY (<col_name> [, <col_name>, ...]) [sorted BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])] INTO <number_of_buckets> buckets] --仅限外部表。 [stored by StorageHandler] --仅限外部表。 [with serdeproperties (options)] --仅限外部表。 [location <osslocation>] --生命周期 lifecycle <days>; --基于已存在的表创建具备相同结构的新表但不复制数据,支持外部表和湖仓一体外部项目中的表。 create table [if not exists] <table_name> like <existing_table_name> [lifecycle <days>];
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577140
问题二:DataWorks跨空间访问, 请问 执行A空间开发环境补数任务能获取到B空间的开发环境的数据吗?
DataWorks跨空间访问, A 空间代码访问B空间表 ,b.table_name , 请问 执行A空间开发环境补数任务能获取到B空间的开发环境的数据吗?
参考回答:
实际上是同地域、同主账号、跨odps项目访问数据是么 申请一下开发表权限是可以访问的 或者可以使用odps 的package
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577138
问题三:DataWorks比如我们在调试的时候写的是${Y} ,我觉得分区没产出数据才是异常的常态?
DataWorks比如我们在调试的时候写的是${Y} ,格式是比如2023-11-04 当时调试有数据,然后上线的时候假设不小心参数写成了yyyymmdd-1这种,格式就变成了20231104,那么关联出来的表就会没数据,这是背景。刚才发现可以用自定义sql,直接select count(*) from xxx where pt =$[yyyy-mm-dd-1]?我觉得分区没产出数据才是异常的常态? 感觉可以考虑多加一个基础模板,目前需要人为的sql去自定义一个个表去配置
参考回答:
自定义规则和内置模版执行的逻辑不太一样
不过这个应该还是要从规则自身出错 也需要感知这块优化
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577136
问题四:关于dataworks权限的问题,dataworks有没有类似于dataphin一样的表权限控制呢?
关于dataworks权限的问题,dataworks有没有类似于dataphin一样的表权限控制呢?
参考回答:
maxcompute有提供acl表权限控制 DataWorks提供了可视化申请表权限的能力(安全中心)
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577135
问题五:DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢?
DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?
参考回答:
实际需求是监控分区是否存在吗 ,数据质量一般是在分区存在的前提下进行监控分区内数据是否符合预期https://help.aliyun.com/zh/dataworks/user-guide/check-node?spm=a2c4g.11186623.0.i2
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577134