问题一:云数据仓库ADB中二级分区键 有过期策略么?
云数据仓库ADB中二级分区键 有过期策略么?
参考回答:
1. 创建分区表
如果业务明确有增量数据导入需求,创建普通表时可以同时指定分布键和分区,分区可以实现数据的增量同步,并且在查询时可以实现分区裁剪,有效提升查询性能。创建普通表时,通过""PARTITION BY ""关键词指定分区,详情请参考:CREATE TABLE, 目前切分粒度只支持年、月、日以及原始值,例如:
直接用ds的值来做分区
PARTITION BY VALUE(ds)
ds转换后的天做分区
PARTITION BY VALUE(DATE_FORMAT(ds, '%Y%m%d'))
ds转换后的月做分区
PARTITION BY VALUE(DATE_FORMAT(ds, '%Y%m'))
ds转换后的年做分区
PARTITION BY VALUE(DATE_FORMAT(ds, '%Y'))
- 分区合理性的诊断
分区是否合理,ADB提供了诊断结果,详情请参考:数据建模优化 - 分区的过期策略
目前分区过期策略是依据大小排序,只保留最大的N个分区,其中N为生命周期的大小。假设表A定义的生命周期个数为3,目前存在的分区为202001,202002,202003。当分区值为20204的数据写入进来时202001分区就会被淘汰。需要注意的是分区淘汰是延迟进行的,不保证20204的数据写入后立即会淘汰202001。此外在使用分区时也要注意脏数据带来的误淘汰问题,如果此时表A分别写入了分区值为300001,300002,300003的三条脏数据,那么分区淘汰策略也会被触发,整表将只剩下分区值最大的三条脏数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/543755?spm=5176.8068049.0.0.77566d19q957kd
问题二:云数据仓库ADB中json不是建了索引吗?我随便找个字段也崩?
问题1:云数据仓库ADB中json不是建了索引吗?我随便找个字段也崩?
问题2:但是这个表,content 列我是有建索引的哦
另个两个克隆表sls_log_kgameslog_2、sls_log_kgameslog_3 用了 INDEX_ALL='Y' 参数,就没有自动对json列建索引,而我应该是select了其中一个。
参考回答:
回答1:是这样的,json列从某个版本开始不再默认创建索引,需要手动创建。可以参考文档:https://help.aliyun.com/zh/analyticdb-for-mysql/developer-reference/json?spm=a2c4g.11186623.0.i1
回答2:json列的默认行为变更,没有体现在元数据中,这个后续产品上会fix。而当前这个列的确是没有索引的。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/541552?spm=5176.8068049.0.0.77566d19q957kd
问题三:云数据仓库ADB中这个json_unquote为什么无效?
云数据仓库ADB中这个json_unquote为什么无效?
参考回答:
创建一个 anoe。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/541146?spm=5176.8068049.0.0.77566d19q957kd
问题四:云数据仓库ADB中我们这有套adb资源从哪能看到是跑什么任务导致的么?
云数据仓库ADB中我们这有套adb资源(部署在菲律宾)从监控看计算资源节点CPU有段时间跑到了临近100%,从哪能看到是跑什么任务导致的么?
参考回答:
这边创建一个anoe 吧。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/541145?spm=5176.8068049.0.0.77566d19q957kd