开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问大家,天ds,小时hh,周和月分区是如何命名的?

请问大家,天ds,小时hh,周和月分区是如何命名的?

展开
收起
游客6vdkhpqtie2h2 2022-09-23 10:34:19 841 0
8 条回答
写回答
取消 提交回答
  • 资深技术专家,全网粉丝10W+。主攻技术开发,擅长分享、写文、测评。

    creationtime为时间格式的转换

    insert overwrite table testtable1 partition (year,month) select *,year(creationtime) as year, month(creathiontime) as month from testtable; creationtime为时间戳格式的转换(导入parquet格式时间格式默认是时间戳

    insert overwrite table testtable1 partition(year,month) select *,from_unixtime(cast(createtime/1000 as int),'yyyy') as year, month(from_unixtime(cast(createtime/1000 as int),'yyyy-MM-dd HH:mm:ss')) as month from testtable; 删除原表,分区表重命名

    drop table testtable; alter table testtable1 rename to testtable; 动态分区之后的数据存储路径,一个分区就是一个目录

    2022-11-29 22:52:03
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    分区信息的默认配置是$bizdate image.png 而根据调度参数文档来看,系统内置参数的$bizdate的格式为yyyymmdd,${..}参数的$bizdate自定义的格式可以是如${yyyy}、${yyyymm}、${yyyymmdd}和${yyyy-mm-dd}等,同时根据业务日期的系统内置参数$bizdate(昨天)获取以下时间周期的取值为下图 image.png 更多关于分区相关调度参数可以参考文档:https://help.aliyun.com/document_detail/137548.html

    2022-11-27 18:41:08
    赞同 展开评论 打赏
  • image.png

    2022-11-26 02:32:46
    赞同 展开评论 打赏
  • 会以ds分区来统筹管理所有的分区名称,然后靠调度来实现具体的分区时间,因为ds中一般都会保留到某天,特意设置分区名称倒是也可以,不过不好落实;非要弄的话,可以用ws以及ys来表示,也就是以周分片,以月分片

    2022-11-24 20:18:04
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com
    • 年:yyyy
    • 月:mm
    • 天:dd
    • 小时:hh24
    • 分钟:mi
    • 秒:ss
    2022-11-24 14:34:16
    赞同 展开评论 打赏
  • 码中自由一片天地。。。

    在文档中有 https://www.alibabacloud.com/help/zh/dataworks/latest/configure-scheduling-parameters-configure-scheduling-parameters#section-z8s-3an-b37 示例如下: 系统内置变量var1赋值取业务时间:var1=$bizdate 系统内置变量var3赋值取定时时间:var3=$cyctime 自定义参数var2赋值取业务时间:var2=${yyyymmdd} 自定义参数var4赋值取定时时间: var4=$[yyyymmddhh24:mi:ss] 常量var5参数赋值为abc:var5=abc image.png

    2022-11-24 12:07:15
    赞同 展开评论 打赏
  • coder at work

    可以参考调度参数一节: https://www.alibabacloud.com/help/zh/dataworks/latest/configure-scheduling-parameters-configure-scheduling-parameters

    其中: yyyy:表示- 4位的年份,取值为$cyctime的年份。 - yy:表示2位的年份,取值为$cyctime的年份。 - mm:表示月份,取值为$cyctime的月份。 - dd:表示天,取值为$cyctime的天。 - hh24:表示小时(12进制使用hh),取值为$cyctime的小时。 - ss:表示秒,取值为$cyctime的秒。 - mi:表示分钟,取值为$cyctime的分钟。

    2022-11-24 10:59:34
    赞同 展开评论 打赏
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    具体的解释可以参考官网:https://www.alibabacloud.com/help/zh/dataworks/latest/configure-scheduling-parameters-configure-scheduling-parameters

    2022-11-23 09:23:49
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载