本文主要记录了自己通过查阅相关资料,一步步排查问题,最后通过优化Docerfile文件将docker镜像构建从十几分钟降低到1分钟左右,效率提高了10倍左右。
本节介绍SAE产品的部署方式,分为一键部署和手动部署。一键部署通过阿里云ROS平台快速拉起高可用方案所需资源,适合快速搭建环境;手动部署则需进入SAE控制台进行详细配置,适用于自定义应用部署。两者均支持多种部署方式,如源码仓库、镜像等,并提供灵活的资源配置选项。部署完成后需及时删除资源以避免费用产生。SAE支持HTTP和HTTPS协议,适合长时间运行的微服务和Web应用,而FC(函数计算)更适合短时、高并发的任务处理。
FlinkSQL的行级权限解决方案及源码,支持面向用户级别的行级数据访问控制,即特定用户只能访问授权过的行,隐藏未授权的行数据。此方案是实时领域Flink的解决方案,类似离线数仓Hive中Ranger Row-level Filter方案。
MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。
Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。