Z_sorrain_社区达人页

个人头像照片
Z_sorrain
已加入开发者社区2034

勋章 更多

个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
江湖新秀
江湖新秀

成就

已发布52篇文章
7条评论
已回答0个问题
0条评论
已发布0个视频
github地址

我关注的人 更多

技术能力

兴趣领域
擅长领域
技术认证

暂时未有相关云产品技术能力~

暂无个人介绍

暂无精选文章
暂无更多信息

2024年11月

2024年10月

  • 10.22 21:33:13
    发表了文章 2024-10-22 21:33:13

    数仓规范之sql编写规范

    编写SQL时,应遵循以下规范:所有关键字小写,表别名按a, b, c...顺序使用,复杂逻辑多行书写,提高可读性。SELECT字段需逐行列出,避免使用*,GROUP BY字段同样处理。WHERE条件多于一个时,每条件一行。JOIN子表推荐使用嵌套查询方式1,明确关联条件,避免笛卡尔积。关键逻辑需注释,INSERT SELECT后最外层字段加注释说明用途。示例中展示了推荐的JOIN替代子查询的写法,以提高代码的可读性和维护性。

2024年09月

  • 09.13 22:45:00
    发表了文章 2024-09-13 22:45:00

    hive数仓 ods层增量数据导入

    根据业务需求,当表数据量超过10万条时采用增量数据导入,否则全量导入。增量导入基于`create_date`和`modify_date`字段进行,并确保时间字段已建立索引以提升查询效率。避免在索引字段上执行函数操作。创建增量表和全量表,并按日期进行分区。首次导入全量数据,后续每日新增或变更数据保存在增量表中,通过全量表与增量表的合并保持数据一致性。
  • 09.12 22:37:30
    发表了文章 2024-09-12 22:37:30

    HIVE的数据倾斜调优

    hive数据倾斜主要是由shuffle引起的,而引起shuffle的又主要有四种情况,分别为: 1.group by 2.join 3.count(distinct) 4.开窗函数
  • 09.12 22:29:43
    发表了文章 2024-09-12 22:29:43

    SQL调优总结

    数据库表的规范化和反规范化设计,设计合适的字段数据类型……
  • 09.12 22:12:22
    发表了文章 2024-09-12 22:12:22

    Spark cache()与unpersist()使用位置

    Spark在执行过程中是懒加载模式,RDD转换仅仅是构建DAG描述而不执行,只有遇到action算子才会真正的运行

2024年08月

  • 发表了文章 2024-11-06

    数仓规范之项目命名规范

  • 发表了文章 2024-11-05

    业务增量数据入仓以及增全量合并工作

  • 发表了文章 2024-11-05

    HiveSql数据比对通用写法

  • 发表了文章 2024-10-22

    数仓规范之sql编写规范

  • 发表了文章 2024-09-13

    hive数仓 ods层增量数据导入

  • 发表了文章 2024-09-12

    HIVE的数据倾斜调优

  • 发表了文章 2024-09-12

    SQL调优总结

  • 发表了文章 2024-09-12

    Spark cache()与unpersist()使用位置

  • 发表了文章 2024-08-22

    各种JOIN的区别

  • 发表了文章 2024-08-22

    数仓项目总结--持续更新中

  • 发表了文章 2024-08-22

    决策树及随机森林学习总结

  • 发表了文章 2024-08-22

    Kafka架构及其原理

  • 发表了文章 2024-08-22

    Kylin学习总结

  • 发表了文章 2024-08-22

    Flink四大基石——4.Checkpoint容错机制

  • 发表了文章 2024-08-22

    Redis学习总结

  • 发表了文章 2024-08-22

    Flink四大基石——3.State

  • 发表了文章 2024-08-22

    Flink四大基石——1.window

  • 发表了文章 2024-08-22

    Flink四大基石——2.Time

  • 发表了文章 2024-08-22

    Flink执行原理

  • 发表了文章 2024-08-22

    Kafka使用场景

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息