Z_sorrain_社区达人页

个人头像照片
Z_sorrain
已加入开发者社区1961

勋章 更多

个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
江湖新秀
江湖新秀

成就

已发布48篇文章
7条评论
已回答0个问题
0条评论
已发布0个视频
github地址

我关注的人 更多

技术能力

兴趣领域
擅长领域
技术认证

暂时未有相关云产品技术能力~

暂无个人介绍

暂无精选文章
暂无更多信息

2024年09月

  • 09.13 22:45:00
    发表了文章 2024-09-13 22:45:00

    hive数仓 ods层增量数据导入

    根据业务需求,当表数据量超过10万条时采用增量数据导入,否则全量导入。增量导入基于`create_date`和`modify_date`字段进行,并确保时间字段已建立索引以提升查询效率。避免在索引字段上执行函数操作。创建增量表和全量表,并按日期进行分区。首次导入全量数据,后续每日新增或变更数据保存在增量表中,通过全量表与增量表的合并保持数据一致性。
  • 09.12 22:37:30
    发表了文章 2024-09-12 22:37:30

    HIVE的数据倾斜调优

    hive数据倾斜主要是由shuffle引起的,而引起shuffle的又主要有四种情况,分别为: 1.group by 2.join 3.count(distinct) 4.开窗函数
  • 09.12 22:29:43
    发表了文章 2024-09-12 22:29:43

    SQL调优总结

    数据库表的规范化和反规范化设计,设计合适的字段数据类型……
  • 09.12 22:12:22
    发表了文章 2024-09-12 22:12:22

    Spark cache()与unpersist()使用位置

    Spark在执行过程中是懒加载模式,RDD转换仅仅是构建DAG描述而不执行,只有遇到action算子才会真正的运行

2024年08月

  • 发表了文章 2024-09-13

    hive数仓 ods层增量数据导入

  • 发表了文章 2024-09-12

    HIVE的数据倾斜调优

  • 发表了文章 2024-09-12

    SQL调优总结

  • 发表了文章 2024-09-12

    Spark cache()与unpersist()使用位置

  • 发表了文章 2024-08-22

    各种JOIN的区别

  • 发表了文章 2024-08-22

    数仓项目总结--持续更新中

  • 发表了文章 2024-08-22

    决策树及随机森林学习总结

  • 发表了文章 2024-08-22

    Kafka架构及其原理

  • 发表了文章 2024-08-22

    Kylin学习总结

  • 发表了文章 2024-08-22

    Flink四大基石——4.Checkpoint容错机制

  • 发表了文章 2024-08-22

    Redis学习总结

  • 发表了文章 2024-08-22

    Flink四大基石——3.State

  • 发表了文章 2024-08-22

    Flink四大基石——1.window

  • 发表了文章 2024-08-22

    Flink四大基石——2.Time

  • 发表了文章 2024-08-22

    Flink执行原理

  • 发表了文章 2024-08-22

    Kafka使用场景

  • 发表了文章 2024-08-22

    Linux vim编辑器

  • 发表了文章 2024-08-22

    消息系统的4大使用场景

  • 发表了文章 2024-08-22

    Kafka生产者同步和异步的JavaAPI代码演示

  • 发表了文章 2024-08-22

    Flink四种集群模式原理

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息