开发者社区> 问答> 正文
1
0
分享

小米APP近实时数仓的架构中,日志数据是如何处理的?

小米APP近实时数仓的架构中,日志数据是如何处理的?

展开
收起
不吃核桃 2024-08-19 14:45:24 38 0 发布于山西
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时数仓Hologres
5000CU*H 100GB 3个月
额度3个月内有效
日志服务 SLS
月写入数据量 50GB 1个月
额度1个月内有效
1 条回答
写回答
取消 提交回答
  • 在小米APP近实时数仓的架构中,日志数据首先通过采集日志模块统一收集到消息队列中。然后,使用Flink SQL对日志数据进行实时消费和处理,经过DWD和DM层后,最终写入到Iceberg v2表中。由于只处理日志数据,因此只使用了Iceberg v1表的部分功能。
    image.png

    2024-08-19 20:08:49 举报
    赞同 7 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
MaxCompute架构升级及开放性解读 立即下载
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等