Flink Forward Asia 2021 实时数仓专场
Flink Forward Asia 2021 有奖问答专场汇总
1 月 9 日上午
-
美团实时数仓平台建设 2021 新进展
姚冬阳｜美团大数据部实时数仓、实时计算平台负责人
-
快手实时数仓保障体系研发实践
李天朔｜快手实时计算数据团队技术专家
-
Apache Flink 在腾讯大数据的实践
龙逸尘｜腾讯大数据高级工程师
-
理想汽车基于 Flink 的实时数据仓库 0-1 初步建设
胡晶明｜理想汽车数据开发
1 月 9 日下午
-
蚂蚁实时数仓体系升级实践
马年圣｜蚂蚁金服实时数仓架构师
-
Flink 在讯飞 AI 营销业务实时数仓实践
汪李之｜科大讯飞中级大数据工程师
-
SmartNews 基于 Flink 的实时数仓建设
袁尤军｜SmartNews 数据平台首席架构师
-
十荟团基于 Flink SQL 与 Zeppelin 构建实时数仓的实践
康琪｜十荟团高级大数据研发工程师、实时计算团队负责人，Apache Flink Contributor
-
TiDB X Flink｜HTAP 为实时数据服务插上翅膀
曲明星｜智慧芽数据仓库架构师
写回答
-
-
-
-
云原生技术交流学习，分享云原生相关技术、资讯，Make Cloud Native Ubiquitous（MCNU），让云原生无处不在。实时数仓有哪些监控、校验数据准确性和一致性的手段？
2022-01-23 17:40:18赞同 展开评论 打赏 -
快手实时数仓保障体系研发实践
目前，我们正在开发Flink实时数的监控体系，同时也在探索流批一体的落地方案，在您的【服务阶段-监控报警】部分中，有提到对数据准确性部分的部分，其中还有离线实时一致性比较，我想请问如下相关问题：
1.在实时和离线任务中分别埋了哪些Metrics？
2.可以做到行级别的数据比对吗？
3.是否会影响原有执行效率？
4.同时为实现流批一体，这样的比对是否可复用为离线和实时数据源打平的依据？
2022-01-09 18:24:26赞同 展开评论 打赏 -
十荟团基于 Flink SQL 与 Zeppelin 构建实时数仓的实践：zpplin使用中问题多不多，正在技术选型，请老师给点建议？谢谢！
2022-01-09 15:56:05赞同 展开评论 打赏 -
议题：理想汽车基于 Flink 的实时数据仓库 0-1 初步建设（实时数仓）
胡晶明老师好，很开心看到Flink实时数仓在智能制造行业的场景落地和探索，有以下三个问题请教您：
1. Flink在智能排产方面的生产实践介绍中，影响排产的因素和特征指标繁杂众多，请问您是如何选取合适的指标来进行排产？
2. 是否有Flink对汽车制造过程中的工艺、环境、原材等IOT数据进行采集并实时监控预警的探索？比如某辆车在制造流水线上某一高温焊接工艺过程，正常工艺时间是2min-3min之间，但是某辆车的该工艺持续时间为10min，可能会有潜在风险，是否进行报警并进行车辆Hold？
3. 不知道理想是否引入工业生产中SPC（统计分析软件），我感觉Flink的CEP+Window窗口+动态维表相比传统经典的SPC统计分析软件，更具有潜力。后续是否有规划探索SPC on Flink的生产实践场景？2022-01-09 11:16:54赞同 展开评论 打赏 -
议题：Flink做实时数仓存储方案
如果都用实时数仓建设，从cdc（etl）->kafka->flink->DWD/DWM/DWS->clickhouse。数仓dw这块的多层计算结果的存储，是用kafak、clickhose、hudi、iceberg？这块有没有实践方案，我想的目的1、每一层计算完成、数据保持流式计算进入下一层计算。2、每一层可以通过元数据描述直接对外提供数据接口，这就需要数据落盘和提供秒级以下的数据查询。
2022-01-09 11:00:20赞同 展开评论 打赏 -
快手实时数仓保障体系研发实践：请问每天万亿级的数据在实时计算分层计算和存储时，持久化时长是多少？不能都是kafka去存储吧？还有图数据库是否有使用，是怎么参与的，作用是什么？谢谢。
2022-01-09 10:41:33赞同 展开评论 打赏 -
-
议题：美团实时数仓平台建设 2021 新进展
问题：我们都知道数仓有分层，实时数仓是如何在多层流动，并且保证数据准确性？（比如如果是通过Kafka流动数据，那么是会将数据同时sink到存储（供OLAP查询）和Kafka吗？这样可以保证Kafka的数据完全和存储的数据完全一致吗？）
2022-01-09 09:16:43赞同 展开评论 打赏 -
数仓各层的转换及计算，是采用olap引擎的sql能力还是利用外部的flinksql去计算执行，各有何优缺点啊？谢谢
2022-01-08 14:27:24赞同 展开评论 打赏 -
-
Hive 不支持 Flink CDC 的语义，不能像 TiDB、Doris 那样直接落盘，但是 Hive 上存储有大量离线历史数据，如何更方便的打通这些实时热数据与离线冷数据的交互。
2022-01-08 13:23:10赞同 展开评论 打赏 -
-
-
-
-
-
能否在不依赖hadoop生态的条件下，建设好实时数仓。因为现在OLAP组件较多，很多可以不依赖hadoop生态，flink也可以不依赖hadoop生态。使得公司方面可以对单一组件更好维护。
2022-01-04 20:32:02赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
