Flink Forward Asia 2021 实时数仓专场

内容挺好！

学习

right

实时数仓有哪些监控、校验数据准确性和一致性的手段？

快手实时数仓保障体系研发实践

目前，我们正在开发Flink实时数的监控体系，同时也在探索流批一体的落地方案，在您的【服务阶段-监控报警】部分中，有提到对数据准确性部分的部分，其中还有离线实时一致性比较，我想请问如下相关问题：

1.在实时和离线任务中分别埋了哪些Metrics？

2.可以做到行级别的数据比对吗？

3.是否会影响原有执行效率？

4.同时为实现流批一体，这样的比对是否可复用为离线和实时数据源打平的依据？

十荟团基于 Flink SQL 与 Zeppelin 构建实时数仓的实践：zpplin使用中问题多不多，正在技术选型，请老师给点建议？谢谢！

议题：理想汽车基于 Flink 的实时数据仓库 0-1 初步建设（实时数仓）
胡晶明老师好，很开心看到Flink实时数仓在智能制造行业的场景落地和探索，有以下三个问题请教您：
1. Flink在智能排产方面的生产实践介绍中，影响排产的因素和特征指标繁杂众多，请问您是如何选取合适的指标来进行排产？
2. 是否有Flink对汽车制造过程中的工艺、环境、原材等IOT数据进行采集并实时监控预警的探索？比如某辆车在制造流水线上某一高温焊接工艺过程，正常工艺时间是2min-3min之间，但是某辆车的该工艺持续时间为10min，可能会有潜在风险，是否进行报警并进行车辆Hold？
3. 不知道理想是否引入工业生产中SPC（统计分析软件），我感觉Flink的CEP+Window窗口+动态维表相比传统经典的SPC统计分析软件，更具有潜力。后续是否有规划探索SPC on Flink的生产实践场景？

议题：Flink做实时数仓存储方案

如果都用实时数仓建设，从cdc（etl）->kafka->flink->DWD/DWM/DWS->clickhouse。数仓dw这块的多层计算结果的存储，是用kafak、clickhose、hudi、iceberg？这块有没有实践方案，我想的目的1、每一层计算完成、数据保持流式计算进入下一层计算。2、每一层可以通过元数据描述直接对外提供数据接口，这就需要数据落盘和提供秒级以下的数据查询。

快手实时数仓保障体系研发实践：请问每天万亿级的数据在实时计算分层计算和存储时，持久化时长是多少？不能都是kafka去存储吧？还有图数据库是否有使用，是怎么参与的，作用是什么？谢谢。

Apache Flink 在腾讯大数据的实践：大量定制化如何合并到上游项目，是否会开源相关实现？

议题：美团实时数仓平台建设 2021 新进展

问题：我们都知道数仓有分层，实时数仓是如何在多层流动，并且保证数据准确性？（比如如果是通过Kafka流动数据，那么是会将数据同时sink到存储（供OLAP查询）和Kafka吗？这样可以保证Kafka的数据完全和存储的数据完全一致吗？）

数仓各层的转换及计算，是采用olap引擎的sql能力还是利用外部的flinksql去计算执行，各有何优缺点啊？谢谢

实时数仓如何可以做到数据质量检验？ 有哪些方法或者架构论吗？

Hive 不支持 Flink CDC 的语义，不能像 TiDB、Doris 那样直接落盘，但是 Hive 上存储有大量离线历史数据，如何更方便的打通这些实时热数据与离线冷数据的交互。

在kappa架构下，如何解决解决存储和查询一体化？

随着技术越来越成熟，实时数仓可以完全取代离线数仓吗

实时数仓，flink动态表的数据同步到olap.是不是可以更好的做实时分析？

美团实时数仓平台建设 2021 新进展+现在实时数仓完全已经实现流批一体了吗？

实时数仓—理想汽车—胡晶明。车机端数据实时产生且数量极大，如何做的从大量数据中提取有价值数据，为用户带来更好的更智能的驾驶体验？

能否在不依赖hadoop生态的条件下，建设好实时数仓。因为现在OLAP组件较多，很多可以不依赖hadoop生态，flink也可以不依赖hadoop生态。使得公司方面可以对单一组件更好维护。