Flink Weekly | 每周社区动态更新 - 20200114

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

大家好,本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

Flink 开发进展

[Release] 社区仍在测试和修复 Flink 1.10 的错误。您可以在发布燃尽板上进行操作。估计第一个 RC 版本很快就来了 。

https://issues.apache.org/jira/secure/RapidBoard.jspa?rapidView=349&projectKey=FLINK

[SQL] Bowen 建议在 Table API 中添加 JDBC 和 Postgres Catalog API。这样,Flink 可以自动创建关系数据库中对应的表。目前,用户需要手动在 Flink 上创建相应的表(包括 schema)。

https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+JDBC+catalog+and+Postgres+catalog

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-92-JDBC-catalog-and-Postgres-catalog-tp36505.html

[configuration] Xintong 建议更改 Flink 内存配置的一些默认值(FLIP-49),并正在寻求反馈 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Tuning-FLIP-49-configuration-default-values-td36528.html

[datastream api] Congxian 建议统一从 statebackends 向 AppendingState 添加“空(null)” 值的处理。建议的原因是使所有 statebackends 拒绝“空(null)”值。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Make-AppendingState-add-refuse-to-add-null-element-tp36493.html

需要注意的一些缺陷

由于在发布测试,因此有很多活动,但是对于已经发布的版本,没有发现任何新的显著错误。

活动 / 博客文章 / 其他

Flink Forward 旧金山的演讲邀请即将结束,但是您仍然有机会将演讲提交给该演讲者(可能只有)北美的 Apache Flink 社区会议。如有疑问或如果您不确定是否要提交参与,请随时与 Konstantin 联系。

https://www.flink-forward.org/sf-2020

[即将举行的聚会] 1月18日,Preetdeep Kumar 将分享一些基本的 Flink DataStream processing API,然后进行动手演示。这将是在线活动。在会议链接中可以查看更多详细信息。

https://www.meetup.com/Hyderabad-Apache-Flink-Meetup-Group/events/267610014/

1月22日 Konstantin 的同事 Alexander Fedulov 将在马德里的 Apache Flink 聚会上使 Flink 进行欺诈检测。

https://www.meetup.com/Meetup-de-Apache-Flink-en-Madrid/events/267744681/

中文邮件问题答疑汇总

  • Flink 的 savepoint 为什么要设置成手动的?的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-savepoint-checkpoint-td1229.html

  • Flink 消费 Kafka 没有数据问题的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-Kafka-td1461.html

  • 关于 Flink 集群中调用 dubbo 服务的咨询:

http://apache-flink.147419.n8.nabble.com/flink-dubbo-td1467.html

  • 关于 Flink Plan Visualizer 什么时候会更新成1.9的样式的问题,tison 已经抄送给 Flink WebUI 重构的 Manager:

http://apache-flink.147419.n8.nabble.com/Flink-Plan-Visualizer-1-9-td1404.html#a1429

  • Flink 的每条数据既然都做了 checkpoint,做成全局分布式一致性快照,那还需要本地 state干啥呢?的问题解答:

http://apache-flink.147419.n8.nabble.com/checkpoint-state-td1122.html

  • 关于 Flink 遇到 valueState 自身的 NPE 的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-valueState-NPE-td1447.html#a1459

  • 关于流处理任务失败该如何追回之前的数据的问题解答:

http://apache-flink.147419.n8.nabble.com/-td1016.html

  • 关于 Flink 是否可以通过代码设置 hadoop 的配置文件目录的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-hadoop-td1445.html

  • 关于 Flink 算子状态查看的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-td1441.html

  • 关于疑似 ParquetTableSource Filter Pushdown bug 的问题解答:

http://apache-flink.147419.n8.nabble.com/Re-ParquetTableSource-Filter-Pushdown-bug-tt1439.html

  • 关于 Flink 1.10 版本连接 hive 报错的问题解答:

http://apache-flink.147419.n8.nabble.com/flink1-10-hive-tt336.html

  • 关于 Flink 不同 StateBackend ProcessWindowFunction 的差别的问题解答:

http://apache-flink.147419.n8.nabble.com/FLINK-StateBackend-ProcessWindowFunction-tt1418.html#a1419

  • 关于 Jobgraph 生成的问题解答:

http://apache-flink.147419.n8.nabble.com/Re-jobgraph-tt1426.html

  • 关于注册 table 时 catalog 无法变更的问题解答:

http://apache-flink.147419.n8.nabble.com/table-catalog-tt1417.html#a1425

  • 关于 Flink sql confluent schema avro topic 注册成表的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-sql-confluent-schema-avro-topic-tt1264.html

  • 使用 Flink SQL 时,碰到的【Window can only be defined over a time attribute column】的问题解答:

http://apache-flink.147419.n8.nabble.com/Flink-SQL-Window-can-only-be-defined-over-a-time-attribute-column-tt1407.html

  • 关于如何获取算子处理一条数据记录的时间的问题解答:

http://apache-flink.147419.n8.nabble.com/-tt1357.html#a1412

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
运维 大数据 Apache
|
4月前
|
SQL 消息中间件 监控
实时计算 Flink版产品使用问题之怎么使用Metric Reporters监控作业
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
SQL 监控 API
Flink教程(27)- Flink Metrics监控
Flink教程(27)- Flink Metrics监控
529 1
|
7月前
|
SQL 资源调度 监控
实时计算 Flink版产品使用合集之Flink on YARN 下,任务代码中通过 JobListener 监听任务状态,onJobSubmitted 和 onJobExecuted 同时触发如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
128 3
|
7月前
|
消息中间件 SQL 分布式计算
实时计算 Flink版产品使用合集之实现自定义 Flink Source和控制数据的下发如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7月前
|
消息中间件 SQL 资源调度
实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
SQL 机器学习/深度学习 缓存
Flink Weekly | 每周社区动态更新-20200520
本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。
Flink Weekly | 每周社区动态更新-20200520
|
SQL JSON Kubernetes
Flink Weekly | 每周社区动态更新 - 20200107
本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。
Flink Weekly | 每周社区动态更新 - 20200107
|
SQL 消息中间件 JSON
Flink Weekly | 每周社区动态更新 - 2019/12/31
主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。
Flink Weekly | 每周社区动态更新 - 2019/12/31
|
消息中间件 SQL 分布式计算
Flink Weekly | 每周社区动态更新-12/24
本期的主要内容由 Hequn Cheng 整理,包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。
Flink Weekly | 每周社区动态更新-12/24

相关产品

  • 实时计算 Flink版