作者:唐云(茶干)
大家好,2020 年转眼就来了,先恭喜大家新年快乐,Flink 社区也会在新的一年中继续陪伴大家,一起将 Flink 做大做好。
本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。
Flink 开发进展
[Release] Yu 分享了目前 Flink-1.10 发布的喜人进展,release-1.10 分支刚被拉出来时有 46 个 blocker,11 个 critical 级别的 issue,目前已经下降到只有 12 个 blocker 级别的 issue,一个 RC 版本有望于近期发布,可以访问下面的链接一睹为快:
[Build] 在社区邮件达成一致后,目前 Flink 已经移除了厂商提供的仓库支持:
https://issues.apache.org/jira/browse/FLINK-15459
[SQL] Forward Xu 发起了 FLIP-90(在 Flink SQL 中支持 SQL 2016-2017 JSON 函数)的投票,考虑到讨论时没有收到负面意见,该投票有望较快通过。
[SQL] Jark 发起了在 Table API&SQL 中将"Time-windowed Join"重命名为"Interval Join" 的投票:
[SQL] Jark 发起了将 Blink planner 在 release 1.10 中设置为 SQL Client 默认 planner 的讨论。目前 Table API 仍然使用 Flink planner,但是也规划在 release 1.11 中将 Blink planner 设置为默认 planner。理论上来说 Blink planner 是 Flink planner 的超集,当然不排除一些边角功能没有覆盖到,如果你有任何相关发现,欢迎在下面的邮件中回复:
[SQL] Godfreyhe 发起了支持 SQL client gateway(FLIP-91)的讨论。FLIP-91 的目标是在 FLIP-24 的基础上使得 SQL Client 支持 REST/JDBC 接口,提高 Flink SQL 的易用性。
需要注意的一些缺陷
- [FLINK-15477] [1.9.1] 有用户反馈无法创建 BatchTableEnvironment。
https://issues.apache.org/jira/browse/FLINK-15477
- [FLINK-15467] [1.9.1] task cancel 阶段没有等待 source 线程发送完全数据。
https://issues.apache.org/jira/browse/FLINK-15467
- [FLINK-15466] 1.8.3 FlinkAggregateExpandDistinctAggregatesRule 会在执行带有过滤的 distinct aggs 时创建错误的 SQL plan。
https://issues.apache.org/jira/browse/FLINK-15466
- [FLINK-15463] [1.9.1] 使用 table SQL API 连接 phoenix 时,会遇到 ClassNotFoundException 异常。
https://issues.apache.org/jira/browse/FLINK-15463
中文邮件问题答疑汇总
- IDEA 默认选择 java 11 profile,导致 IDEA 在 JDK8 下无法编译 Flink。已经获得了相关解决方法:
- Flink 内存配置相关的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-td1358.html
- 如何获取一条数据记录的处理时间:
http://apache-flink.147419.n8.nabble.com/-td1380.html
- StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema:
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Tips:
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
作者介绍:
唐云(茶干),南京大学硕士,2017 年加入阿里巴巴实时计算事业部,专注 Flink 核心引擎开发,入职以来长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。