Flink Weekly | 每周社区动态更新 - 2019/12/31

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

大家好,本文为 Flink Weekly 的第二期,由 zhisheng 整理,主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

Flink 开发

  • [SQL] Forward Xu 发起了一个讨论,要在 Flink SQL 中支持 JSON functions,最后将讨论的结果和想法记录在了 FLIP-90 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

  • [SQL] Jark Wu 发起一个讨论,建议在 1.10 release 之前将 Table API 和 SQL 中的 Time-windowed Join 改为 Interval Join。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Correct-the-terminology-of-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-L-td36202.html

  • [core]Stephan Ewen 之前发起的一个讨论,关于新的 Task Manager 内存配置 FLIP-49。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html

已知缺陷

  • [FLINK-15421] [1.9.1, 1.10.0] GroupAggsHandler throws java.time.LocalDateTime cannot be cast to java.sql.Timestamp。

https://issues.apache.org/jira/browse/FLINK-15421

  • [FLINK-15420] [1.10.0] Cast string to timestamp will loose precision。

https://issues.apache.org/jira/browse/FLINK-15420

  • [FLINK-15418] [1.9.1, 1.10.0] StreamExecMatchRule not set FlinkRelDistribution。

https://issues.apache.org/jira/browse/FLINK-15418

  • [FLINK-15411][1.10.0] Planner can't prune partition on DATE/TIMESTAMP columns。

https://issues.apache.org/jira/browse/FLINK-15411

  • [FLINK-15406] [1.9.1] The savepoint is writted by "State Processor API" can't be restore by map or flatmap。

https://issues.apache.org/jira/browse/FLINK-15406

  • [FLINK-15381] [1.10.0] INSERT INTO VALUES statement fails if a cast project is applied。

https://issues.apache.org/jira/browse/FLINK-15381

  • [FLINK-15370] [1.10.0, 1.11.0] Configured write buffer manager actually not take effect in RocksDB's DBOptions 在 DBOptions 中设置 WriteBufferManager 的值不起作用。

https://issues.apache.org/jira/browse/FLINK-15370

  • [FLINK-15361] [1.9.1] ParquetTableSource should pass predicate in projectFields。

https://issues.apache.org/jira/browse/FLINK-15361

活动 / 博客文章 / 其他

  1. 社区钉钉群群直播——《基于 Apache Flink 的监控告警系统》,PPT 下载 & 直播视频回放地址:

https://ververica.cn/developers/flink-training-course3/

  1. 年度回顾 | 2019 年的 Apache Flink(文末有福利) 伍翀(云邪)

中文邮件问题/答疑汇总

  • StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema。

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-tp1347.html

  • 在 1.8 版本使用 yarn session 模式时是 1 个 Task Manager 一个 CPU,当切换到 1.9.1 时使用同样的启动命令发现一个 slot 使用一个 CPU。

http://apache-flink.147419.n8.nabble.com/slot-td1345.html

  • Flink 1.9 批任务 yn 和 ys 对任务的影响。

http://apache-flink.147419.n8.nabble.com/Flink1-9-yn-ys-tp1313.html

  • Flink SQL 1.9.0 如何创建 elasticsearch 动态索引表。

http://apache-flink.147419.n8.nabble.com/flink-sql-1-9-0-elasticsearch-tp1342.html

  • source 并行度不同导致任务没有数据落地。

http://apache-flink.147419.n8.nabble.com/source-tp1336.html

  • Flink 1.9 SQL Kafka Connector,Json format,how to deal with not json message。

http://apache-flink.147419.n8.nabble.com/Flink-1-9-SQL-Kafka-Connector-Json-format-how-to-deal-with-not-json-message-tp1335.html

  • Flink 实现 Kafka 到 MySQL 的 End-To-End Exactly-Once 中遇到的问题。

http://apache-flink.147419.n8.nabble.com/Flink-Kafka-Mysql-End-To-End-Exactly-Once-tp1321.html

  • Rewind offset to a previous position and ensure certainty。

http://apache-flink.147419.n8.nabble.com/Rewind-offset-to-a-previous-position-and-ensure-certainty-tp1324.html

  • 关于 Flink historyserver 没有 completed-jobs 的问题。

http://apache-flink.147419.n8.nabble.com/FLink-historyserver-completed-jobs-tp1320.html

  • Flink 维表关联,当维表更新后,如何将之前关联的数据进行更新。

http://apache-flink.147419.n8.nabble.com/flink-tp1322.html

  • The assigned slot was removed 分配好的 slot 突然就被 remove 了,导致作业重启。

http://apache-flink.147419.n8.nabble.com/The-assigned-slot-bae00218c818157649eb9e3c533b86af-11-was-removed-td1308.html

  • Flink Checkpoint 配置 HDFS 问题,如何配置高可用。

http://apache-flink.147419.n8.nabble.com/flink-checkpoint-hdfs-tp1318.html

  • 实现一个两阶段提交的 ETL,数据从 Kafka 到 MySQL,遇到的异常问题。

http://apache-flink.147419.n8.nabble.com/ETL-kafka-mysql-tp1317.html

  • using thin jar to replace fat jar on yarn cluster mode。

http://apache-flink.147419.n8.nabble.com/using-thin-jar-to-replace-fat-jar-on-yarn-cluster-mode-tp1293.html

  • 关于 Window Process Function 数据丢失问题。

http://apache-flink.147419.n8.nabble.com/Window-ProcessFunction-tp1311.html

  • 关于 Flink 窗口是否正确关闭的问题。

http://apache-flink.147419.n8.nabble.com/flink-tp1305.html

  • CEP 匹配乱序数据的问题。

http://apache-flink.147419.n8.nabble.com/CEP-tp1301.html

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

zhisheng,《Flink 实战与性能优化》专栏作者、之前负责监控平台实时告警研发,现专注于 Flink 开发,积极活跃于开源社区,擅长 Flink、Kafka、ElasticSearch、监控告警等。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
Nacos 流计算
flink动态更新作业
flink动态更新作业
|
运维 大数据 Apache
|
2月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之社区版有没有办法多张表公用server_id,达到数据源的复用
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
消息中间件 SQL Kafka
如何高效接入 Flink: Connecter / Catalog API 核心设计与社区进展
本文整理自阿里云实时计算团队 Apache Flink Committer 和 PMC Member 任庆盛在 FFA 2023 核心技术专场(二)中的分享。
372 1
如何高效接入 Flink: Connecter / Catalog API 核心设计与社区进展
|
2月前
|
NoSQL Java 关系型数据库
Flink 动态更新配置,不需要重启作业
Flink 动态更新配置,不需要重启作业
129 1
|
12月前
|
消息中间件 存储 SQL
Flink Connector 社区新动向与开发指南
阿里巴巴开发工程师 Apache Flink Committer 任庆盛,阿里巴巴技术专家 Apache Flink Contributor 罗根,在 Flink Forward Asia 2022 核心技术专场的分享。
901 1
Flink Connector 社区新动向与开发指南
|
11月前
|
NoSQL Java Apache
说出你和 Flink 社区的小故事,首场线下 ASF 亚洲峰会 10 张门票免费送!
说出你和 Apache Flink 社区的故事,讲述这五年来你的经历和感悟,10 张 Apache 软件基金会(ASF)的官方全球系列大会 CommunityOverCode (原 ApacheCon)门票免费送!
255 0
说出你和 Flink 社区的小故事,首场线下 ASF 亚洲峰会 10 张门票免费送!
|
SQL 机器学习/深度学习 算法
Apache Flink 社区 2022 年度报告:Evolution, Diversity, Connection
通过 Evolution、Diversity、Connection 三个关键词,从年度最佳实践、核心技术演进、开源技术生态等多维度盘点过去一年的成果,与各位开发者一同见证社区成长。
Apache Flink 社区 2022 年度报告:Evolution, Diversity, Connection
|
SQL 机器学习/深度学习 分布式计算
会议总结 | 首次 Flink Batch 社区开发者会议
2023 年 2 月 8 日 Flink Batch 社区开发者会议会议总结。
会议总结 | 首次 Flink Batch 社区开发者会议
|
Apache 流计算 开发者
邀请 | Flink Batch 社区开发者会议
Flink Batch 的社区开发者双周会(在线会议),2 月 8 日 (周三)晚上 19:00 到 20:00 邀您参与~
邀请 | Flink Batch 社区开发者会议

热门文章

最新文章

相关产品

  • 实时计算 Flink版