Flink Weekly | 每周社区动态更新 - 20200313

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者:张成

大家好,本文为 Flink Weekly 的第八期,由张成整理,主要内容包括:近期社区开发进展,邮件问题答疑以及 Flink 最新社区动态及本周社区直播内容推荐。

Flink 开发进展

■ Yangze Guo 在 FLIP-108 中建议 Flink 支持对 GPU 的资源管理。

[1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Add-GPU-support-in-Flink-tp38286.html

■ 从 Flink 1.10.0 开始,Apache Flink 项目开始维护 Flink Docker。

[2] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-111-Docker-image-unification-tp38444.html

■ Arvid 更新了 FLIP-76(Unaligned Checkpoints),并希望尽快进行投票。

[3] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-tp33651.html

■ Tison 提议改变 flink-streaming-java 的依赖结构。

[4] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/PROPOSAL-Reverse-the-dependency-from-flink-streaming-java-to-flink-client-tp38469.html

■ Arvid 建议启动一个 Flink 开发者博客,这个博客涵盖当前正在做或者即将要做的工作。该提案已收到其他提交者的许多积极反馈。

[5] https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home

[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html

■ Dawid 建议在 “CREATE TABLE” 语句中支持 “LIKE”。这样 Flink SQL 可以轻松地调整/扩展现有表。这个随着 Flink 增加对更多外部系统的支持,变得越来越相关。(SchemaRegistry,HiveCatalog,JDBCCatalog 等)。

[7] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-110-Support-LIKE-clause-in-CREATE-TABLE-tp38378p38421.html

■ FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。FLIP-79 在 Flink SQL 中添加了 Function DDL,以便在 SQL 中注册 Java 和 Scala UDF。

基于这两个 FLIP,Wei Zhon 发布了 FLIP-106 在 SQL Function DDL 中支持 Python UDF。

[8] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-tp38107.html

邮件问题答疑

■ Jark Wu 正在统计使用 CDC 的工具,有兴趣的同学可以去围观。

[9] http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html

■ 目前 Flink SQL 尚不支持 CREATE TABLE 自动从 format 或 schema 服务中推断出字段信息。

[10] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/CREATE-TABLE-with-Schema-derived-from-format-td33365.html

[11] https://issues.apache.org/jira/browse/FLINK-16420

■ 目前 Flink SQL 尚不支持 SHOW CREATE TABLE,感兴趣的可以跟进 FLINK-16384。

[12] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/SHOW-CREATE-TABLE-in-Flink-SQL-td33296.html

■ 目前在 Flink SQL 中使用 tumbling window 求 topn 暂时不支持,Jark Wu 在邮件中进行了详细的解答。

[13] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Get-Tumbling-Window-Top-K-using-SQL-td33236.html

■ pkuvisdudu 对 Flink 内存类型提出了相关疑问,Xintong Song 在邮件中进行了详细的解释。

[14] http://apache-flink.147419.n8.nabble.com/Flink-td1869.html

■ Flink SQL 将 group 聚合的数据写入到 HBase 表报 primary keys 问题,由 Jark Wu 进行了详细解答。

[15] http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html

■ 小旋锋提问 flink elasticsearch sink 如何能不丢数据?Jark Wu 进行了详细的回答,有兴趣的可以查阅。

[16] http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html

■ sunfulin 遇到了在 SQL 中使用 UDF 同时开启 checkpoint,会导致任务报错。

[17] http://apache-flink.147419.n8.nabble.com/Flink-SQL-job-failed-to-submit-with-enableCheckpointing-while-SQL-contains-UDF-td1804.html

■ 王博迪在邮件中提到如何进行问题咨询。英文交流邮箱是 user@flink.apache.org,中文交流邮箱是 user-zh@flink.apache.org。

[18] http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html

■ 用户的任务大约 6 天挂一次,看日志定位为 checkpoint 失败导致。

[19] http://apache-flink.147419.n8.nabble.com/flink-td1871.html

■ nicygan 想以 per-job 的方式在 Yarn 上面提交 Flink 任务报错,Tison 在邮件列表中进行了详细的解答。

[20] http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html

活动 / 博客文章 / 其他

■ 袋鼠云技术公司 DTStack 最近在 flink-packages.org 上发布了 FlinkX。

FlinkX 基于 Apache Flink,能够实现某些数据源之间的相互导入。

[21] https://flink-packages.org/packages/flinkx

■ Flink 中文社区进行了实时数仓系列直播。

  • 利用 Flink 实现实时超时统计场景,由菜鸟高级数据工程师马汶园分享
  • 利用 Flink 实现实时状态复用场景,由菜鸟数据工程师李晨分享

直播回顾:

https://ververica.cn/developers/flink-training-course3/

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

  1. 发送任意邮件到 user-zh-subscribe@flink.apache.org
  2. 收到官方确认邮件
  3. 回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

张成,小红书技术部基础平台开发工程师,目前主要在做基于 Flink 的实时计算平台开发。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6月前
|
Nacos 流计算
flink动态更新作业
flink动态更新作业
|
运维 大数据 Apache
|
11天前
|
人工智能 Apache 流计算
参与Flink社区活动,免费赢取FFA大会两日通票~
Flink Forward Asia 2024 将于 11 月 29-30 日在上海举行,庆祝 Apache Flink 诞生十周年。大会将回顾 Flink 的技术成就,展望未来十年的发展,并介绍 Flink 2.0 版本。通过三种参与方式,您有机会免费赢取大会两日通票和 Flink 专属周边。
325 7
参与Flink社区活动,免费赢取FFA大会两日通票~
|
3月前
|
机器学习/深度学习 监控 Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
|
6月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之社区版有没有办法多张表公用server_id,达到数据源的复用
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
消息中间件 SQL Kafka
如何高效接入 Flink: Connecter / Catalog API 核心设计与社区进展
本文整理自阿里云实时计算团队 Apache Flink Committer 和 PMC Member 任庆盛在 FFA 2023 核心技术专场(二)中的分享。
461 1
如何高效接入 Flink: Connecter / Catalog API 核心设计与社区进展
|
6月前
|
NoSQL Java 关系型数据库
Flink 动态更新配置,不需要重启作业
Flink 动态更新配置,不需要重启作业
309 1
|
消息中间件 存储 SQL
Flink Connector 社区新动向与开发指南
阿里巴巴开发工程师 Apache Flink Committer 任庆盛,阿里巴巴技术专家 Apache Flink Contributor 罗根,在 Flink Forward Asia 2022 核心技术专场的分享。
1118 1
Flink Connector 社区新动向与开发指南
|
NoSQL Java Apache
说出你和 Flink 社区的小故事,首场线下 ASF 亚洲峰会 10 张门票免费送!
说出你和 Apache Flink 社区的故事,讲述这五年来你的经历和感悟,10 张 Apache 软件基金会(ASF)的官方全球系列大会 CommunityOverCode (原 ApacheCon)门票免费送!
340 0
说出你和 Flink 社区的小故事,首场线下 ASF 亚洲峰会 10 张门票免费送!
|
SQL 机器学习/深度学习 算法
Apache Flink 社区 2022 年度报告:Evolution, Diversity, Connection
通过 Evolution、Diversity、Connection 三个关键词,从年度最佳实践、核心技术演进、开源技术生态等多维度盘点过去一年的成果,与各位开发者一同见证社区成长。
Apache Flink 社区 2022 年度报告:Evolution, Diversity, Connection

相关产品

  • 实时计算 Flink版