作者:张成
大家好,本文为 Flink Weekly 的第八期,由张成整理,主要内容包括:近期社区开发进展,邮件问题答疑以及 Flink 最新社区动态及本周社区直播内容推荐。
Flink 开发进展
■ Yangze Guo 在 FLIP-108 中建议 Flink 支持对 GPU 的资源管理。
■ 从 Flink 1.10.0 开始,Apache Flink 项目开始维护 Flink Docker。
■ Arvid 更新了 FLIP-76(Unaligned Checkpoints),并希望尽快进行投票。
■ Tison 提议改变 flink-streaming-java 的依赖结构。
■ Arvid 建议启动一个 Flink 开发者博客,这个博客涵盖当前正在做或者即将要做的工作。该提案已收到其他提交者的许多积极反馈。
[5] https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home
[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html
■ Dawid 建议在 “CREATE TABLE” 语句中支持 “LIKE”。这样 Flink SQL 可以轻松地调整/扩展现有表。这个随着 Flink 增加对更多外部系统的支持,变得越来越相关。(SchemaRegistry,HiveCatalog,JDBCCatalog 等)。
■ FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。FLIP-79 在 Flink SQL 中添加了 Function DDL,以便在 SQL 中注册 Java 和 Scala UDF。
基于这两个 FLIP,Wei Zhon 发布了 FLIP-106 在 SQL Function DDL 中支持 Python UDF。
邮件问题答疑
■ Jark Wu 正在统计使用 CDC 的工具,有兴趣的同学可以去围观。
[9] http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html
■ 目前 Flink SQL 尚不支持 CREATE TABLE 自动从 format 或 schema 服务中推断出字段信息。
[11] https://issues.apache.org/jira/browse/FLINK-16420
■ 目前 Flink SQL 尚不支持 SHOW CREATE TABLE,感兴趣的可以跟进 FLINK-16384。
■ 目前在 Flink SQL 中使用 tumbling window 求 topn 暂时不支持,Jark Wu 在邮件中进行了详细的解答。
■ pkuvisdudu 对 Flink 内存类型提出了相关疑问,Xintong Song 在邮件中进行了详细的解释。
[14] http://apache-flink.147419.n8.nabble.com/Flink-td1869.html
■ Flink SQL 将 group 聚合的数据写入到 HBase 表报 primary keys 问题,由 Jark Wu 进行了详细解答。
[15] http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html
■ 小旋锋提问 flink elasticsearch sink 如何能不丢数据?Jark Wu 进行了详细的回答,有兴趣的可以查阅。
[16] http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html
■ sunfulin 遇到了在 SQL 中使用 UDF 同时开启 checkpoint,会导致任务报错。
■ 王博迪在邮件中提到如何进行问题咨询。英文交流邮箱是 user@flink.apache.org,中文交流邮箱是 user-zh@flink.apache.org。
[18] http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html
■ 用户的任务大约 6 天挂一次,看日志定位为 checkpoint 失败导致。
[19] http://apache-flink.147419.n8.nabble.com/flink-td1871.html
■ nicygan 想以 per-job 的方式在 Yarn 上面提交 Flink 任务报错,Tison 在邮件列表中进行了详细的解答。
[20] http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html
活动 / 博客文章 / 其他
■ 袋鼠云技术公司 DTStack 最近在 flink-packages.org 上发布了 FlinkX。
FlinkX 基于 Apache Flink,能够实现某些数据源之间的相互导入。
[21] https://flink-packages.org/packages/flinkx
■ Flink 中文社区进行了实时数仓系列直播。
- 利用 Flink 实现实时超时统计场景,由菜鸟高级数据工程师马汶园分享
- 利用 Flink 实现实时状态复用场景,由菜鸟数据工程师李晨分享
直播回顾:
https://ververica.cn/developers/flink-training-course3/
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Tips:
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
作者介绍:
张成,小红书技术部基础平台开发工程师,目前主要在做基于 Flink 的实时计算平台开发。