Flink Weekly | 每周社区动态更新 - 2019/12/31

简介: 主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

大家好,本文为 Flink Weekly 的第二期,由 zhisheng 整理,主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

Flink 开发

  • [SQL] Forward Xu 发起了一个讨论,要在 Flink SQL 中支持 JSON functions,最后将讨论的结果和想法记录在了 FLIP-90 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

  • [SQL] Jark Wu 发起一个讨论,建议在 1.10 release 之前将 Table API 和 SQL 中的 Time-windowed Join 改为 Interval Join。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Correct-the-terminology-of-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-L-td36202.html

  • [core]Stephan Ewen 之前发起的一个讨论,关于新的 Task Manager 内存配置 FLIP-49。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html

已知缺陷

  • [FLINK-15421] [1.9.1, 1.10.0] GroupAggsHandler throws java.time.LocalDateTime cannot be cast to java.sql.Timestamp。

https://issues.apache.org/jira/browse/FLINK-15421

  • [FLINK-15420] [1.10.0] Cast string to timestamp will loose precision。

https://issues.apache.org/jira/browse/FLINK-15420

  • [FLINK-15418] [1.9.1, 1.10.0] StreamExecMatchRule not set FlinkRelDistribution。

https://issues.apache.org/jira/browse/FLINK-15418

  • [FLINK-15411][1.10.0] Planner can't prune partition on DATE/TIMESTAMP columns。

https://issues.apache.org/jira/browse/FLINK-15411

  • [FLINK-15406] [1.9.1] The savepoint is writted by "State Processor API" can't be restore by map or flatmap。

https://issues.apache.org/jira/browse/FLINK-15406

  • [FLINK-15381] [1.10.0] INSERT INTO VALUES statement fails if a cast project is applied。

https://issues.apache.org/jira/browse/FLINK-15381

  • [FLINK-15370] [1.10.0, 1.11.0] Configured write buffer manager actually not take effect in RocksDB's DBOptions 在 DBOptions 中设置 WriteBufferManager 的值不起作用。

https://issues.apache.org/jira/browse/FLINK-15370

  • [FLINK-15361] [1.9.1] ParquetTableSource should pass predicate in projectFields。

https://issues.apache.org/jira/browse/FLINK-15361

活动 / 博客文章 / 其他

  1. 社区钉钉群群直播——《基于 Apache Flink 的监控告警系统》,PPT 下载 & 直播视频回放地址:

https://ververica.cn/developers/flink-training-course3/

  1. 年度回顾 | 2019 年的 Apache Flink(文末有福利) 伍翀(云邪)

中文邮件问题/答疑汇总

  • StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema。

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-tp1347.html

  • 在 1.8 版本使用 yarn session 模式时是 1 个 Task Manager 一个 CPU,当切换到 1.9.1 时使用同样的启动命令发现一个 slot 使用一个 CPU。

http://apache-flink.147419.n8.nabble.com/slot-td1345.html

  • Flink 1.9 批任务 yn 和 ys 对任务的影响。

http://apache-flink.147419.n8.nabble.com/Flink1-9-yn-ys-tp1313.html

  • Flink SQL 1.9.0 如何创建 elasticsearch 动态索引表。

http://apache-flink.147419.n8.nabble.com/flink-sql-1-9-0-elasticsearch-tp1342.html

  • source 并行度不同导致任务没有数据落地。

http://apache-flink.147419.n8.nabble.com/source-tp1336.html

  • Flink 1.9 SQL Kafka Connector,Json format,how to deal with not json message。

http://apache-flink.147419.n8.nabble.com/Flink-1-9-SQL-Kafka-Connector-Json-format-how-to-deal-with-not-json-message-tp1335.html

  • Flink 实现 Kafka 到 MySQL 的 End-To-End Exactly-Once 中遇到的问题。

http://apache-flink.147419.n8.nabble.com/Flink-Kafka-Mysql-End-To-End-Exactly-Once-tp1321.html

  • Rewind offset to a previous position and ensure certainty。

http://apache-flink.147419.n8.nabble.com/Rewind-offset-to-a-previous-position-and-ensure-certainty-tp1324.html

  • 关于 Flink historyserver 没有 completed-jobs 的问题。

http://apache-flink.147419.n8.nabble.com/FLink-historyserver-completed-jobs-tp1320.html

  • Flink 维表关联,当维表更新后,如何将之前关联的数据进行更新。

http://apache-flink.147419.n8.nabble.com/flink-tp1322.html

  • The assigned slot was removed 分配好的 slot 突然就被 remove 了,导致作业重启。

http://apache-flink.147419.n8.nabble.com/The-assigned-slot-bae00218c818157649eb9e3c533b86af-11-was-removed-td1308.html

  • Flink Checkpoint 配置 HDFS 问题,如何配置高可用。

http://apache-flink.147419.n8.nabble.com/flink-checkpoint-hdfs-tp1318.html

  • 实现一个两阶段提交的 ETL,数据从 Kafka 到 MySQL,遇到的异常问题。

http://apache-flink.147419.n8.nabble.com/ETL-kafka-mysql-tp1317.html

  • using thin jar to replace fat jar on yarn cluster mode。

http://apache-flink.147419.n8.nabble.com/using-thin-jar-to-replace-fat-jar-on-yarn-cluster-mode-tp1293.html

  • 关于 Window Process Function 数据丢失问题。

http://apache-flink.147419.n8.nabble.com/Window-ProcessFunction-tp1311.html

  • 关于 Flink 窗口是否正确关闭的问题。

http://apache-flink.147419.n8.nabble.com/flink-tp1305.html

  • CEP 匹配乱序数据的问题。

http://apache-flink.147419.n8.nabble.com/CEP-tp1301.html

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

zhisheng,《Flink 实战与性能优化》专栏作者、之前负责监控平台实时告警研发,现专注于 Flink 开发,积极活跃于开源社区,擅长 Flink、Kafka、ElasticSearch、监控告警等。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
缓存 Android开发
Android - 手机下载的缓存视频在文件管理怎么找不到?
Android - 手机下载的缓存视频在文件管理怎么找不到?
3655 0
Android - 手机下载的缓存视频在文件管理怎么找不到?
|
7月前
|
弹性计算 负载均衡 网络协议
阿里云共享流量包到底是什么?用法 + 收费标准一次讲清
阿里云共享流量包是通用型流量抵扣套餐,支持自动抵扣ECS、EIP、CLB、共享带宽及IPv6网关等按量付费产品的公网IPv4/IPv6流量。无需配置,购买即生效,但需与云资源地域匹配。提供亚太/欧美全时及亚太闲时三种区域类型,规格覆盖10GB–10TB,最低4元/月起,性价比高。(239字)
1188 2
|
6月前
|
应用服务中间件
2026阿里云轻量服务器抄底价:2核2G配置秒杀38元/年!4核8G费用1159元起(不限流量)
2026阿里云轻量服务器官方页面:https://t.aliyun.com/U/PEdlFP 轻量新价出炉:2核2G低至38元/年(新用户秒杀),2核4G 199元/年,4核8G 1159元/年起;全系200M带宽+不限流量,性价比远超友商。新用户专享,抢购需趁早!
1073 15
|
7月前
|
JavaScript 芯片
三节串联锂电池充电芯片应用与PCB设计指南
PW4053A(异步)是一款5V输入,最大1.2A充电电流(是指电池端的电流,输出12.6V电池端的电压),支持三节锂电池的升压充电管理IC。PW4053A集成功率MOS采用异步开关架构,使其在应用时仅需极少的外围器件,可有效减少整体方案尺寸,降低BOM成本。PW4053A的升压开关充电转换器的工作频率为500KHz,转换率微90%。PW4053A啊呼入电压为5V,内置自适应环路,可智能调节充电电流大小,防止拉垮适配器输出,可匹配所有适配器。PW4053A提供SOP8-EP封装形式,工作温度额定范围为-40℃至85℃。
|
安全
WordPress好用的TinyMCE编辑器插件
果果TinyMCE编辑器基于TinyMCE深度开发,支持高级排版、表格、代码块、图片上传等功能,提升内容创作流畅度与专业性。功能包括兼容TinyMCE所有特性、支持文章与页面编辑、自定义配置、安全图片上传及媒体库支持。仅替换后台编辑器,不影响前台及其他页面。
424 0
|
机器学习/深度学习 人工智能 自然语言处理
Cosmos on PAI系列一:PAI-Model Gallery云上一键部署NVIDIA Cosmos Reason-1
本篇文章介绍 Cosmos 最新世界基础模型 Cosmos Reason-1 如何在阿里云人工智能平台 PAI 上进行快速部署使用。
|
11月前
|
人工智能 机器人 定位技术
隔壁火锅店天天排队,老板悄悄做了这件事?
成都火锅店两周营业额提升38%?秘诀是GEO优化!AI搜索时代,让店铺被推荐成“附近首选”。从信息标记到场景内容布局,三步打造AI推荐门店。别再等顾客找你,让AI把客流送到门口。
681 0
|
开发工具 Android开发 iOS开发
HarmonyOS实战:腾讯IM之聊天列表搭建(一)
本文详细介绍了在鸿蒙系统中实现腾讯IM聊天列表页面的过程。由于腾讯仅提供了接口而无现成UI,需自行开发。文章涵盖需求分析(如删除功能、时间排序、消息更新)、技术实现(展示会话列表、新增会话、删除会话)等内容,并附代码示例。最终实现了类似微信的聊天列表功能,建议点赞收藏以便后续参考。
589 5
HarmonyOS实战:腾讯IM之聊天列表搭建(一)
|
人工智能 运维 Prometheus
“服务器罢工前的预言术”:用AI预测系统状态真香指南
“服务器罢工前的预言术”:用AI预测系统状态真香指南
465 4
|
安全 Linux
阿里云linux服务器使用脚本通过安全组屏蔽异常海外访问ip
公网网站可能会遭受黑客攻击导致访问异常,使用此脚本可以屏蔽掉异常IP 恢复访问。也可自行设置定时任务定期检测屏蔽。
1042 28

热门文章

最新文章

相关产品

  • 实时计算 Flink版