Flink Weekly | 每周社区动态更新 - 20200114

简介: 本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

大家好,本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

Flink 开发进展

[Release] 社区仍在测试和修复 Flink 1.10 的错误。您可以在发布燃尽板上进行操作。估计第一个 RC 版本很快就来了 。

https://issues.apache.org/jira/secure/RapidBoard.jspa?rapidView=349&projectKey=FLINK

[SQL] Bowen 建议在 Table API 中添加 JDBC 和 Postgres Catalog API。这样,Flink 可以自动创建关系数据库中对应的表。目前,用户需要手动在 Flink 上创建相应的表(包括 schema)。

https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+JDBC+catalog+and+Postgres+catalog

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-92-JDBC-catalog-and-Postgres-catalog-tp36505.html

[configuration] Xintong 建议更改 Flink 内存配置的一些默认值(FLIP-49),并正在寻求反馈 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Tuning-FLIP-49-configuration-default-values-td36528.html

[datastream api] Congxian 建议统一从 statebackends 向 AppendingState 添加“空(null)” 值的处理。建议的原因是使所有 statebackends 拒绝“空(null)”值。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Make-AppendingState-add-refuse-to-add-null-element-tp36493.html

需要注意的一些缺陷

由于在发布测试,因此有很多活动,但是对于已经发布的版本,没有发现任何新的显著错误。

活动 / 博客文章 / 其他

Flink Forward 旧金山的演讲邀请即将结束,但是您仍然有机会将演讲提交给该演讲者(可能只有)北美的 Apache Flink 社区会议。如有疑问或如果您不确定是否要提交参与,请随时与 Konstantin 联系。

https://www.flink-forward.org/sf-2020

[即将举行的聚会] 1月18日,Preetdeep Kumar 将分享一些基本的 Flink DataStream processing API,然后进行动手演示。这将是在线活动。在会议链接中可以查看更多详细信息。

https://www.meetup.com/Hyderabad-Apache-Flink-Meetup-Group/events/267610014/

1月22日 Konstantin 的同事 Alexander Fedulov 将在马德里的 Apache Flink 聚会上使 Flink 进行欺诈检测。

https://www.meetup.com/Meetup-de-Apache-Flink-en-Madrid/events/267744681/

中文邮件问题答疑汇总

  • Flink 的 savepoint 为什么要设置成手动的?的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-savepoint-checkpoint-td1229.html

  • Flink 消费 Kafka 没有数据问题的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-Kafka-td1461.html

  • 关于 Flink 集群中调用 dubbo 服务的咨询:

http://apache-flink.147419.n8.nabble.com/flink-dubbo-td1467.html

  • 关于 Flink Plan Visualizer 什么时候会更新成1.9的样式的问题,tison 已经抄送给 Flink WebUI 重构的 Manager:

http://apache-flink.147419.n8.nabble.com/Flink-Plan-Visualizer-1-9-td1404.html#a1429

  • Flink 的每条数据既然都做了 checkpoint,做成全局分布式一致性快照,那还需要本地 state干啥呢?的问题解答:

http://apache-flink.147419.n8.nabble.com/checkpoint-state-td1122.html

  • 关于 Flink 遇到 valueState 自身的 NPE 的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-valueState-NPE-td1447.html#a1459

  • 关于流处理任务失败该如何追回之前的数据的问题解答:

http://apache-flink.147419.n8.nabble.com/-td1016.html

  • 关于 Flink 是否可以通过代码设置 hadoop 的配置文件目录的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-hadoop-td1445.html

  • 关于 Flink 算子状态查看的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-td1441.html

  • 关于疑似 ParquetTableSource Filter Pushdown bug 的问题解答:

http://apache-flink.147419.n8.nabble.com/Re-ParquetTableSource-Filter-Pushdown-bug-tt1439.html

  • 关于 Flink 1.10 版本连接 hive 报错的问题解答:

http://apache-flink.147419.n8.nabble.com/flink1-10-hive-tt336.html

  • 关于 Flink 不同 StateBackend ProcessWindowFunction 的差别的问题解答:

http://apache-flink.147419.n8.nabble.com/FLINK-StateBackend-ProcessWindowFunction-tt1418.html#a1419

  • 关于 Jobgraph 生成的问题解答:

http://apache-flink.147419.n8.nabble.com/Re-jobgraph-tt1426.html

  • 关于注册 table 时 catalog 无法变更的问题解答:

http://apache-flink.147419.n8.nabble.com/table-catalog-tt1417.html#a1425

  • 关于 Flink sql confluent schema avro topic 注册成表的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-sql-confluent-schema-avro-topic-tt1264.html

  • 使用 Flink SQL 时,碰到的【Window can only be defined over a time attribute column】的问题解答:

http://apache-flink.147419.n8.nabble.com/Flink-SQL-Window-can-only-be-defined-over-a-time-attribute-column-tt1407.html

  • 关于如何获取算子处理一条数据记录的时间的问题解答:

http://apache-flink.147419.n8.nabble.com/-tt1357.html#a1412

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
9天前
|
存储 弹性计算 缓存
阿里云服务器租赁费用:新版租赁收费标准及活动报价参考
本文更新了2026年阿里云全系列云服务器租赁活动报价,所有特惠资源均可前往阿里云活动中心选购,整体覆盖从个人入门到企业级高性能场景的全梯度需求。其中轻量应用服务器主打极致性价比,2核2G峰值200M带宽配置每日10点、15点限时抢购价仅38元/年,2核4G配置379元/年起;高性价比的经济型e实例、通用算力型u2i实例覆盖2核4G至4核32G全档位,适配开发测试与中小型企业业务;搭载英特尔至强6处理器的第九代c9i企业级实例算力较上代提升20%,支撑高并发生产环境,不同实例规格价差清晰,用户可根据自身业务负载与预算灵活选型。
1912 119
阿里云服务器租赁费用:新版租赁收费标准及活动报价参考
|
10天前
|
人工智能 程序员 API
Codex 接入 DeepSeek-V4-Flash:还能补上识图,提供两套方案
Codex 接入 DeepSeek-V4-Flash 怎么配?本文覆盖 CLI 与桌面端,再用 qwen3-vl-flash 补识图,两套方案可直接照做
1467 13
|
16天前
|
云安全 人工智能 运维
阿里云联动百位企业安全专家,共识Agent防御最佳实践
当Agent成为新员工,你的安全边界在哪里?
1969 10
阿里云联动百位企业安全专家,共识Agent防御最佳实践
|
7天前
|
编解码 弹性计算 云计算
MiniMax-H3 视频生成模型 — 一键部署与使用指南
MiniMax-H3是MiniMax开源的33B全模态视频生成模型,支持文生视频、图生视频、参考生视频三种模式,原生输出2K/15秒带立体声音频视频,已原生适配ComfyUI,并可通过阿里云计算巢一键部署。(239字)
|
10天前
|
人工智能 JSON Shell
2026AI漫剧本地全开源方案(附各个软件模型链接),8G显卡也能流畅运行
这是一套完全本地化部署的AI漫剧生成技术链路:涵盖LLM剧本分镜生成、FLUX文生图(IP-Adapter人脸锁定)、StoryDiffusion时序连贯控制、LTX-2.3唇形同步视频生成,及ComfyUI全流程调度。零云端费用,仅耗硬件算力,单集2–4小时可产出竖屏短视频,适配抖音/B站分发。
|
8天前
|
人工智能 API 开发工具
2026 零基础本地 AI 漫剧完整实操教程(8G 笔记本显卡可用|附可直接复制命令与代码)
本方案提供完全离线、本地运行的漫剧全自动制作流程:RTX3060/4050 8G显卡即可驱动,涵盖Qwen写分镜→ComfyUI统一角色绘图→LTX2.3图生微动画→Qwen3-TTS本地配音→FFmpeg自动合成,全程无水印、免API、不限次。专为低显存优化,解决变脸、闪烁、爆内存三大痛点。(239字)
|
22天前
|
人工智能 前端开发 Linux
Codex 桌面版安装 + CC Switch 接入第三方 API 完整教程(2026 最新)
2026最新教程:手把手教你安装Codex桌面版,通过CC Switch v3.17.0一键接入Fenno等国产API(兼容OpenAI Responses格式),跳过账号登录,完整启用代码审查、多步任务与上下文感知功能。零基础友好,全程图文实操。(239字)
3447 5
|
10天前
|
编解码 人工智能 安全
2核4G/4核8G/8核16G阿里云服务器如何选择实例?经济型e、通用算力型u2i与计算型c9i选哪个?
本文介绍了阿里云2核4G、4核8G、8核16G三档主流配置下经济型e、通用算力型u2i和计算型c9i三种实例的最新活动价格与适用场景。同配置下三者价差显著,以2核4G为例,经济型e低至599.93元/年,计算型c9i则高达1742.08元/年。文章详细解析了各实例的性能定位:经济型e适合轻负载入门场景,u2i兼顾稳定算力与性价比,c9i凭借第9代至强处理器与芯片级安全能力支撑高性能业务。同时提示用户可叠加满减优惠券享受折上折,建议根据业务负载与预算综合决策。
555 113

相关产品

  • 实时计算 Flink版