Flink Weekly | 每周社区动态更新 - 20200318

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

大家好,本文为 Flink Weekly 的第九期,由沈磊(LakeShen)整理,主要内容包括:近期社区开发进展,邮件问题答疑以及 Flink 最新社区动态及本周社区直播内容、技术文章推荐。

Flink 开发进展

■ [Table API & SQL] Jingsong Li 发起 FLIP-115 的讨论,主要在 Flink Table 支持 FileSystem Connector,FLIP-115 主要内容包括:

在 Flink Table 中支持 FileSystem Table Factory,同时支持csv/parquet/orc/json/avro 格式。
支持在流应用或者 Flink On Hive 中数据输出。

更多信息请参考:

[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table
[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html

■ [RunTime / Configuration] Andrey 发起 FLIP-116 统一的 JobManager 的内存配置的讨论,在 FLIP-49中,我们针对 TaskManager 进行统一的内存管理和配置,在 Flink 1.10 版本中 release 该功能。为了让 JobManager 的内存模型和配置保持对齐,同时针对用户代码 native non-direct memory 的使用,在FLIP-116 中都进行了详细说明。更多信息请参考:

[3] https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors
[4] https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers
[5] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview

■ [Connectors / HBase] Flavio 发起了 FLIP-117 HBase Catalog的讨论,该 FLIP 主要讨论 HBaseCatalog 的实现。更多信息参考:

[6] https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog

[7] https://issues.apache.org/jira/browse/FLINK-16575

■ Yu Li 发起了 Releasing Flink 1.10.1 的相关讨论。

[8] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-10-1-td38689.html

■ 为了让大家了解到 Flink 1.11 的相关特性,Zhijiang 发起了 Flink 1.11 特性的讨论,大家有什么想法或者期待可以在下面邮件中进行相关回复。

[9] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-of-Apache-Flink-1-11-td38724.html#a38793

邮件问题答疑

■ shravan 社区提问:当 k8s 集群突然 down 掉时,如何优雅的通过 stop with savepoint 停止作业,Vijay 进行了解答。

[10] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Stop-job-with-savepoint-during-graceful-shutdown-on-a-k8s-cluster-td33626.html

■ Alexander 使用 Flink 1.10 ,对于 Mesos 容器内存配置方面遇到一些问题,Yangze Guo进行了详细解答。

[11] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-1-10-container-memory-configuration-with-Mesos-td33594.html

■ wanglei2 询问了在 Flink SQL 任务中,如何设置状态后端,以及在 SQL Client 中,维表 Join 任务没有运行问题。Jingsong Li 和 Zhenghua Gao 分别进行了详细的回答。

[12] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/How-to-set-stateBackEnd-in-flink-sql-program-td33590.html

[13] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/dimention-table-join-not-work-under-sql-client-fink-1-10-0-td33616.html

■ Yuval 提问了关于 Flink 如何从增量的 Checkpoint 状态回复的一些问题,Andrey 进行了详细的解答。

[14] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Restoring-state-from-an-incremental-RocksDB-checkpoint-td33630.html

■ Eyal 遇到了一些 Flink On Yarn 方面的日志打印配置问题,社区同学进行了解答。

[15] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Setting-app-Flink-logger-td33537.html

■ Flavio 在社区提问了关于 Alink 和 Flink ML 的问题,感兴趣的可以看一下。

[16] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html

■ LakeShen 询问了关于从 Checkppoint 状态文件恢复,是否能够改变算子的并发的问题。对于 Checkpoint 的状态文件,当任务从其开始恢复时,可以调整算法的并发度,只要不要修改算子最大的并发度就行。

[17] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Cancel-the-flink-task-and-restore-from-checkpoint-can-I-change-the-flink-operator-s-parallelism-td33613.html

■ karl 在社区提问了关于 Flink Session 窗口的状态 TTL 问题。

[18] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Session-Windows-State-TTL-td33349.html

活动 / 博客文章 / 其他

SQL 开发任务超 50%,滴滴实时计算的演进和优化

Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?

一行配置作业性能提升53%!Flink SQL 性能之旅

有赞实时任务优化:Flink Checkpoint 异常解析与应用实践

■ Flink 中文社区进行了【1.10 特别篇】系列直播:《PyFlink 架构、应用案例及未来规划》,由 Apache Flink PMC,阿里巴巴高级技术专家孙金城分享。

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

  1. 发送任意邮件到 user-zh-subscribe@flink.apache.org
  2. 收到官方确认邮件
  3. 回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

沈磊(LakeShen),目前在有赞负责实时平台、以及 Flink 相关开发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
3天前
|
存储 人工智能 安全
AI 越智能,数据越危险?
阿里云提供AI全栈安全能力,为客户构建全链路数据保护体系,让企业敢用、能用、放心用
|
6天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
5天前
|
数据采集 人工智能 自然语言处理
3分钟采集134篇AI文章!深度解析如何通过云无影AgentBay实现25倍并发 + LlamaIndex智能推荐
结合阿里云无影 AgentBay 云端并发采集与 LlamaIndex 智能分析,3分钟高效抓取134篇 AI Agent 文章,实现 AI 推荐、智能问答与知识沉淀,打造从数据获取到价值提炼的完整闭环。
401 93
|
6天前
|
SQL 人工智能 自然语言处理
Geo优化SOP标准化:于磊老师的“人性化Geo”体系如何助力企业获客提效46%
随着生成式AI的普及,Geo优化(Generative Engine Optimization)已成为企业获客的新战场。然而,缺乏标准化流程(Geo优化sop)导致优化效果参差不齐。本文将深入探讨Geo专家于磊老师提出的“人性化Geo”优化体系,并展示Geo优化sop标准化如何帮助企业实现获客效率提升46%的惊人效果,为企业在AI时代构建稳定的流量护城河。
399 156
Geo优化SOP标准化:于磊老师的“人性化Geo”体系如何助力企业获客提效46%
|
6天前
|
数据采集 缓存 数据可视化
Android 无侵入式数据采集:从手动埋点到字节码插桩的演进之路
本文深入探讨Android无侵入式埋点技术,通过AOP与字节码插桩(如ASM)实现数据采集自动化,彻底解耦业务代码与埋点逻辑。涵盖页面浏览、点击事件自动追踪及注解驱动的半自动化方案,提升数据质量与研发效率,助力团队迈向高效、稳定的智能化埋点体系。(238字)
289 158
|
14天前
|
机器人 API 调度
基于 DMS Dify+Notebook+Airflow 实现 Agent 的一站式开发
本文提出“DMS Dify + Notebook + Airflow”三位一体架构,解决 Dify 在代码执行与定时调度上的局限。通过 Notebook 扩展 Python 环境,Airflow实现任务调度,构建可扩展、可运维的企业级智能 Agent 系统,提升大模型应用的工程化能力。

相关产品

  • 实时计算 Flink版