Apache Flink 1.10.0 发布 | 云原生生态周报 Vol. 38

本文涉及的产品
云原生网关 MSE Higress,422元/月
可观测监控 Prometheus 版,每月50GB免费额度
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 一周云原生生态周报概览。

周报38.png

作者 | 徐迪、陈俊、敖小剑、宋进超

业界要闻

  1. Apache Flink 1.10.0 发布

作为 Flink 社区迄今为止规模最大的一次版本升级,Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现,包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成(beta 版本)以及对 Python 支持(PyFlink)的重大优化。

  1. Linkerd 2.7 发布 

此版本以安全为主题,主要更新亮点包括增加了将 Linkerd 的交叉 TLS 基础与外部证书发行商(如 Vault、cert-manager)集成的支持,改进了 GitOps 工作流,并使其易于自动轮换 TLS 凭据;还改进了 dashboard 的性能,提高了 Helm 图表的可用性。

上游重要进展

Kubernets

  1. 1.18 分支本周二正式创建了,code freeze 在 3 月 5 号;
  2. graduate PodTopologySpread to beta

feature gate PodTopologySpread 升级到 beta 版本。

  1. Provide OIDC discovery for service account token issuer

引入了新的 token issuer,符合 OIDC(OpenID Connect) 标准的都可以用来做 token issuer。

  1. Set up connection onClose prior to adding to connection map

主要为了解决 kubelet 证书 rotate 过程中出现的 crash。

  1. register queue metrics in controller manager

可以查看 controller manager 中的 work queue metrics。

  1. Add events to PV when mount fails on filesystem mismatch

kubelet 无法 mount filesystem 时候上报 event。

  1. apps/StatefulSets: Garbage collector should be able to orphan ControllerRevisions too

允许 GC 清理 ControllerRevisions,避免进入一个无法删除的 loop。

  1. 从 1.18 版本开始 pause 镜像从 3.1 升级到 3.2

使用 docker buildx 进行 cross build

Istio

  1. 支持集群本地服务

在多集群中,有些服务本质上是集群本地的,不应该从其他集群访问,因此需要支持Mesh的运维人员有选择的决定是否将单个服务合并到多集群Mesh中。

  1. 遵守 Kubernetes 的服务拓扑

Kubernetes 在 1.17 版本中推出了 Service Topology 的 alpha 版本,在之前 Service 的基础上扩展支持了 zone 和 region 标签,并容许任意拓扑,这个特性要求开启 EndpointSlice。Istio中需要计划对其提供支持,实现更丰富的区域路由和负载均衡能力。

  1. 正在规划中的 Istio 2020年 Roadmap
  • 安装:控制平面合并为 istiod,支持单个 mesh 中的多个控制平面(用于控制平面升级),支持在 Kubernetes 之外存储 istio 的配置数据,支持 K8s 和虚拟机上的现有应用不停机地移到 istio;
  • 多集群:支持单一网络/多网络,支持单一控制平面/多控制平面;
  • 虚拟机支持:重构 service entry 为 workload entry;
  • 服务发现:支持 consul / Lambda / Azure functions / Zookeeper;
  • 可扩展性方面:弃用 Mixer v1,支持 WASM 扩展 Envoy,实现 Mixer 中的 Policy 和 Tlemetry;
  • 运维:新的 traffic management API;支持 K8s Ingress v2,支持使用 WASM 扩展 Istio;
  • 安全:增加 Istio Agent;支持使用 SDS 扩展运行于虚拟机上的 Mesh;使用 SPIFFE trust bundle 的 Mesh 联邦。
  1. 同样规划的 Istio 2020 年 Release 计划,原则上每三个月进行一个版本发布:
  • Istio 1.5:预计 2 月 18 日,但目前已经延迟,改为 3 月 5 日
  • Istio 1.6:预计 5 月 19 日
  • Istio 1.7:预计 8 月 18 日
  • Istio 1.8:预计 11 月 15 日
  1. Istio准备弃用 Mixer

Mixer 将在 Istio 1.5 中标记为 deprecated;计划在 Istio 1.7 (预计在 2020 年 8 月份发布)中删除,Mixer 的代码将被移动到 Istio-ecosystem。新的 Mixer V2 方案正在开发中,Mixer 原有的功能将被移到 Envoy 中,以 WASM 的形式进行扩展。

开源项目推荐

  1. Spring Cloud Kubernetes

方便 spring cloud 对接跑在 Kubernetes 中的 spring boot 应用。

本周阅读推荐

  1. 《为什么要在虚拟机里运行 Kubernetes?》

列举了 13 点在裸金属里运行 Kubernetes 的劣势。

  1. 《Service Mesh Ultimate Guide: Managing Service-to-Service Communications in the Era of Microservices》

对 Service Mesh 生态当前概况的整体解读。

阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的技术圈。”

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
1月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
398 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
4月前
|
资源调度 Kubernetes 流计算
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享,围绕Flink On K8S的实践展开。内容涵盖五个部分:背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战,包括资源池统一、环境一致性改进及隔离性提升,并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外,还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向,为Flink云原生化提供了全面的技术参考。
235 9
Flink在B站的大规模云原生实践
|
5月前
|
资源调度 Kubernetes 调度
网易游戏 Flink 云原生实践
本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验,从Yarn到K8s云原生,再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案,包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构,网易游戏显著提升了资源利用率,降低了30%机器成本,小作业计算成本下降40%,并为未来性能优化、流批一体及智能运维奠定了基础。
267 9
网易游戏 Flink 云原生实践
|
7月前
|
SQL 存储 人工智能
Apache Flink 2.0.0: 实时数据处理的新纪元
Apache Flink 2.0.0 正式发布!这是自 Flink 1.0 发布九年以来的首次重大更新,凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能,优化云原生环境下的资源利用与性能表现,并强化了对人工智能工作流的支持。同时,Flink 2.0 对 API 和配置进行了全面清理,移除了过时组件,为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出,共同推动实时计算进入新纪元!
846 1
Apache Flink 2.0.0: 实时数据处理的新纪元
|
10月前
|
存储 SQL 人工智能
Apache Flink 2.0:Streaming into the Future
本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向:Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成,以及 Flink 在 AI 领域的应用。
1302 13
Apache Flink 2.0:Streaming into the Future
|
7月前
|
存储 大数据 数据处理
您有一份 Apache Flink 社区年度报告请查收~
您有一份 Apache Flink 社区年度报告请查收~
|
10月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
695 33
The Past, Present and Future of Apache Flink
|
12月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
1506 13
Apache Flink 2.0-preview released

热门文章

最新文章

推荐镜像

更多