|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
|

阿里云人工智能平台 PAI 开源 EasyDistill 框架助力大语言模型轻松瘦身

本文介绍了阿里云人工智能平台 PAI 推出的开源工具包 EasyDistill。随着大语言模型的复杂性和规模增长,它们面临计算需求和训练成本的障碍。知识蒸馏旨在不显著降低性能的前提下,将大模型转化为更小、更高效的版本以降低训练和推理成本。EasyDistill 框架简化了知识蒸馏过程,其具备多种功能模块,包括数据合成、基础和进阶蒸馏训练。通过数据合成,丰富训练集的多样性;基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化,从而提升小模型的性能。

583 7
来自: 人工智能平台PAI  版块
|
10月前
|
存储 分布式计算 流计算
|

实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎

本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。

3094 73
来自: 实时计算 Flink  版块
|
2月前
|
机器学习/深度学习 人工智能 算法
|

Post-Training on PAI (4):模型微调SFT、DPO、GRPO

阿里云人工智能平台 PAI 提供了完整的模型微调产品能力,支持 监督微调(SFT)、偏好对齐(DPO)、强化学习微调(GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级,分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。

534 3
来自: 人工智能平台PAI  版块
|
6月前
|
机器学习/深度学习 数据处理
|

大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究

本文分析了大规模Transformer架构(如LLama)中归一化技术的关键作用,重点探讨了LayerNorm被RMSNorm替代的原因。归一化通过调整数据量纲保持分布形态不变,提升计算稳定性和收敛速度。LayerNorm通过均值和方差归一化确保数值稳定,适用于序列模型;而RMSNorm仅使用均方根归一化,省略均值计算,降低计算成本并缓解梯度消失问题。RMSNorm在深层网络中表现出更高的训练稳定性和效率,为复杂模型性能提升做出重要贡献。

1088 14
|
7月前
|
机器学习/深度学习 存储 算法
|

DistilQwen2.5发布:通义千问蒸馏小模型再升级

为解决大语言模型在资源有限环境下的高计算成本和复杂性问题,阿里云推出了基于 Qwen2.5 的轻量化模型系列 DistilQwen2.5。该模型通过双层蒸馏框架、数据优化策略及参数融合技术,在保留性能的同时显著降低计算资源消耗。本文提供了详细的使用教程和代码示例,方便用户在 PAI 平台上调用。

986 7
来自: 人工智能平台PAI  版块
|
9月前
|
应用服务中间件 Linux 网络安全
|

nginx安装部署ssl证书,同时支持http与https方式访问

为了使HTTP服务支持HTTPS访问,需生成并安装SSL证书,并确保Nginx支持SSL模块。首先,在`/usr/local/nginx`目录下生成RSA密钥、证书申请文件及自签名证书。接着,确认Nginx已安装SSL模块,若未安装则重新编译Nginx加入该模块。最后,编辑`nginx.conf`配置文件,启用并配置HTTPS服务器部分,指定证书路径和监听端口(如20000),保存后重启Nginx完成部署。

2865 8
|
9月前
|
数据处理 数据安全/隐私保护 流计算
|

Flink 三种时间窗口、窗口处理函数使用及案例

Flink 是处理无界数据流的强大工具,提供了丰富的窗口机制。本文介绍了三种时间窗口(滚动窗口、滑动窗口和会话窗口)及其使用方法,包括时间窗口的概念、窗口处理函数的使用和实际案例。通过这些机制,可以灵活地对数据流进行分析和计算,满足不同的业务需求。

874 27
来自: 实时计算 Flink  版块
|
9月前
|
机器学习/深度学习 人工智能 算法
|

深入解析图神经网络:Graph Transformer的算法基础与工程实践

Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。

999 30
|
28天前
|
人工智能 自然语言处理 JavaScript
|

17种RAG实现方法大揭秘

RAG(检索增强生成)通过结合外部知识库与LLM生成能力,有效解决大模型知识滞后与幻觉问题。本文详解三类策略、17种实现方案,涵盖文档分块、检索排序与反馈机制,并提供工程选型指南,助力构建高效智能系统。

269 0
|
4月前
|
机器学习/深度学习 PyTorch API
|

PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践

本文深入探讨神经网络模型量化技术,重点讲解训练后量化(PTQ)与量化感知训练(QAT)两种主流方法。PTQ通过校准数据集确定量化参数,快速实现模型压缩,但精度损失较大;QAT在训练中引入伪量化操作,使模型适应低精度环境,显著提升量化后性能。文章结合PyTorch实现细节,介绍Eager模式、FX图模式及PyTorch 2导出量化等工具,并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略,包括逐通道量化、混合精度设置及目标硬件适配,助力高效部署深度学习模型。

524 21
|
5月前
|
机器学习/深度学习 数据采集 API
|

Python自动化解决滑块验证码的最佳实践

Python自动化解决滑块验证码的最佳实践

655 2
|
5月前
|
数据采集 存储 监控
|

Python 原生爬虫教程:网络爬虫的基本概念和认知

网络爬虫是一种自动抓取互联网信息的程序,广泛应用于搜索引擎、数据采集、新闻聚合和价格监控等领域。其工作流程包括 URL 调度、HTTP 请求、页面下载、解析、数据存储及新 URL 发现。Python 因其丰富的库(如 requests、BeautifulSoup、Scrapy)和简洁语法成为爬虫开发的首选语言。然而,在使用爬虫时需注意法律与道德问题,例如遵守 robots.txt 规则、控制请求频率以及合法使用数据,以确保爬虫技术健康有序发展。

672 31
|
6月前
|
人工智能 网络安全 开发工具
|

vscode代码推送到github库菜鸡专用教程

vscode代码推送到github库菜鸡专用教程

908 3
|
3月前
|
存储 自然语言处理 算法
|

RAG系统文本分块优化指南:9种实用策略让检索精度翻倍

本文深入探讨了RAG系统中的九种文本分块策略。固定大小分块简单高效,但可能破坏语义完整性;基于句子和语义的分块保留上下文,适合语义任务;递归与滑动窗口分块灵活控制大小;层次化和主题分块适用于结构化内容;特定模态分块处理多媒体文档;智能代理分块则通过大语言模型实现动态优化。开发者需根据文档类型、需求及资源选择合适策略,以提升RAG系统的性能和用户体验。作者Cornellius Yudha Wijaya详细分析了各策略的技术特点与应用场景。

504 1
|
5月前
|
人工智能 自然语言处理 运维
|

让搜索引擎“更懂你”:AI × Elasticsearch MCP Server 开源实战

本文介绍基于Model Context Protocol (MCP)标准的Elasticsearch MCP Server,它为AI助手(如Claude、Cursor等)提供与Elasticsearch数据源交互的能力。文章涵盖MCP概念、Elasticsearch MCP Server的功能特性及实际应用场景,例如数据探索、开发辅助。通过自然语言处理,用户无需掌握复杂查询语法即可操作Elasticsearch,显著降低使用门槛并提升效率。项目开源地址:<https://github.com/awesimon/elasticsearch-mcp>,欢迎体验与反馈。

1309 1
来自: 智能搜索推荐  版块
|
11月前
|
并行计算 PyTorch 编译器
|

pytorch 安装 + 搭配PyCharm

pytorch + pycharm

2121 1
|
11月前
|
机器学习/深度学习 自然语言处理 前端开发
|

前端大模型入门:Transformer.js 和 Xenova-引领浏览器端的机器学习变革

除了调用API接口使用Transformer技术,你是否想过在浏览器中运行大模型?Xenova团队推出的Transformer.js,基于JavaScript,让开发者能在浏览器中本地加载和执行预训练模型,无需依赖服务器。该库利用WebAssembly和WebGPU技术,大幅提升性能,尤其适合隐私保护、离线应用和低延迟交互场景。无论是NLP任务还是实时文本生成,Transformer.js都提供了强大支持,成为构建浏览器AI应用的核心工具。

1872 1
|
2月前
|
存储 人工智能 前端开发
|

从零构建智能对话助手:LangGraph + ReAct 实现具备记忆功能的 AI 智能体

本文系统介绍了基于 LangGraph 框架构建具备记忆能力的 ReAct(Reasoning + Action)智能体的技术实现方法。ReAct 智能体结合语言模型的推理能力与外部工具的执行能力,通过“思考-行动-观察”循环机制,实现复杂任务的自主处理。文章详细讲解了 LangGraph 的图结构设计、状态管理、工具集成与记忆系统等关键技术,并通过代码示例演示了从基础工作流到高级智能体系统的构建过程。最终实现的智能体具备多轮对话、工具调用、结果反馈与上下文记忆能力,为开发下一代智能应用提供了技术基础。

317 1
|
2月前
|
传感器 算法 数据挖掘
|

Python时间序列平滑技术完全指南:6种主流方法原理与实战应用

时间序列数据分析中,噪声干扰普遍存在,影响趋势提取。本文系统解析六种常用平滑技术——移动平均、EMA、Savitzky-Golay滤波器、LOESS回归、高斯滤波与卡尔曼滤波,从原理、参数配置、适用场景及优缺点多角度对比,并引入RPR指标量化平滑效果,助力方法选择与优化。

341 0
|
3月前
|
存储 传感器 安全
|

数据不是“铁打的”,从出生到销毁它也有生命周期

数据不是“铁打的”,从出生到销毁它也有生命周期

162 1
|
6月前
|
SQL 存储 人工智能
|

Apache Flink 2.0.0: 实时数据处理的新纪元

Apache Flink 2.0.0 正式发布!这是自 Flink 1.0 发布九年以来的首次重大更新,凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能,优化云原生环境下的资源利用与性能表现,并强化了对人工智能工作流的支持。同时,Flink 2.0 对 API 和配置进行了全面清理,移除了过时组件,为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出,共同推动实时计算进入新纪元!

731 1
来自: 实时计算 Flink  版块
|
6月前
|
数据采集 存储 SQL
|

从零开始搭建大数据平台:屌丝逆袭指南

从零开始搭建大数据平台:屌丝逆袭指南

454 1
|
7月前
|
JSON API 开发者
|

闲鱼商品详情API接口(闲鱼API系列)

闲鱼商品详情API为开发者提供便捷、高效且合规的途径,获取闲鱼平台上特定商品的详细信息,如标题、价格、描述和图片等。该接口采用GET请求方式,需传入app_key、item_id、timestamp和sign等参数,返回JSON格式数据。示例代码展示了如何使用Python调用此API,包括生成签名和处理响应。开发者需替换实际的app_key、app_secret和商品ID,并关注官方文档以确保接口使用的准确性。

2449 1
|
9月前
|
数据可视化 架构师 数据管理
|

DataWorks Data Studio 数据开发

Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台,兼容阿里云多项计算服务,提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成,Data Studio还支持丰富多样的插件生态,实现了实时离线一体化、湖仓一体化、大数据AI一体化,助力“Data+AI”全生命周期的数据管理。

5731 56
|
9月前
|
视频直播 UED
|

体育动画直播,观赛的新潮流

体育动画直播利用动画技术和实时数据,生动呈现比赛进程,增强观众参与感。篮球、足球及电竞赛事中,通过动画展示球员轨迹和比赛数据,使观众更直观了解比赛进展。熊猫比分推出的最新版体育动画直播产品,界面可高度定制,支持动画UI和品牌LOGO自定义,云传输技术确保比赛进度领先视频直播,极大提升用户体验。

460 1
|
10月前
|
移动开发 编解码 前端开发
|

摸鱼必备-80款在线HTML小游戏

本文推荐了80款精彩的HTML5在线小游戏,涵盖益智、冒险、射击、体育等多种类型,适合各年龄段玩家。无需下载安装,随时随地畅玩。地址:[https://game.share888.top/](https://game.share888.top/)

2119 7
ly~
|
11月前
|
消息中间件 存储 数据库连接
|

RocketMQ 消息的重试机制是怎样的?

RocketMQ的消息重试机制确保消息消费失败时能自动重试,直至成功。默认重试16次,时间间隔逐次翻倍,从10秒至数分钟不等。重试在同组内不同消费者间进行,由异常抛出或特定状态返回触发。支持自定义重试次数与时间间隔,建议合理配置避免无限重试,保障系统稳定性和性能。

3187 2
|
2月前
|
消息中间件 人工智能 资源调度
|

云上AI推理平台全掌握 (5):大模型异步推理服务

针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。

217 0
来自: 人工智能平台PAI  版块
|
3月前
|
机器学习/深度学习 人工智能 分布式计算
|

Post-Training on PAI (1):一文览尽开源强化学习框架在PAI平台的应用

Post-Training(即模型后训练)作为大模型落地的重要一环,能显著优化模型性能,适配特定领域需求。相比于 Pre-Training(即模型预训练),Post-Training 阶段对计算资源和数据资源需求更小,更易迭代,因此备受推崇。近期,我们将体系化地分享基于阿里云人工智能平台 PAI 在强化学习、模型蒸馏、数据预处理、SFT等方向的技术实践,旨在清晰地展现 PAI 在 Post-Training 各个环节的产品能力和使用方法,欢迎大家随时交流探讨。

322 4
来自: 人工智能平台PAI  版块
|
4月前
|
Java 数据库 Docker
|

基于neo4j数据库和dify大模型框架的rag模型搭建

基于neo4j数据库和dify大模型框架的rag模型搭建

920 35
|
5月前
|
供应链 测试技术
|

产品工作流程 - AxureMost

本文介绍了产品工作流程中的IPD(集成产品开发)流程,强调产品经理对整个产品过程的管控。IPD流程包含六个主要阶段:概念、计划、开发、验证、发布和生命周期管理,每个阶段都有明确目标、活动及决策评审点(DRP),以确保项目按目标推进并适应市场变化,提升产品开发成功率与市场响应速度。

228 0
|
6月前
|
存储 人工智能 算法
|

通过Milvus内置Sparse-BM25算法进行全文检索并将混合检索应用于RAG系统

阿里云向量检索服务Milvus 2.5版本在全文检索、关键词匹配以及混合检索(Hybrid Search)方面实现了显著的增强,在多模态检索、RAG等多场景中检索结果能够兼顾召回率与精确性。本文将详细介绍如何利用 Milvus 2.5 版本实现这些功能,并阐述其在RAG 应用的 Retrieve 阶段的最佳实践。

1286 1
|
6月前
|
存储 分布式计算 负载均衡
|

数据分布式存储:在海量数据面前,我们如何站稳脚跟?

数据分布式存储:在海量数据面前,我们如何站稳脚跟?

866 1
|
7月前
|
存储 机器学习/深度学习 数据挖掘
|

数据湖与数据仓库:初学者的指南

数据湖与数据仓库:初学者的指南

367 4
|
9月前
|
Cloud Native Apache 流计算
|

资料合集|Flink Forward Asia 2024 上海站

Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。

8299 18
来自: 实时计算 Flink  版块
|
4月前
|
传感器 人工智能 自然语言处理
|

火热邀测!DataWorks数据集成支持大模型AI处理

阿里云DataWorks数据集成新增大模型AI处理功能,支持在数据同步中无缝调用通义千问等AI模型,实现文本翻译、情感分析、摘要生成等功能。适用于电商客服、智能汽车、供应链、医疗、金融、法律及教育等多个场景,大幅提升数据处理效率与洞察深度。用户可通过自然语言配置,快速完成高级数据分析与处理,无需额外部署调试。立即申请测试资格,体验智能化数据处理!

869 4
|
6月前
|
数据安全/隐私保护 UED iOS开发
|

Figma桌面客户端下载教程+协作设计入门,小白也能变大神

Figma 是全球领先的云端UI/UX设计工具,支持多人实时协作、矢量图形编辑与原型交互设计。其核心优势包括跨平台同步、团队协作(支持50+成员同时编辑)和丰富的资源生态(集成2000+免费插件)。Figma无需安装,通过浏览器访问官网即可使用。硬件要求最低为4GB内存和5Mbps宽带,推荐配置为8GB+内存和50Mbps+宽带。用户可通过创建团队空间邀请成员,支持邮箱邀请和链接分享。Figma还提供详细的官方学习资源,帮助用户掌握核心功能。

667 2
|
7月前
|
自然语言处理 搜索推荐 小程序
|

微信公众号接口:解锁公众号开发的无限可能

微信公众号接口是微信官方提供的API,支持开发者通过编程与公众号交互,实现自动回复、消息管理、用户管理和数据分析等功能。本文深入探讨接口的定义、类型、优势及应用场景,如智能客服、内容分发、电商闭环等,并介绍开发流程和工具,帮助运营者提升用户体验和效率。未来,随着微信生态的发展,公众号接口将带来更多机遇,如小程序融合、AI应用等。

732 1
|
11月前
|
Java Apache Maven
|

将word文档转换成pdf文件方法

在Java中,将Word文档转换为PDF文件可采用多种方法:1) 使用Apache POI和iText库,适合处理基本转换需求;2) Aspose.Words for Java,提供更高级的功能和性能;3) 利用LibreOffice命令行工具,适用于需要开源解决方案的场景。每种方法都有其适用范围,可根据具体需求选择。

1162 2
|
12月前
|
自然语言处理 数据可视化 API
|

优化采样参数提升大语言模型响应质量:深入分析温度、top_p、top_k和min_p的随机解码策略

本文详细解析了大语言模型(LLM)的采样策略及其关键参数,如温度和top_p。LLM基于输入提示生成下一个标记的概率分布,通过采样策略选择标记并附回输入,形成循环。文章介绍了对数概率(logprobs)、贪婪解码、温度参数调整、top-k与top-p采样等概念,并探讨了min-p采样这一新方法。通过调整这些参数,可以优化LLM输出的质量和创造性。最后,文章提供了实验性尝试的建议,帮助读者在特定任务中找到最佳参数配置。本文使用VLLM作为推理引擎,展示了Phi-3.5-mini-instruct模型的应用实例。

696 6
|
21天前
|
编解码 文字识别 自然语言处理
|

Dots.ocr:告别复杂多模块架构,1.7B参数单一模型统一处理所有OCR任务22

Dots.ocr 是一款仅1.7B参数的视觉语言模型,正在重塑文档处理技术。它将布局检测、文本识别、阅读顺序理解和数学公式解析等任务统一于单一架构,突破传统OCR多模块流水线的限制。在多项基准测试中,其表现超越大参数模型,展现出“小而精”的实用价值,标志着OCR技术向高效、统一、灵活方向演进。

138 0
|
3月前
|
人工智能 自然语言处理 算法
|

AI时代如何让大模型「读懂」企业数据?——从“单一问数”到“复杂决策”的智能跃迁

从早期的传统BI,到敏捷BI,再到智能BI,BI工具正逐步进化为具备类人推理能力的数字助手。Gartner预测,到2025年,增强型消费者体验将首次推动增强型BI(ABI)能力的采用率超过50%,这将深刻重塑企业的业务流程与决策模式,“人人都是数据消费者”的时代正加速到来。

346 1
|
5月前
|
人工智能 自然语言处理 搜索推荐
|

阿里云 AI 搜索开放平台新功能发布:大模型联网能力上线

阿里云 AI 搜索开放平台此次新增了大模型联网能力,通过集成大语言模型(LLM)和联网搜索技术,为用户提供更智能、更全面的搜索体验。

1029 27
来自: 智能搜索推荐  版块
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
|

多模态AI核心技术:CLIP与SigLIP技术原理与应用进展

近年来,多模态表示学习在人工智能领域取得显著进展,CLIP和SigLIP成为里程碑式模型。CLIP由OpenAI提出,通过对比学习对齐图像与文本嵌入空间,具备强大零样本学习能力;SigLIP由Google开发,采用sigmoid损失函数优化训练效率与可扩展性。两者推动了多模态大型语言模型(MLLMs)的发展,如LLaVA、BLIP-2和Flamingo等,实现了视觉问答、图像描述生成等复杂任务。这些模型不仅拓展了理论边界,还为医疗、教育等领域释放技术潜力,标志着多模态智能系统的重要进步。

774 13
|
6月前
|
关系型数据库 MySQL 数据库
|

基于Flink CDC 开发,支持Web-UI的实时KingBase 连接器,三大模式无缝切换,效率翻倍!

TIS 是一款基于Web-UI的开源大数据集成工具,通过与人大金仓Kingbase的深度整合,提供高效、灵活的实时数据集成方案。它支持增量数据监听和实时写入,兼容MySQL、PostgreSQL和Oracle模式,无需编写复杂脚本,操作简单直观,特别适合非专业开发人员使用。TIS率先实现了Kingbase CDC连接器的整合,成为业界首个开箱即用的Kingbase CDC数据同步解决方案,助力企业数字化转型。

990 5
|
9月前
|
算法 数据处理 Python
|

高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用

Savitzky-Golay滤波器是一种基于局部多项式回归的数字滤波器,广泛应用于信号处理领域。它通过线性最小二乘法拟合低阶多项式到滑动窗口中的数据点,在降噪的同时保持信号的关键特征,如峰值和谷值。本文介绍了该滤波器的原理、实现及应用,展示了其在Python中的具体实现,并分析了不同参数对滤波效果的影响。适合需要保持信号特征的应用场景。

858 11
|
19天前
|
人工智能 自然语言处理 安全
|

Milvus x n8n :自动化拆解Github文档,零代码构建领域知识智能问答

本文介绍了在构建特定技术领域问答机器人时面临的四大挑战:知识滞后性、信息幻觉、领域术语理解不足和知识库维护成本高。通过结合Milvus向量数据库和n8n低代码平台,提出了一种高效的解决方案。该方案利用Milvus的高性能向量检索和n8n的工作流编排能力,构建了一个可自动更新、精准回答技术问题的智能问答系统,并介绍了部署过程中的可观测性和安全性实现方法。

133 0
|
2月前
|
数据采集 人工智能 算法
|

“脏”数据毁一生?教你用大数据清洗术,给数据洗个“澡”!

“脏”数据毁一生?教你用大数据清洗术,给数据洗个“澡”!

258 4
|
3月前
|
前端开发 Java 数据库连接
|

一个完整 Java 项目常包含的各层次详解与全面解析

本内容介绍了Java项目的典型分层架构,涵盖开放接口层、终端显示层、Web层、Service层、Manager层、Mapper层及常用辅助层次,如实体层、DTO层、VO层等。通过合理划分各层职责,结合Spring Boot等框架,实现系统的高内聚、低耦合,提升可维护性与扩展性,适用于微服务与MVC架构设计。

317 0
|
4月前
|
SQL 关系型数据库 MySQL
|

Flink CDC 3.4 发布, 优化高频 DDL 处理,支持 Batch 模式,新增 Iceberg 支持

Apache Flink CDC 3.4.0 版本正式发布!经过4个月的开发,此版本强化了对高频表结构变更的支持,新增 batch 执行模式和 Apache Iceberg Sink 连接器,可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交,优化了 MySQL、MongoDB 等连接器,并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈!

741 1
来自: 实时计算 Flink  版块