开发者社区> 大数据与机器学习> 实时计算 Flink

实时计算 Flink

关注

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

1
今日
22626
内容
32
活动
200561
关注
|
SQL 关系型数据库 MySQL
|

Flink CDC 数据源问题之重复数据如何解决

Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

378 0
|
Oracle 关系型数据库 MySQL
|

Flink CDC之数据源调优如何解决

Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

140 1
|
存储 SQL 数据库
|

Flink CDC 数据源问题之数值不匹配如何解决

Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

200 1
|
供应链 流计算
|

飞鹤基于阿里云实时计算Flink构建数字化运营管理体系

飞鹤借助实时计算Flink等产品,构建数字化运营管理体系,建立实时预警机制,提前窥探风险,为供应链等业务决策提效。

948 0
|
关系型数据库 MySQL Java
|

Flink cdc报错问题之线程不够报错如何解决

Flink CDC报错指的是使用Apache Flink的Change Data Capture(CDC)组件时遇到的错误和异常;本合集将汇总Flink CDC常见的报错情况,并提供相应的诊断和解决方法,帮助用户快速恢复数据处理任务的正常运行。

419 0
|
SQL Oracle 关系型数据库
|

Flink cdc报错问题之时区报错如何解决

Flink CDC报错指的是使用Apache Flink的Change Data Capture(CDC)组件时遇到的错误和异常;本合集将汇总Flink CDC常见的报错情况,并提供相应的诊断和解决方法,帮助用户快速恢复数据处理任务的正常运行。

676 0
|
存储 消息中间件 Kafka
|

流式湖仓增强,Hologres + Flink 构建企业级实时数仓

2023 年 12 月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓 Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。

121076 107
|
关系型数据库 MySQL 数据库
|

使用Flink同步MySQL到doris数据库中,时间格式异常

当我完成同步时,我发现Doris数据库中的所有时间格式都变为了如此:1970-02-01 11:00:00.000000,在所有时间格式后面追加了一个点和6个零,这是怎样造成的,该如何解决这个问题

801 1
|
SQL 存储 关系型数据库
|

Apache Flink 和 Paimon 在自如数据集成场景中的使用

自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做数据集成的一些探索实践。

1168 1
|
存储 消息中间件 缓存
|

读Flink源码谈设计:有效管理内存之道

在最初接触到Flink时,是来自于业界里一些头部玩家的分享——大家会用其来处理海量数据。在这种场景下,`如何避免JVM GC带来StopTheWorld带来的副作用`这样的问题一直盘绕在我心头。直到用了Flink以后,阅读了相关的源码(以1.14.0为基准),终于有了一些答案。在这篇文章里也是会分享给大家。

656 1
|
存储 SQL API
|

读Flink源码谈设计:流批一体的实现与现状

在Dataflow相关的论文发表前,大家都往往认为需要两套API来实现流计算和批计算,典型的实现便是Lambda架构。

692 0
|
大数据 流计算
|

掌阅科技基于阿里云实时计算Flink构建数据基建平台

掌阅科技专注于数字阅读,是全球领先的数字阅读平台之一。基于数字阅读平台的海量用户,掌阅通过阿里云实时计算Flink等大数据计算和分析服务,搭建商业化、用户增长、推荐服务等数据基建平台,实现商业化增值与用户阅读体验的结合。

828 1
|
SQL DataWorks 关系型数据库
|

Next Station of Flink CDC

本文整理自阿里云智能 Flink SQL、Flink CDC 负责人伍翀(花名:云邪),在 Flink Forward Asia 2023 主会场的分享。

917 0
|
SQL 分布式计算 NoSQL
|

快速实践: 通过 Flink CDC 一键整库同步 MongoDB 到 Paimon

Apache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。

77328 4
|
存储 算法 Java
|

读Flink源码谈设计:Exactly Once

将Flink应用至生产已有一段时间,刚上生产的时候有幸排查过因数据倾斜引起的Checkpoint超时问题——当时简单的了解了相关机制,最近正好在读Flink源码,不如趁这个机会搞清楚。 在这里,我们首先要搞清楚两种Exactly-Once的区别: - Exactly Once:在计算引擎内部,数据不丢失不重复。本质是通过Flink开启检查点进行Barrier对齐,即可做到。 - End to End Exactly Once:这意味着从数据读取、引擎处理到写入外部存储的整个过程中,数据都是不丢失不重复的。这要求数据源可重放,写入端支持事务的恢复和回滚或幂等。

641 0
|
机器学习/深度学习 人工智能 Cloud Native
|

福利「Flink Forward Asia 2023 」视频合集!

2023 年 12 月 9 日,Flink Forward Asia 2023 在北京圆满结束。本届大会共有 70+ 演讲议题、30+ 一线大厂技术与实践分享。现所有专场回放视频已经出炉,并在开发者社区上线。

6262 2
|
SQL 大数据 Apache
|

Flink Has Become the De-facto Standard of Streaming Compute

本文整理自 Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰(莫问),在 Flink Forward Asia 2023 主会场的分享。

540 0
|
存储 测试技术 Apache
|

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。

126897 4
|
API Apache 数据库
|

Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架

Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ~

108696 8
|
存储 SQL 分布式计算
|

Apache Paimon:Streaming Lakehouse is Coming

本文整理自阿里云智能开源表存储负责人,PPMC Member of Paimon,Flink PMC 成员李劲松(花名:之信)、同程旅行大数据专家,Apache Hudi & Paimon Contributor 吴祥平、汽车之家大数据计算平台负责人邸星星、联通数科大数据高级技术专家,Apache Paimon Contributor 王云朋在 Flink Forward Asia 2023 主会场的分享。

1250 1
|
存储 SQL 大数据
|

流计算迎来代际变革:流式湖仓 Flink + Paimon 加速落地、Flink CDC 重磅升级

2023 年 12 月 9 日,Flink Forward Asia 2023 在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享,以及座无虚席的现场,无一不昭示着重回线下的 FFA 的行业号召力。

90457 4
|
SQL 算法 API
|

读Flink源码谈设计:图的抽象与分层

前阵子组里的小伙伴问我“为什么Flink从我们的代码到真正可执行的状态,要经过这么多个graph转换?这样做有什么好处嘛?”我早期看到这里的设计时的确有过相同的疑惑,当时由于手里还在看别的东西,查阅过一些资料后就翻页了。如今又碰到了这样的问题,不妨就在这篇文章中好好搞清楚。

620 0
|
监控 Java 流计算
|

读Flink源码谈设计:Metric

前阵子笔者涉及了些许监控相关的开发工作,在开发过程中也碰到过些许问题,便翻读了Flink相关部分的代码,在读代码的过程中发现了一些好的设计,因此也是写成文章整理上来。

459 0
|
SQL API 数据处理
|

The Next Generation of Apache Flink

本文整理自阿里云智能 Flink 分布式执行负责人、Apache Flink PMC 成员、Flink 2.0 Release Manager 宋辛童老师在 Flink Forward Asia 2023 主会场的分享。本次分享将介绍 Apache Flink 社区未来一年的主要技术方向及规划,以及 Flink 2.0 版本的筹备情况。

782 0
|
SQL 存储 Apache
|

基于 Flink SQL 和 Paimon 构建流式湖仓新方案

阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。

1242 0
|
SQL Java API
|

【flink番外篇】1、flink的23种常用算子介绍及详细示例(2)- keyby、reduce和Aggregations

本文主要介绍Flink 的3种常用的operator(keyby、reduce和Aggregations)及以具体可运行示例进行说明

1108 1
|
Cloud Native Apache 流计算
|

福利「Flink Forward Asia 2023 」PPT 阅读合集!

福利「Flink Forward Asia 2023 」PPT 阅读合集!

3652 1
|
机器学习/深度学习 人工智能 Apache
|

2023 Flink Forward Asia 参会指南来啦!

2023 Flink Forward Asia 参会指南来啦!

565 1
|
SQL 存储 DataWorks
|

Flink Forward Asia 2023 主会场精彩回顾

2023 年 12 月 8 日-9 日, **Flink Forward Asia(FFA)**峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会。

16562 0
|
搜索推荐 Serverless BI
|

「FFA 动手实践」Flink+Hologres 搭建实时数仓

「FFA 动手实践」Flink+Hologres 搭建实时数仓

1173 4
|
存储 SQL Apache
|

直播预约|FFA 2023 主会场,12 月 8 日正式上线!

FFA 2023 主会场直播预约已开启!现参与问卷调研获得 Flink Forward Asia 2023 赠票福利~

612 1
|
机器学习/深度学习 人工智能 分布式数据库
|

FFA 2023 专场解读:AI 特征工程、数据集成

今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。

756 0
|
Kubernetes Cloud Native Apache
|

FFA 2023 专场解读:流批一体&平台建设&云原生

完整议程已公开,期待 12 月 8-9 日与你 Flink Forward Asia 2023 相会!

805 3
|
运维 算法 Apache
|

FFA 2023 「生产实践」专场:Flink 大规模技术优化与生产实践

完整议程已公开,期待 12 月 8-9 日与你 Flink Forward Asia 2023 相会!

610 1
|
SQL 关系型数据库 MySQL
|

基于 Flink CDC 打造企业级实时数据集成方案

阿里云智能 Flink 数据通道负责人,Flink CDC 开源社区负责人,Flink PMC Member & Committer 徐榜江在 2023 云栖大会开源大数据专场的分享。

59135 11
|
人工智能 分布式计算 大数据
|

FFA 2023 「流式湖仓」专场:从技术原理到应用实践打造流式湖仓新架构

今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程已正式上线!

1228 0
|
关系型数据库 MySQL 对象存储
|

FlinkSQL写入对象存储S3报错"Use persist() to create a persistent"

FlinkSQL写入对象存储S3报错"java.util.concurrent.ExecutionException: java.lang.UnsupportedOperationException: S3RecoverableFsDataOutputStream cannot sync state to S3. Use persist() to create a persistent recoverable intermediate point."

490 1
|
SQL 监控 大数据
|

FFA 2023 「行业实践」专场: 金融/电力/汽车/互联网等多行业最佳实践

完整议程已公开,期待 12 月 8-9 日与你 Flink Forward Asia 2023 相会!

328 1
|
存储 网络安全 对象存储
|

使用Flink实时发现Github最热项目之免费试用开通教程文档

使用Flink实时发现Github最热项目之免费试用开通教程文档

330 1
|
Oracle 关系型数据库 数据库
|

FlinkCdc抽取Oracle数据时问题求解

FlinkCdc抽取Oracle数据时问题求解

126 0
|
SQL 存储 OLAP
|

FFA 2023 「核心技术」专场: Flink 核心技术动向深度解读

完整议程已公开,期待 12 月 8-9 日与你 Flink Forward Asia 2023 相会!

567 0
|
搜索推荐 BI Apache
|

「Flink+Hologres 搭建实时数仓」训练营重磅开启

Flink+Hologres 搭建实时数仓训练营火热报名中!文末有 Flink Forward Asia 2023 赠票福利~

1067 0
|
Cloud Native 大数据 Apache
|

FFA 2023|第六届 Flink Forward Asia 峰会议程正式上线!

完整议程已公开,期待 12 月 8-9 日与你 Flink Forward Asia 2023 相会!

427 0
|
人工智能 分布式计算 大数据
|

开源大数据平台 3.0 技术解读

阿里云研究员,阿里云计算平台事业部开源大数据平台负责人王峰围绕新一代的流式湖仓、全面 Serverless 化、更智能的开源大数据等多维度解读开源大数据平台 3.0~

1641 1
|
SQL 存储 Java
|

官宣|Apache Flink 1.18 发布公告

官宣|Apache Flink 1.18 发布公告

1860 3
|
存储 JSON API
|

使用 JDAudioCrawler 将下载的音频存储到本地存储

使用 JDAudioCrawler 将下载的音频存储到本地存储

180 0
|
弹性计算 数据可视化 关系型数据库
|

2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓

2023 云栖大会来啦,众多主题活动与你同聚,门票免费领取中,数量有限,先到先得!

698 0
|
存储 大数据 Serverless
|

限时领票|走进 2023 · 云栖大会,看大咖对话开源

2023 云栖大会来啦,大数据与数据分析、开源技术等众多主题活动与你同聚,门票免费领取中,数量有限,先到先得!

518 0
|
SQL 监控 Java
|

Flink OLAP 在字节跳动的查询优化和落地实践

字节跳动基础架构工程师何润康在 Flink Forward Asia 2022 核心技术专场的分享。

493 0
|
机器学习/深度学习 人工智能 Apache
|

最后 6 天!FFA 2023 议题征集倒计时

FFA 2023 议题火热征集中,投递日期截止至 10 月 14 日。

430 1
我要发布