阿里云实时计算Flink-阿里云开发者社区

阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台，广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。
全部 问答

官方博客

公开课

活动

56

回答

Flink Forward Asia 2021 有奖问答

已解决
阿里云实时计算Flink 2021-12-29 468201浏览量 回答数 56

各位开发者，正确的提问是：

  1. 进入对应专场问答入口
  2. 添加回答：议题标题 + 问题 (而不是专场 + 问题哦)

还请关注 1 月 8-9 日的直播～

https://developer.aliyun.com/special/ffa2021/live

阿里云实时计算Flink 评论 0

48

回答

Flink Forward Asia 2021 主会场
阿里云实时计算Flink 2021-12-28 25999浏览量 回答数 48

《实时计算在字节跳动的发展与展望》：字节跳动未来有计划用C++/Rust这种Native语言重写或优化Flink Runtime层吗？使Flink脱离JVM GC。

《Flink Next, Beyond Stream Processing》：我想用Flink完全替换掉Spark，目前Flink只缺少一个类似Spark ThriftServer的组件，我看社区flink-sql-gateway已经一年没更新了。未来社区会在SQL Gateway组件加大投入吗？

AdaWong 评论 2

12

回答

Flink Forward Asia 2021 机器学习专场
阿里云实时计算Flink 2021-12-28 18472浏览量 回答数 12

9

回答

Flink Forward Asia 2021 生产实践专场
阿里云实时计算Flink 2021-12-28 17588浏览量 回答数 9

了解一下

陌然浅笑-支 评论 0

7

回答

Flink Forward Asia 2021 开源解决方案专场
阿里云实时计算Flink 2021-12-28 16965浏览量 回答数 7 
打造批流融合：Pulsar - Flink Connector 的设计、开发和使用

盛老师您好:

1.请问pulsar + flink 的connector 是如何保证数据一致性的.

2.请问connector 是否和kafka 那样可以选择消费的offset.

3.请问消费时是否和kafka类似,有partation 和flink并行度对齐的概念.

4.请问消费速度是如何进行控制的,例如想限流或者提高消费速度.

大数据三剑合一：Flink + Zeppelin + Airflow:

章老师您好:

1.请问如何监控 flink on zeppelin 的健康状态,以及报警机制.

2.请问目前是否有 flink on zeppelin 并且 on k8s 的实践.

3.请问zeppelin + Airflow 如果调度作业较多的情况下,例如单天上万级别调度,zeppelin 服务有哪些可以调优的配置.

yue23yue 评论 0

15

回答

Flink Forward Asia 2021 流批一体专场
阿里云实时计算Flink 2021-12-28 16923浏览量 回答数 15

flink是如何做到批处理与流处理统一的？

junthy 评论 1

8

回答

RowData中的UPSERT类型是什么？
游客cum3jectrqmmy 2022-01-19 14981浏览量 回答数 8

19

回答

Flink Forward Asia 2021 实时数仓专场
阿里云实时计算Flink 2021-12-28 14250浏览量 回答数 19

11

回答

Flink Forward Asia 2021 平台建设专场
阿里云实时计算Flink 2021-12-28 13511浏览量 回答数 11

20

回答

Flink Forward Asia 2021 实时数据湖专场
阿里云实时计算Flink 2021-12-28 13267浏览量 回答数 20

议题：使用 Flink Hudi 构建流式数据湖平台

问题1：Flink Hudi能否支持非Flink CDC的流式Schema Evolution 呢？

问题2：Hudi merge on read表，如果要配置offline compaction，如何比较方便地进行调度呢？如果很多个flink hudi应用，每个应用都要多一个offline compaction的任务吗？

问题3：目前hudi 官网写了Trino在超大数据集的Hudi 表上 查询效率有影响，在阿里云上的VVR、VVP中有这个问题吗，什么时候会解决呢？

蝶落指尖 评论 2

12

回答

Flink Forward Asia 2021 核心技术专场
阿里云实时计算Flink 2021-12-28 11774浏览量 回答数 12

大家好，状态存储（State Backend）和快照（checkpoint/savepoint）相关的问题在这里集合啦

Yu 评论 0

7

回答

Flink Forward Asia 2021 行业实践专场
阿里云实时计算Flink 2021-12-28 10467浏览量 回答数 7

1

回答

Flink 中的Changelog Stream基础概念是什么意思？
游客cum3jectrqmmy 2022-01-19 2578浏览量 回答数 1

1

回答

Flink CDC + JDBC Connector 同步方案中功能测试有哪些？
游客cum3jectrqmmy 2022-01-19 2546浏览量 回答数 1

1

回答

Debezium 数据结构中的op 字段包括哪些内容？
游客cum3jectrqmmy 2022-01-19 2529浏览量 回答数 1

1

回答

Flink CDC中的CDC是什么意思？
游客cum3jectrqmmy 2022-01-19 2529浏览量 回答数 1

2

回答

没有修改 serverid 导致读取出来的数据有丢失的问题该怎么解决？
游客cum3jectrqmmy 2022-01-19 2503浏览量 回答数 2

1

回答

RowData 中的元数据 RowKind包括哪些类型？
游客cum3jectrqmmy 2022-01-19 2500浏览量 回答数 1

1

回答

传统的基于 CDC 的 ETL 分析中用的是什么数据采集工具？
游客cum3jectrqmmy 2022-01-19 2499浏览量 回答数 1

1

回答

对比常见的开源 CDC 方案可以发现哪些内容？
游客cum3jectrqmmy 2022-01-19 2492浏览量 回答数 1

1

回答

Flink CDC 的 ETL 分析流程是怎么提出来的？
游客cum3jectrqmmy 2022-01-19 2488浏览量 回答数 1

1

回答

《Flink CDC：新一代数据集成框架》这本书可以在哪里下载？
游客cum3jectrqmmy 2022-01-19 2485浏览量 回答数 1

1

回答

基于查询的 CDC技术包括什么内容？
游客cum3jectrqmmy 2022-01-19 2466浏览量 回答数 1

1

回答

基于 Flink CDC 的 ETL 分析图是什么样的？
游客cum3jectrqmmy 2022-01-19 2465浏览量 回答数 1

1

回答

Flink 有哪两个基础概念？
游客cum3jectrqmmy 2022-01-19 2460浏览量 回答数 1

1

回答

使用了 Flink CDC后有哪些优势？
游客cum3jectrqmmy 2022-01-19 2458浏览量 回答数 1

1

回答

基于日志的 CDC技术包括什么内容？
游客cum3jectrqmmy 2022-01-19 2453浏览量 回答数 1

1

回答

联想 MySQL 中的表和 binlog 日志会发现MySQL 数据库有什么？
游客cum3jectrqmmy 2022-01-19 2451浏览量 回答数 1

1

回答

Flink 中的Dynamic Table基础概念是什么意思？
游客cum3jectrqmmy 2022-01-19 2450浏览量 回答数 1

1

回答

传统 CDC 的 ETL 分析链路是怎么样的？
游客cum3jectrqmmy 2022-01-19 2448浏览量 回答数 1

1

回答

目前通常描述的 CDC 技术是指什么？
游客cum3jectrqmmy 2022-01-19 2447浏览量 回答数 1

1

回答

CDC 技术的应用场景有哪些？
游客cum3jectrqmmy 2022-01-19 2442浏览量 回答数 1

1

回答

目前业界主流的 CDC 实现机制可以分为哪几种？
游客cum3jectrqmmy 2022-01-19 2429浏览量 回答数 1

1

回答

从数据架构来看Flink CDC 的内容是什么？
游客cum3jectrqmmy 2022-01-19 2182浏览量 回答数 1

2

回答

Flink MongoDB CDC支持的特性是什么？
游客cum3jectrqmmy 2022-01-19 2148浏览量 回答数 2

3

回答

SELECT elasticsearch table 报错的原因是什么？
游客cum3jectrqmmy 2022-01-19 2085浏览量 回答数 3

2

回答

扫描全表阶段慢时在 Web UI 出现报错的原因是什么？
游客cum3jectrqmmy 2022-01-19 2031浏览量 回答数 2

1

回答

Change Streams3.3.1 使用条件是什么？
游客cum3jectrqmmy 2022-01-19 1907浏览量 回答数 1

4

回答

Fink CDC 2.0 的核心 feature主要表现为哪些重要的功能？
游客cum3jectrqmmy 2022-01-19 1742浏览量 回答数 4

1

回答

Flink CDC + JDBC Connector 同步方案中功能测试有哪些？
游客cum3jectrqmmy 2022-01-20 1653浏览量 回答数 1

1

回答

为什么AM 进程起不来，一直被 kill 掉？
游客cum3jectrqmmy 2022-01-19 1601浏览量 回答数 1

1

回答

怎么判断 source 是否进入了 binlog 读取阶段？
游客cum3jectrqmmy 2022-01-19 1587浏览量 回答数 1

2

回答

为什么作业在运行时 Elasticsearch 会报错误？
游客cum3jectrqmmy 2022-01-19 1580浏览量 回答数 2

1

回答

面试
游客ixo2quylz4k3g 2022-02-12 1566浏览量 回答数 1

1

回答

Flink CDC 社区 2.1 版本的文档到哪里获取？
游客cum3jectrqmmy 2022-01-19 1467浏览量 回答数 1

1

回答

flink on yarn 没有日志问题
臻熠 2022-02-09 1462浏览量 回答数 1

2

回答

Flink-CDC 项目地址是什么？
游客cum3jectrqmmy 2022-01-19 1304浏览量 回答数 2

1

回答

Netflix 的DBLog 论文中 Chunk 读取算法是什么？
游客cum3jectrqmmy 2022-01-19 1234浏览量 回答数 1

1

回答

Flink CDC 1.x 默认使用全局锁会有什么好处？
游客cum3jectrqmmy 2022-01-19 1232浏览量 回答数 1

1

回答

Flink CDC 项目中的全量读取阶段不支持checkpoint痛点是什么？
游客cum3jectrqmmy 2022-01-19 1207浏览量 回答数 1
立即提问

最新资讯

新用户独享！【全托管模式99元10CU首月试用】活动详情：https://www.aliyun.com/product/bigdata/sc?spm=5176.10695662.J_8058803260.250.1a594ef6i85tdM
展开

活动推荐

链接

阿里云实时计算官网: https://data.aliyun.com/product/sc

实时计算应用案例与解决方案: https://yq.aliyun.com/articles/691499?spm=a2c0j.117599.1053885.btn6.57fd76fesyCHZQ

实时计算应用场景: https://help.aliyun.com/document_detail/62447.html?spm=a2c4g.11174283.6.544.31f91e49pVRgHn

控制台: https://stream.console.aliyun.com/

产品文档

  • 产品简介
  • 开发指南
  • 常见问题

使用方式

相关产品

产品文档