AI 助理
备案控制台
开发者社区 大数据 文章 正文

Apache Flink —— 分布式的通用数据处理平台

2017-06-02 1656
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介：

Apache Flink 声明式的数据分析开源系统，结合了分布式 MapReduce 类平台的高效，灵活的编程和扩展性。同时在并行数据库发现查询优化方案。

本文来自开源中国社区 [http://www.oschina.net]

文章标签：
实时计算 Flink版
Apache
数据库
流计算
数据处理
数据挖掘
分布式计算
关键词：
分布式平台
Apache flink
实时计算 Flink版平台
分布式数据处理
Apache平台
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程，适合初学者阅读。由浅入深案例丰富，通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员，只要能够坚持把所有章节都学完，也一定会受益匪浅。
寒凝雪
+关注
5833文章223问答
目录
打赏
0
0
0
0
176
分享
相关文章
灵杰开发者
|
3月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。
灵杰开发者
439 33
The Past, Present and Future of Apache Flink
灵杰开发者
|
5月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈，但不建议在生产环境中使用。
灵杰开发者
1096 13
Apache Flink 2.0-preview released
灵杰开发者
|
1月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。
灵杰开发者
535 20
Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
灵杰开发者
|
22天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
灵杰开发者
146 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
技术小达人
|
12天前
|
SQL 消息中间件 Serverless
​Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
技术小达人
34 4
技术小达人
|
12天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
技术小达人
34 2
长梦
|
2月前
|
分布式计算 资源调度 大数据
Pandas高级数据处理：分布式计算
随着数据量增长，传统的Pandas单机处理难以应对大规模数据。Dask作为Pandas的补充，支持分布式计算，能处理更大数据集并提高效率。本文介绍Dask在数据加载、类型推断和分区管理中的常见问题及解决方法，如使用`dask.dataframe.read_csv()`、指定`dtype`、调整分区数等，并总结了内存溢出、类型不匹配和网络通信失败等报错的解决方案。
长梦
91 25
技术小达人
|
12天前
|
存储 大数据 数据处理
您有一份 Apache Flink 社区年度报告请查收～
您有一份 Apache Flink 社区年度报告请查收～
技术小达人
20 0
灵杰开发者
|
3月前
|
存储 SQL 人工智能
Apache Flink 2.0：Streaming into the Future
本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向：Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成，以及 Flink 在 AI 领域的应用。
灵杰开发者
685 13
Apache Flink 2.0：Streaming into the Future
aliyun++
|
2月前
|
SQL 分布式计算 数据处理
云产品评测｜分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档，介绍了由浅入深的两个部分实操测试，包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理，对步骤有详细说明。体验下来对MaxCompute的感受是很不错的，值得尝试并使用！
aliyun++
72 1

热门文章

最新文章

  • 1
    大道至简-基于ACK的Deepseek满血版分布式推理部署实战
    52
  • 2
    【📕分布式锁通关指南 02】基于Redis实现的分布式锁
    12
  • 3
    DeepSeek开源周第五弹之一！3FS：支撑V3/R1模型数据访问的高性能分布式文件系统
    109
  • 4
    Springboot使用Redis实现分布式锁
    12
  • 5
    新一代 Cron-Job 分布式任务调度平台 正式发布！
    29
  • 6
    🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
    70
  • 7
    新一代 Cron-Job分布式任务调度平台 部署指南
    7
  • 8
    云产品评测｜分布式Python计算服务MaxFrame获奖名单公布！
    6
  • 9
    大道至简-基于ACK的Deepseek满血版分布式推理部署实战
    25
  • 10
    DeepSeek进阶开发与应用4：DeepSeek中的分布式训练技术
    29
  • 1
    基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！
    37
  • 2
    Flink CDC + Hologres高性能数据同步优化实践
    186
  • 3
    探索Flink动态CEP：杭州银行的实战案例
    30
  • 4
    您有一份 Apache Flink 社区年度报告请查收～
    20
  • 5
    基于 Flink 进行增量批计算的探索与实践
    20
  • 6
    Flink CDC 3.3.0 发布公告
    42
  • 7
    微财基于Flink构造实时变量池
    28
  • 8
    Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
    38
  • 9
    Flink CDC YAML：面向数据集成的 API 设计
    35
  • 10
    ​Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
    34

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 相关实验场景

    更多
  • AnalyticDB无感集成（Zero-ETL）下的一站式数据分析
  • 基于Hologres轻松玩转一站式实时仓库
  • 体验PolarDB-X透明分布式
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    阿里云百炼已上线超强推理开源模型QwQ-32B，尺寸更小，性能比肩DeepSeek满血版