实时计算 Flink-阿里云开发者社区-阿里云

开发者社区> 大数据与机器学习> 实时计算 Flink

实时计算 Flink

关注

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

6
今日
21059
内容
24
活动
200266
关注
|
SQL 消息中间件 JSON
|

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性。

1175 0
|
SQL 消息中间件 JSON
|

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性.

1106 0
|
SQL 资源调度 Kubernetes
|

重磅!Apache Flink 1.11 功能前瞻抢先看!

Flink 1.11 版本即将正式宣告发布!为满足大家的好奇与期待,我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进,并致力于进一步提高 Flink 的可用性及性能。

17556 0
|
人工智能 大数据 云计算
|

【有奖调研】大数据与人工智能从业者有奖需求用研

为深刻理解市场需求与用户需求,提升大数据与AI产品与服务能力。阿里云计算平台事业部邀您答复本问卷。我们会对本次问卷调查结果保密,并从中筛选50名优质回复回赠精美礼品与产品金牌体验官等服务。

905 0
|
SQL 机器学习/深度学习 新零售
|

回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

1697 0
|
SQL Rust 供应链
|

都在这儿了!5月 Flink 社区发版、更新汇总

为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

852 0
|
SQL Rust 供应链
|

都在这儿了!5月 Flink 社区发版、更新汇总

为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

1437 0
|
SQL 机器学习/深度学习 新零售
|

回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

744 0
|
机器学习/深度学习 自然语言处理 算法
|

如何用一套引擎搞定机器学习全流程?

本文由阿里技术专家陈戊超(仲卓)分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域,此外还在向社会各个领域迅速渗透。

8436 0
|
SQL 分布式计算 Java
|

Flink Weekly | 每周社区动态更新-20200513

大家好,本文为 Flink Weekly 的第十五期,由张成整理,李本超 Review。本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

816 0
|
SQL 存储 分布式计算
|

Flink 与 Hive 的磨合期

在上篇文章中,笔者使用的 CDH 版本为 5.16.2,其中 Hive 版本为 1.1.0(CDH 5.x 系列 Hive 版本都不高于 1.1.0,是不是不可理解),Flink 源代码本身对 Hive 1.1.0 版本兼容性不好,存在不少问题。

2318 0
|
SQL 资源调度 Kubernetes
|

Flink 1.10 细粒度资源管理解析

对于作业规模不大的普通用户而言,这些通常在可以接受的范围之内,但对于上千并行度的大作业来说,浪费资源的总量会非常可观,而且进程的不稳定性导致的作业恢复时间也会比普通作业长得多,因此阿里巴巴的 Blink 团队针对内存管理机制做了大量的优化,并于近期开始合并到 Flink。

1190 0
|
SQL 存储 人工智能
|

扎心!天天写代码,方向真的对吗?

每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。

5677 0
|
SQL 存储 消息中间件
|

Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

如果你对以上问题深有同感,那说明这篇文章很适合你。我们来看看如何真正解决这个问题。接下来我将带各位了解下 Flink 与 Hive 生产级别的整合工作。

1775 0
|
SQL 消息中间件 分布式计算
|

Flink 面试指南 | 终于要跟大家见面了,我有点紧张。(附思维导图)

面试,一个令人大多数同学头疼的问题,要么成功进入心仪公司,要么沮丧与其失之交臂。但是,如果能在面试前就能知道面试官将会问的问题,然后可以好好提前准备,这种感觉是不是特别棒?

17724 0
|
SQL 消息中间件 Java
|

Flink Weekly | 每周社区动态更新-20200429

大家好,本文为 Flink Weekly 的第十四期,由李本超整理,伍翀 Review。本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

997 0
|
编解码 Java API
|

揭秘!开源软件背后的神秘组织

Flink 社区将分享“走进 ASF”系列内容,先从宏观介绍 ASF 是如何运作的,然后详细解说如何参与 Apache 具体项目做贡献,如何成为某个项目的 Committer、PMC 成员,如何选择多个 Apache 项目进行多领域贡献并成为 ASF Member 等,希望有助于你真正了解开源、参与开源。

1418 0
|
SQL 机器学习/深度学习 新零售
|

实时数仓、1.10生产实践、AI 都来了,2020 首场 Flink 社区 Meetup,可!

5月16日,2020 首场 Meetup 重磅上线。一如既往,本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播,让您足不出户,有直播看、有干货学、有奖品拿~

1436 0
|
机器学习/深度学习 自然语言处理 算法
|

TensorFlow On Flink 原理解析

本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示,整个流程包含特征工程、模型训练、离线或者是在线预测等环节。

3740 0
|
SQL 前端开发 测试技术
|

使用Blink CEP实现差值聚合计算

本文介绍通过CEP实现实时流上的差值聚合计算。

3440 0
|
SQL 数据采集 缓存
|

使用Blink SQL+UDAF实现差值聚合计算

本案例根据某电网公司的真实业务需求,通过Blink SQL+UDAF实现实时流上的差值聚合计算,通过本案例,让读者熟悉UDAF编写,并理解UDAF中的方法调用关系和顺序。

2273 0
|
存储 SQL 消息中间件
|

都在说实时数据架构,你了解多少?

本文从上述现状及实时数据需求出发,结合工业界案例、笔者的实时数据开发经验, 梳理总结了实时数据体系建设的总体方案。

2286 0
|
SQL 机器学习/深度学习 消息中间件
|

开放下载!18个PPT,29个提问解答,都在这儿啦!

为期一天半的 Flink Forward 中文精华版在北京、上海、杭州三地进行联动直播,吸引了全球近 20000 人次开发者在线观看。除优质内容外,Flink Forward 精华版还首次开创问题征集,在线观看直播的同学可及时对嘉宾分享提出疑问并邀请讲师在线解答。

17287 0
|
SQL 消息中间件 缓存
|

Flink SQL 的 9 个示例

本文由阿里巴巴技术专家贺小令分享,社区志愿者郑仲尼整理。文章基于 Flink 1.9 版本,从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望对大家有所帮助。

3009 0
|
机器学习/深度学习 SQL 自动驾驶
|

Flink 的经典场景和业务故事有哪些?看看他们就知道了

在大数据的日常场景中,从数据生产者,到数据收集、数据处理、数据应用(BI+AI),整个大数据 + AI 全栈的每个环节,Flink 均可应用于其中。作为新一代开源大数据计算引擎,Flink 不仅满足了工业界对实时性的需求,还能够打通端到端的数据价值挖掘全链路。

2601 0
|
存储 消息中间件 NoSQL
|

Flink State 最佳实践

本文主要分享与交流 Flink 状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念,并认识和区别不同的 state backend;之后将分别对 state 使用访问以及 checkpoint 容错相关内容进行详细讲解,分享一些经验和心得。

2411 0
|
SQL 存储 Java
|

Flink Weekly | 每周社区动态更新 - 20200421

本文为 Flink Weekly 的第十三期,由王雷整理,主要内容包括:近期社区开发进展,邮件问题答疑以及 Flink 最新社区动态及技术文章推荐。

1805 0
|
SQL 机器学习/深度学习 人工智能
|

Flink 实战:如何解决应用中的技术难题?

倒计时 5 天!4月25-26日,全球首个 Apache 顶级项目在线会议 Flink Forward 精华版即将重磅开启。 Flink Forward 全球在线会议精华版均为中文直播,核心内容分为 Keynote 与社区投票的最感兴趣的 talk 两部分,由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说,您可直接免费在线观看。

3704 0
|
SQL 数据采集 存储
|

Flink 新场景:OLAP 引擎性能优化及应用案例

本文由阿里巴巴技术专家贺小令(晓令)分享,主要介绍 Apache Flink 新场景 OLAP 引擎,内容分为以下四部分:背景介绍、Flink OLAP 引擎、案例介绍、未来计划。

2436 0
|
机器学习/深度学习 存储 SQL
|

Flink 消息聚合处理方案

在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案,描述不同方案中可能遇到的问题和解决方法,并进行对比。

952 0
|
机器学习/深度学习 存储 SQL
|

Flink 消息聚合处理方案

在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案,描述不同方案中可能遇到的问题和解决方法,并进行对比。

1069 0
|
机器学习/深度学习 SQL 分布式计算
|

最佳实践 | Flink Forward 全球会议抢先看!

来了!我们把 Apache 顶级项目盛会搬到线上,4月25-26日,Flink Forward 全球在线会议精华版直播将正式上线,该系列直播均为中文版,精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说,您可直接免费在线观看!

1594 0
|
存储 消息中间件 缓存
|

Iceberg 在基于 Flink 的流式数据入库场景中的应用

本文以流式数据入库的场景为基础,介绍引入 Iceberg 作为落地格式和嵌入 Flink sink 的收益,并分析了当前可实现的框架及要点。

3642 0
|
Apache 项目管理 流计算
|

祝贺!两位 Apache Flink PMC 喜提 Apache Member

目前,国内(华人)近 30 位 Apache Member 中,有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献,不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展,更活跃在多个开源项目,持续为开源社区做贡献。

2692 0
|
API Apache 流计算
|

PyFlink 社区扶持计划正式上线!

Flink 从 1.9.0 版本开始增加了对 Python 的支持(PyFlink),最新发布的 Flink 1.10 中明确目前 PyFlink 生态的功能特性在社区的努力下逐步完善。为了让大家更好的上手使用 PyFlink,自即日起,PyFlink 社区扶持计划正式上线!

2400 0
|
SQL 存储 分布式计算
|

Flink 流批一体的实践与探索

作为 Dataflow 模型的最早采用者之一,Apache Flink 在流批一体特性的完成度上在开源项目中是十分领先的。本文将基于社区资料和笔者的经验,介绍 Flink 目前(1.10)流批一体的现状以及未来的发展规划。

5908 0
|
SQL 人工智能 Kubernetes
|

这场直播,我们把 Apache 顶级项目盛会搬来了!

4月25-26日,为期一天半的 Flink Forward 全球直播中文精华版将精选大会最佳实践、Flink 深度技术解析、社区生态等优质内容进行翻译并搭配中文解说,邀您共赴技术盛宴!

1681 0
|
Kubernetes 大数据 工业大脑
|

入门必读!Apache Flink 零基础系列教程,30 天成长为 Flink 大神!

多位 Flink PMC 及核心贡献者出品,帮你建立系统框架体系,最详细的免费教程,Flink 入门必读经典!越早学习,越能抓住时代先机。

75189 2
|
SQL 存储 消息中间件
|

趣头条基于 Flink+ClickHouse 构建实时数据分析平台

本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景。

5443 0
|
消息中间件 存储 SQL
|

Netflix:如何打造开放协作的实时 ETL 平台?

本文由 Netflix 高级软件工程师徐振中分享,内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案,此外还讨论了其在开发运维过程中的收获,对开放式自助式实时数据平台的一些新愿景,以及对 Realtime ETL 基础平台的一些新思考。

1782 0
|
SQL 消息中间件 缓存
|

Apache Flink 进阶(十二):深度探索 Flink SQL

文章将从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望加深大家对 Flink 1.9 新功能的理解,在使用上能够有所帮助。

2516 0
|
机器学习/深度学习 存储 分布式计算
|

25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名

3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

1758 0
|
消息中间件 存储 安全
|

Flink kafka source & sink 源码解析

本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink Kafka source 和 sink 端的源码进行解析,主要分为 Flink-kafka-source 源码解析、Flink-kafka-sink 源码解析两部分。

2838 0
|
SQL 分布式计算 Hadoop
|

Flink Weekly 每周动态更新-2020/03/25

内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

1289 0
|
SQL 分布式计算 Java
|

Hive 终于等来了 Flink

Flink 社区在集成 Hive 功能方面付出很多,目前进展也比较顺利,最近 Flink 1.10.0 RC1 版本已经发布,感兴趣的读者可以进行调研和验证功能。

7883 0
|
SQL 人工智能 分布式计算
|

学不动?Apache Member 教你评估实用技术的思路

是因为一项技术火,你才学的吗?是因为你老板决定用这项技术,你才学的吗?那你有没有想过为什么这项技术会火,为什么你老板决定用这项技术。今天我们就以 Flink 为例,来好好聊为什么要学习 Flink,以及如何看待一项新技术是否有潜力,希望对你有所启发。

1425 0
|
SQL 人工智能 Kubernetes
|

Flink Weekly | 每周社区动态更新 - 20200318

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

1136 0
|
存储 缓存 Java
|

如何在 Flink 中规划 RocksDB 内存容量?

本文将介绍跟 Flink 相关的一些 RocksDB 操作,并讨论一些提高资源利用率的重要配置。

1871 0
|
SQL 人工智能 Kubernetes
|

Flink Weekly | 每周社区动态更新 - 20200318

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

302 0
|
SQL 消息中间件 存储
|

一套 SQL 搞定数据仓库?Flink有了新尝试

目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分复杂,需要使用很多系统和计算框架,这就要求企业储备多方面的人才,导致人才成本较高,且出了问题难以排查,终端用户也需要熟悉多种语法。

2874 0
我要发布