实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
![](https://ucc.alicdn.com/pic/developer-ecology/ed7127e3cd0e4bf9bf1b8b059a8c5a5c.jpg?x-oss-process=image/resize,h_160,m_lfit)
如何在 Apache Flink 中使用 Python API?
为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Python API 的前世今生和未来发展;Apache Flink Python API 架构及开发环境搭建;Apache Flink Python API 核心算子介绍及应用。
![](https://ucc.alicdn.com/pic/developer-ecology/c09f527cc6a14b53abc371c992ee8699.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink Meetup 北京站,可能有你最想听的技术干货!
9 月 21日,Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京,解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。
![](https://ucc.alicdn.com/pic/developer-ecology/81519341e76e41ef811d8c2cdb8595ca.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL
《Flink SQL 1.9.0 技术内幕和最佳实践》,许多小伙伴对演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。
![](https://ucc.alicdn.com/pic/developer-ecology/e1a49a9b435842bf9d9458c72d130ee5.jpeg?x-oss-process=image/resize,h_160,m_lfit)
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)
8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!
![](https://ucc.alicdn.com/pic/developer-ecology/20e7e651b7da44c9b34b91b35ebb8fc1.jpg?x-oss-process=image/resize,h_160,m_lfit)
如何正确使用 Flink Connector?
本文主要分享 Flink connector 相关内容,分为以下三个部分的内容:第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑,对社区反馈的问题进行答疑。
![](https://ucc.alicdn.com/pic/developer-ecology/a60f91f6e54e4bd19071c98f509ef5fc.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(七):Table API 编程
本文主要包含三部分:第一部分,主要介绍什么是 Table API,从概念角度进行分析,让大家有一个感性的认识;第二部分,从代码的层面介绍怎么使用 Table API;第三部分,介绍 Table API 近期的动态。
![](https://ucc.alicdn.com/pic/developer-ecology/501bf86217e647df948b5a69ba986914.jpg?x-oss-process=image/resize,h_160,m_lfit)
如何在 Flink 1.9 中使用 Hive?
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能,用户可以通过 Flink 来访问 Hive 的元数据,以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。
![](https://ucc.alicdn.com/pic/developer-ecology/0c824594b8134ef2a6deb5e652611d15.png?x-oss-process=image/resize,h_160,m_lfit)
修改代码150万行!与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更?
早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎 Blink 进行开源并向 Apache Flink 贡献代码。Flink 1.9.0 版本在结构上有重大变更,修改代码达 150 万行,本文将梳理 Flink 1.9.0 中非常值得关注的重大变更与新增功能特性。
![](https://ucc.alicdn.com/pic/developer-ecology/fa25094281ed42489588af79a86f398b.jpg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能
8月22日,Apache Flink 1.9.0 版本正式发布,本文对此次发版中重要功能特性进行说明,包括批处理作业的批式恢复,以及 Table API 和 SQL 的基于 Blink 的新查询引擎(预览版)State Processor API等等众多社区迫切关注的新特性。
![](https://ucc.alicdn.com/pic/developer-ecology/f35027cda0744225b84b072dfd25e981.jpg?x-oss-process=image/resize,h_160,m_lfit)
接着!!Apache Flink 全领域干货合集(持续更新)
Apache Flink 下一代开源大数据计算引擎, 可对有限数据流和无限数据流进行有状态计算,可部署在各种集群环境,对各种大小的数据规模进行快速计算。Flink 1.9.0 发布,在批流融合与功能特性上有重大更新,本专题将持续更新新增特性的具体说明及全领域干货。
![](https://ucc.alicdn.com/pic/developer-ecology/30bde7e9dbd0428e89f3c92d0b3c5dc8.jpg?x-oss-process=image/resize,h_160,m_lfit)
史上超强阵容!大数据及人工智能领域顶级盛会,Flink Forward Asia 2019 不容错过!
Flink Forward 大数据、人工智能领域的顶级大会,旨在汇集一流人才共同探讨大数据、云计算、人工智能、机器学习等领先技术,2019 Flink Forward Asia 重磅开启,征集议题中!
![](https://ucc.alicdn.com/pic/developer-ecology/6063042107b140259adadddf5cfad405.jpg?x-oss-process=image/resize,h_160,m_lfit)
首届!Apache Flink 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦
7 月 24 日,阿里云峰会上海开发者大会开源大数据专场,阿里巴巴集团副总裁、计算平台事业部总裁贾扬清与英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权共同发布首届 Apache Flink 极客挑战赛。欢迎报名参赛!
![](https://ucc.alicdn.com/pic/developer-ecology/31a5925f0b044d3ebdd3f2bf83778de8.jpg?x-oss-process=image/resize,h_160,m_lfit)
小红书如何实现高效推荐?解密背后的大数据计算平台架构
小红书作为生活分享类社区,目前有8500万用户,年同比增长为300%,大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一,本文主要分享在推荐业务场景中小红书的实时计算应用。
![](https://ucc.alicdn.com/pic/developer-ecology/4dc0fb583de342a2b3c2ed59d97bfe2e.jpg?x-oss-process=image/resize,h_160,m_lfit)
58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密
本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。
![](https://ucc.alicdn.com/pic/developer-ecology/fe0d4fc7e70741598958523712faa0db.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(五):流处理核心组件 Time&Window 深度解析
为什么要有 Window; Window 中的三个核心组件:WindowAssigner、Trigger 和 Evictor;Window 中怎么处理乱序数据,乱序数据是否允许延迟,以及怎么处理迟到的数据;最后我们梳理了整个 Window 的数据流程,以及 Window 中怎么保证 Exactly
![](https://ucc.alicdn.com/pic/developer-ecology/26030862634f446a94dbe8c6a2da56ee.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(四):客户端操作的 5 种模式
本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式,有利于提高我们日常的开发和运维效率。
![](https://ucc.alicdn.com/pic/developer-ecology/5ff8c4e8e876443e9eea6b2384b6a552.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(三):DataStream API 编程
本次课程将首先介绍 Flink 开发中比较核心的 DataStream API 。我们首先将回顾分布式流处理的一些基本概念,这些概念对于理解实际的 DataStream API 有非常大的作用。然后,我们将详细介绍 DataStream API 的设计,最后我们将通过一个例子来演示 DataStre
![](https://ucc.alicdn.com/pic/developer-ecology/ca81043645fd4520a50cb76680984981.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行
本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。
![](https://ucc.alicdn.com/pic/developer-ecology/f8473be118e44e74867a22c5e99a476a.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 零基础入门(一):基础概念解析
本文是根据 Apache Flink 基础篇系列直播整理而成,由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期,持续推送。
![](https://ucc.alicdn.com/pic/developer-ecology/486ebdd20c954856b07992c150047778.jpg?x-oss-process=image/resize,h_160,m_lfit)
用Flink取代Spark Streaming!知乎实时数仓架构演进
- 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。 - 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。 - 实时数仓未来展望:Streaming SQL 平台化,元信息管理系统化,结果验收自动化。
![](https://ucc.alicdn.com/pic/developer-ecology/008306796e294823905b6d0a97a7190e.jpeg?x-oss-process=image/resize,h_160,m_lfit)
日均处理万亿数据!Flink在快手的应用实践与技术演进之路
本次的分享包括以下三个部分: 1. 介绍 Flink 在快手的应用场景以及目前规模; 2. 介绍 Flink 在落地过程的技术演进过程; 3. 讨论 Flink 在快手的未来计划。
![](https://ucc.alicdn.com/pic/developer-ecology/c33eec01f99f4b5b826a8855f400e4e5.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 1.9.0 为什么将支持 Python API ?
众所周知,Apache Flink(以下简称 Flink)的 Runtime 是用 Java 编写的,而即将发布的 Apache Flink 1.9.0 版本则会开启新的 ML 接口和新的 flink-python 模块,Flink 为什么要增加对 Python 的支持,想必大家一定好奇。
首届!Apache Flink 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦
首届 Apache Flink 极客挑战赛发布,聚焦机器学习与计算性能两大热门赛题,提供 Apache Flink 强大的大数据计算平台与 Intel Analytics Zoo 深度学习计算平台,帮助参赛队伍实现机器学习的实践应用,完成计算性能的优化挑战。
独家专访阿里集团副总裁贾扬清:我为什么选择加入阿里巴巴?
在这次访谈中,贾扬清向我们透露了他加入阿里的原因,并对他目前在阿里主要负责的工作做了详细说明,他不仅回顾了过去 6 年 AI 框架领域发生的变化,也分享了自己对于 AI 领域现状的观察和对未来发展的思考。结合自己的经验,贾扬清也给出了一些针对 AI 方向选择和个人职业发展的建议,对于 AI 从业者来
OPPO数据中台之基石:基于Flink SQL构建实数据仓库
本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。
为什么说流处理即未来?
本文整理自 Flink 创始公司 Ververica 联合创始人兼 CTO - Stephan 在 Flink Forward China 2018 上的演讲《Stream Processing takes on Everything》。
实时计算无线数据分析
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在无线数据分析中的应用。阿里云实时计算可以为无线App的数据分析场景实时化助力,帮助您做到实时化分析手机AP的各项指标,包括App版本分布情况、Crash检测和等。
实时计算在天猫双十一大屏中的应用
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在天猫双十一大屏业务中的应用。 天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。
通过Flink实时构建搜索引擎的索引
1.背景介绍 搜索引擎的出现大大降低了人们寻找信息的难度,已经深入到生活与工作的方方面面,简单列举几个应用如下: 互联网搜索,如谷歌,百度等; 垂直搜索,如淘宝、天猫的商品搜索; 站内搜索,各个内容网站提供的站内搜索服务; 企业内部搜索,员工查询企业内部信息; 广告投放,根据投放上下文检索出对应的广告主和广告内容; 搜索引擎的关键是让用户找到其所需信息,其整体架构如下: 从图示可知,一个搜索引擎从大的方面来看主要包括两部分,一部分是提供在线的搜索服务,一部分要把原始数据已离线的方式建立索引,建立索引是信息可搜索的前提。
【阿里内部应用】利用blink CEP实现流计算中的超时统计问题
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 如<利用blink+MQ实现流计算中的延时统计问题>一文中所描述的场景,我们将其简化为以下案例:实时流的数据源结构如下: 物流订单号 支付时间 仓接单时间 仓出库时间 LP1 2018-08-01 08:00 ...
【阿里内部应用】利用blink+MQ实现流计算中的超时统计问题
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 菜鸟的物流数据本身就有链路复杂、实操节点多、汇总维度多、考核逻辑复杂的特点,对于实时数据的计算存在很大挑战。经过仓配ETL团队的努力,目前仓配实时数据已覆盖了绝大多数场景,但是有这样一类特殊指标:“晚点超时指标”(例如:出库超6小时未揽收的订单量),仍存在实时汇总计算困难。
广告场景下的实时计算
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 广告场景的综述,[计算广告与流处理技术综述](https://yq.aliyun.com/articles/691816): 在线流量反作弊、在线计费、在线反馈、在线索引、在线广告链接检测等 其中涉及的主要实时处理环节: 实时数据统计.
运维场景下的实时计算应用
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 运维场景主要有下面几个需求: 整体系统运行指标计算与可视化,可参考:数据仓库介绍与实时数仓案例 问题排查与全链路DEBUG,可参考:【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题、【阿里内部应用】基于Bli.
【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务
基于Blink为新商业调控打造实时大数据交互查询服务 从IT到DT、从电商到新商业,阿里巴巴的每个细胞都存在大数据的DNA,如何挖掘大数据的价值成为抢占未来先机的金钥匙!传统的大数据开发主要基于离线计算平台MaxCompute(ODPS)进行天级别、小时级别的批量数据分析,但近些年随着618、99.
基于实时计算(Flink)与高斯模型构建实时异常检测系统
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 1. 概述 异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。
Flink入坑指南第五章 - 语法糖 view
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。 什么是view(视图):视图无非就是存储在数据库中并具有名字的 SQL 语句,或者说是以预定义的 SQL 查询的形式存在的数据表的成分。
【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力
本文全面总结了大数据项目组在亲听项目以及全链路debug项目上进行的实时流处理需求梳理,架构选型,以及达成效果 一、背景介绍 1.1亲听项目 亲听项目专注于帮助用户收集、展示、监控和处理用户体验问题,是保证产品的主观评价质量的利器,关于其具体功能可参考在ata搜索"亲听"查看系列文章。
【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题
一、背景介绍 以往在处理用户投诉或者开发过程中遇到的(特定商品在淘宝搜索中搜不到,排序靠后,价格不正确,打标不准,结果不准确等)问题或线上故障时,分析定位此类问题的过程非常繁琐: 根据用户或者搜索标识提交ODPS离线任务,捞取用户的搜索日志信息; 人工构造搜索串,重新请求引擎得到搜索复现数据; 解.
计算广告与流处理技术综述
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 1.计算广告背景 广告仍然是互联网公司的主要变现手段,其市场规模2017年已达3000亿元,据统计全球互联网市值前十的公司广告收入占比高达40%,可见其重要性。
数据仓库介绍与实时数仓案例
1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。
实时欺诈检测(风控)
基于实时计算,您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施,降低损失。 系统架构: 实时欺诈检测(风控)系统流程如下: 用户的行为经由App上报或Web日志记录下来,发送到一个消息队列里去。
基于实时计算(flink)打造舆情分析平台——新华智云
基于实时计算打造舆情分析平台——新华智云 1.客户&产品简介: 新华智云是一家致力于通过大数据技术驱动媒体变革的公司,数芯是新华智云推出的实时舆情分析平台,旨在满足用户一系列舆情分析需求。
Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka
聊什么 为了满足本系列读者的需求,在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前,我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例,向大家介绍在Apache Flink中如何使用Kafka。