• 关于

    flink sql维表join

    的搜索结果
  • 扩展FlinkSQL实现流与维表的join

    现在最新版本的flink1.6版本现在还不支持直接用SQL来实现流与维表的join。这里打个广告我们团队已经实现了这个功能并且开源 https://github.com/DTStack/flinkStreamSQL 这里先解释下什么是维表;维表是动态表,表里所存储的数据有可能不变,也有可能定时更新...

    文章 whiletrue 2018-09-12 5850浏览量

  • 袋鼠云研发手记 | 开源·数栈-扩展FlinkSQL实现流与维表的join

    作为一家创新驱动的科技公司,袋鼠云每年研发投入达数千万,公司80%员工都是技术人员,袋鼠云产品家族包括企业级一站式数据中台PaaS数栈、交互式数据可视化大屏开发平台Easy[V]等产品也在迅速迭代。在进行产品研发的过程中,技术小哥哥们能文能武,不断提升产品性能和体验的同时,也把这些提升和优化过程记...

    文章 袋鼠云 2019-04-18 2607浏览量

  • 实时计算 Flink SQL 核心功能解密

    Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/秒。Flink SQL 在这么短的时间内支撑了如...

    文章 初商 2019-08-03 675浏览量

  • 实时计算 Flink SQL 核心功能解密

    实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/...

    文章 阿里云实时计算Flink 2018-02-08 15221浏览量

  • Flink SQL 实战:HBase 的结合应用

    本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本,是一种分布式列式存储的数据库,构建在 HDFS 之上的 NoSQL 数据库,非常适合大规模实时查询,因此 HBase 在实时计算领域使用非常广泛。可以实时写 ...

    文章 阿里云实时计算Flink 2020-12-12 407浏览量

  • Flink SQL 如何实现数据流的 Join?

    无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。 其中最为关键的问题在于 ...

    文章 阿里云实时计算Flink 2019-12-18 538浏览量

  • Flink SQL 如何实现数据流的 Join?

    作者:林小铂转自:Ververica 无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚...

    文章 茶什i 2019-12-18 179浏览量

  • 基于 Flink SQL CDC 的实时数据同步方案

    整理:陈政羽(Flink 社区志愿者) Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统的数据同步方案,基于 Flink CDC 同步的解决方案以及更多...

    文章 阿里云实时计算Flink 2020-11-03 5414浏览量

  • Structured Streaming VS Flink

    Flink是标准的实时处理引擎,而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的,不过现在Spark Streaming已经非常稳定基本都没有更新了,然后重点移到spark sql和structured Streaming了。 Fl...

    文章 阿里云E-MapReduce团队 2019-01-20 3491浏览量

  • Flink SQL 如何实现数据流的 Join?

    云栖号:https://yqh.aliyun.com第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积...

    文章 阿里云实时计算Flink 2019-12-18 2976浏览量

  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化

    引子 流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id,但是在做业务时需要根据店铺维度或者行业纬度进行聚合,这就需要先将交易日志与商品维表进行关联,补全所需的维度信息。这里所说...

    文章 阿里云实时计算Flink 2018-02-08 16409浏览量

  • 一套 SQL 搞定数据仓库?Flink有了新尝试

    数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验,更有利于公司的科学决策,因此获取数据的实时性尤为重要。 目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构...

    文章 阿里云实时计算Flink 2020-03-19 1716浏览量

  • Flink 1.11 与 Hive 批流一体数仓实践

    导读:Flink 从 1.9.0 开始提供与 Hive 集成的功能,随着几个版本的迭代,在最新的 Flink 1.11 中,与 Hive 集成的功能进一步深化,并且开始尝试将流计算场景与Hive 进行整合。 本文主要分享在 Flink 1.11 中对接 Hive 的新特性,以及如何利用 Fli...

    文章 阿里云实时计算Flink 2020-11-05 7358浏览量

  • Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

    Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Or...

    文章 袋鼠云 2019-11-13 1048浏览量

  • Flink入坑指南第五章 - 语法糖 view

    Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。 什么是view(视图):视图无非就是存储在数据库中并具有名字的 SQL 语句,或者说是以预定义的 SQL...

    文章 小白薇薇 2019-03-01 2293浏览量

  • Flink SQL CDC 上线!我们总结了 13 条生产实践经验

    作者:曾庆东 摘要:7月,Flink 1.11 新版发布,在生态及易用性上有大幅提升,其中 Table & SQL 开始支持 Change Data Capture(CDC)。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景,本文由社区由曾庆东同学分享,主要介绍 ...

    文章 阿里云实时计算Flink 2020-09-25 6445浏览量

  • 一套 SQL 搞定数据仓库?Flink有了新尝试

    目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分复杂,需要使用很多系统和计算框架,这就要求企业储备多方面的人才,导致人才成本较高,且出了问题难以排查,终端用户也需要熟悉多种语法。本文分析目前的数仓架构,探索离线和实时数仓是否能放在一起考虑,...

    文章 好好、学习 2020-03-19 241浏览量

  • 从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

    摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面: 一、实时计算的痛点 二、Saber 的平台演进 三、结合 AI 的案例实践 四、...

    文章 阿里云实时计算Flink 2020-02-20 1933浏览量

  • bilibili 实时平台的架构与实践

    摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面: 一、实时计算的痛点 二、Saber 的平台演进 三、结合 AI 的案例实践 四、...

    文章 阿里云实时计算Flink 2020-02-18 1670浏览量

  • bilibili 实时计算平台架构与实践

    摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。 一、实时...

    文章 开发者小助手 2020-11-17 218浏览量

  • 实时计算Flink > 快速入门 —— 步骤三:数据开发,作业上线

    本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。 完成数据采集工作后,您可以专注于...

    文章 李博 bluemind 2018-11-14 1385浏览量

  • ​实战:Flink 1.12 维表 Join Hive 最新分区功能体验

    我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求,其中 Hive 表是分区表,业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了,刚好支撑了这种业务场景,我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案,最新分区直接作...

    文章 阿里云实时计算Flink 2020-12-31 396浏览量

  • 企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题?

    业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验。 Flink For...

    文章 阿里云实时计算Flink 2019-10-31 1968浏览量

  • 维表JOIN语句

    本页目录 维表 维表 维表是一张不断变化的表(不更新的表是变化表的一种特例)。 如何查询或JOIN一张不断变化的表? 如果用传统的JOIN语法来表达JOIN dim_table ON xxx,会导致多次运行得到的结果不一致。所以在查询或JOIN维表的时候,需要明确指名要查看的是维表的哪...

    文章 李博 bluemind 2018-11-14 1876浏览量

  • Flink Weekly | 每周社区动态更新 - 2019/12/31

    大家好,本文为 Flink Weekly 的第二期,由 zhisheng 整理,主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。 Flink 开发 [SQL] Forward Xu 发起...

    文章 阿里云实时计算Flink 2020-01-03 1222浏览量

  • Flink Weekly | 每周社区动态更新 - 2019/12/31

    大家好,本文为 Flink Weekly 的第二期,由 zhisheng 整理,主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。 Flink 开发 [SQL] Forward Xu 发起...

    文章 阿里云实时计算Flink 2020-01-03 392浏览量

  • 当 TiDB 与 Flink 相结合:高效、易用的实时数仓

    作者:齐智@TiDB 随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。...

    文章 阿里云实时计算Flink 2020-10-29 4828浏览量

  • OPPO数据中台之基石:基于Flink SQL构建实数据仓库

    作者 | 张俊 本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。本文主要内容如下: OPPO 实时数仓的演进思路; 基于 Flink SQL 的...

    文章 apache_flink 2019-05-14 17451浏览量

  • 当 TiDB 与 Flink 相结合:高效、易用的实时数仓

    作者:齐智@TiDB 随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。...

    文章 开发者小助手 2020-11-17 113浏览量

  • Flink JDBC Connector:Flink 与数据库集成最佳实践

    作者:徐榜江(雪尽)整理:陈政羽(Flink 社区志愿者) 摘要:Flink 1.11 引入了 CDC,在此基础上, JDBC Connector 也发生比较大的变化,本文由 Apache Flink Contributor,阿里巴巴高级开发工程师徐榜江(雪尽)分享,主要介绍 Flink 1.1...

    文章 阿里云实时计算Flink 2020-10-21 4560浏览量

1 2 3 4 5 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板