阿里云实时计算Flink_社区达人页

AI 助理
备案控制台
个人头像照片
阿里云实时计算Flink
已加入开发者社区2047天

勋章 更多

个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
开发者认证勋章
开发者认证勋章
个人头像照片
江湖侠士
江湖侠士

成就

已发布755篇文章
1914条评论
已回答5个问题
0条评论
已发布1个视频
github地址

我关注的人 更多

灵杰开发者
灵杰开发者

粉丝 更多

游客wfhnv6y4jrsts
游客wfhnv6y4jrsts
游客noroc7krzv2vc
游客noroc7krzv2vc
社区内容小助理
社区内容小助理
游客njysujnp6i7gy
游客njysujnp6i7gy
天下无敌呀
天下无敌呀
1802251377436441
1802251377436441
游客c7uiiq5orf2qo
游客c7uiiq5orf2qo
游客3btazwbpqqygw
游客3btazwbpqqygw
游客ds2s44fwivbys
游客ds2s44fwivbys
游客vifepad6rrh6u
游客vifepad6rrh6u
76gx6bjpp3tjq
76gx6bjpp3tjq
游客wdqrsgypqt72m
游客wdqrsgypqt72m

技术能力

兴趣领域
  • Java
  • Python
  • 前端开发
  • Linux
  • 数据库
擅长领域
技术认证

暂无个人介绍

暂无精选文章
暂无更多信息

2020年09月

  • 09.02 17:17:30
    发表了文章 2020-09-02 17:17:30

    滴滴基于 Flink 的实时数仓建设实践

    随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。
  • 09.02 17:02:49
    发表了文章 2020-09-02 17:02:49

    Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据

    Flink 1.11 最重要的 Feature —— Hive Streaming 之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能 —— CDC。

2020年08月

2020年07月

  • 07.28 14:25:48
    发表了文章 2020-07-28 14:25:48

    Flink 1.11 SQL 使用攻略

    SQL 作为 Flink 中公认的核心模块之一，对推动 Flink 流批一体功能的完善至关重要。在 1.11 中，Flink SQL 也进行了大量的增强与完善，开发大功能 10 余项，不仅扩大了应用场景，还简化了流程，上手操作更简单。
  • 07.24 16:15:32
    发表了文章 2020-07-24 16:15:32

    高能预警！Apache Flink Meetup · 上海站返场啦

    英特尔、小红书、唯品会、蚂蚁金服以及阿里巴巴的五位技术专家齐聚上海，线下跟大家分享近期 Flink 的最新应用实践与最新社区动态。
  • 07.24 15:58:25
    发表了文章 2020-07-24 15:58:25

    Flink 1.11 新特性之 SQL Hive Streaming 简单示例

    Flink 1.11 的 Hive Streaming 功能大大提高了 Hive 数仓的实时性，对 ETL 作业非常有利，同时还能够满足流式持续查询的需求，具有一定的灵活性。
  • 07.24 15:46:35
    发表了文章 2020-07-24 15:46:35

    进击的 Flink：网易云音乐实时数仓建设实践

    如何基于 Flink 的新 API 升级实时数仓架构？
  • 07.24 15:19:26
    发表了文章 2020-07-24 15:19:26

    Flink 1.11 Unaligned Checkpoint 解析

    由于 Checkpoint 与反压的耦合，反压反过来也会作用于 Checkpoint，导致 Checkpoint 的种种问题。针对于此，Flink 在 1.11 引入 Unaligned Checkpint 来解耦 Checkpoint 机制与反压机制，优化高反压情况下的 Checkpoint 表现。
  • 07.24 15:09:30
    发表了文章 2020-07-24 15:09:30

    解决问题 1474 个，Flink 1.11 究竟有哪些易用性上的改善？

    7月7日，Flink 1.11.0 正式发布了，作为这个版本的 release manager 之一，我想跟大家分享一下其中的经历感受以及一些代表性 feature 的解读。在进入深度解读前，我们先简单了解下社区发布的一般流程，帮助大家更好的理解和参与 Flink 社区的工作。
  • 07.23 17:33:21
    发表了文章 2020-07-23 17:33:21

    字节跳动基于 Flink 的 MQ-Hive 实时数据集成

    在数据中台建设过程中，一个典型的数据集成场景是将 MQ (Message Queue，例如 Kafka、RocketMQ 等)的数据导入到 Hive 中，以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层，因此对数据的准确性以及实时性要求比较高。
  • 07.23 17:08:20
    发表了文章 2020-07-23 17:08:20

    PyFlink 在聚美优品的应用实践

    我们的数据流程整个环节完成需要1小时左右时间，远达不到实时的要求。如何更快速的根据用户浏览习惯实时推荐相关视频会对用户观看视频时长、停留时长、留存等有重大的影响，比如在现有基础上提升10-20%。
  • 07.23 16:45:19
    发表了文章 2020-07-23 16:45:19

    Flink 1.11：更好用的流批一体 SQL 引擎

    在保证优秀性能的同时，易用性是 1.11 版本 Flink SQL 的重头戏。易用性的提升主要体现在以下几个方面：更方便的追加或修改表定义、灵活的声明动态的查询参数、加强和统一了原有 TableEnv 上的 SQL 接口、简化了 connector 的属性定义、对 Hive 的 DDL 做了原生支持、加强了对 python UDF 的支持。
  • 07.23 16:25:16
    发表了文章 2020-07-23 16:25:16

    详解 Flink 指标、监控与告警

    本文由美团点评研发工程师孙梦瑶分享，主要介绍 Flink 的指标监控和报警的内容，分为以下四部分：监控告警链路：基于美团点评实时计算平台的实践、常用的监控项：哪些指标可以高效地衡量作业、指标的聚合方式：横看成岭侧成峰、指标监控的应用：有哪些常见的表达方式供参考。
  • 07.23 16:04:45
    发表了文章 2020-07-23 16:04:45

    官宣 | 千呼万唤，Apache Flink 1.11.0 正式发布啦！

    Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布！超过 200 名贡献者参与了 Flink 1.11.0 的开发，提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性，并且增强了各个 API 栈的功能。
  • 07.13 17:21:31
    发表了文章 2020-07-13 17:21:31

    你与30W奖金只差一个 Apache Flink 极客挑战赛的报名

    2020 年突如其来的疫情对整个国家的公共卫生事件应对能力提出了很高的要求，如何利用科技手段对疫情传播进行精准有效的防控成为了关键。为了让科技更好地结合民生，让 IT 技术进一步造福社会，阿里云联手英特尔以及 Apache Flink 社区共同发起本次比赛。希望选手能够通过本次大赛获取更多技术启发，实质性的应用到我们的生活当中，成就生活，创造价值！
  • 07.04 14:34:35
    发表了文章 2020-07-04 14:34:35

    饿了么4年 + 阿里2年：研发路上的一些总结与思考

    基于我在饿了么 4 年和阿里巴巴 2 年研发经历，从技术、业务、管理和架构层面分享一些我的思考。
  • 07.04 14:28:08
    发表了文章 2020-07-04 14:28:08

    Flink 使用大状态时的一点优化

    RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 作为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问比较频繁时，机械硬盘的磁盘 IO 可能成为性能瓶颈。在这种情况下，该如何解决此瓶颈呢？
  • 07.04 14:21:50
    发表了文章 2020-07-04 14:21:50

    阿里巴巴大规模应用 Flink 的实战经验：常见问题诊断思路

    本文中介绍的作业运行环境主要是在阿里巴巴集团内，构建在 Hadoop 生态之上的 Flink 集群，包含 Yarn、HDFS、ZK 等组件；作业提交模式采用 yarn per-job Detached 模式。
  • 07.04 13:50:30
    发表了文章 2020-07-04 13:50:30

    Demo 示例：如何原生的在 K8s 上运行 Flink？

    Kubernetes 相信大家都比较熟悉，近两年大家都在讨论云原生的话题，讨论 Kubernetes。本文由阿里巴巴技术专家王阳（亦祺）分享，社区志愿者翟玥整理主要介绍如何原生的在 Kubernetes 上运行 Flink。
  • 07.04 11:42:10
    发表了文章 2020-07-04 11:42:10

    专治数仓疑难杂症！美团点评 Flink 实时数仓应用经验分享

    实时处理技术，是强调当前处理状态的一门技术，所以我们认为这两个相对对立的方案重叠在一起的时候，它注定不是用来解决一个比较广泛问题的一种方案。于是，我们把实时数仓建设的目的定位为解决由于传统数据仓库数据时效性低解决不了的问题。
  • 07.04 10:55:24
    发表了文章 2020-07-04 10:55:24

    为什么 Flink 无法实时写入 MySQL？

    Flink 1.10 使用 flink-jdbc 连接器的方式与 MySQL 交互，读数据和写数据都能完成，但是在写数据时，发现 Flink 程序执行完毕之后，才能在 MySQL 中查询到插入的数据。即，虽然是流计算，但却不能实时的输出计算结果？
  • 07.04 10:49:47
    发表了文章 2020-07-04 10:49:47

    字节跳动李本超：一年成为 Committer，我与 Flink 社区的故事

    我参与社区主要是从19年下半年开始的，最开始主要是汇报一些使用过程中遇到的 bug，并且会力所能及的去修复它。与此同时也一直在关注 user 和 dev 邮件列表，一方面了解社区的最新进展和未来发展方向；一方面也在从其他人的提问和回答中学习经验。后来随着了解的深入，也就参与到了帮助解答用户问题，参与设计的讨论、以及感兴趣的 issue 的讨论等。
  • 07.04 10:43:06
    发表了文章 2020-07-04 10:43:06

    Flink 最佳搭档：开发部署平台 Zeppelin 的自白

    Flink 的学习者或者爱好者想必十分了解，除了需要熟悉 Flink 本身之外，如果能有一款简单上手的 Flink 开发部署工具，不用写前端代码就能实现实时大屏、支持全部语言接口、支持多条 SQL，还能管理 Flink Job，这样的开发部署平台是不是完全无法拒绝？
  • 发表了文章 2023-04-20

    4 月 25 日直播预告 | 深入解读 Flink 1.17

  • 发表了文章 2023-04-18

    Flink CDC 在易车的应用实践

  • 发表了文章 2023-04-17

    基于 Flink CDC 的现代数据栈实践

  • 发表了文章 2023-04-13

    Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储

  • 发表了文章 2023-04-13

    海量数据实时分析引擎 Apache Flink

  • 发表了文章 2023-04-11

    Flink CDC 在京东的探索与实践

  • 发表了文章 2023-04-10

    FLINK 在蚂蚁大规模金融场景的平台建设

  • 发表了文章 2023-04-06

    快手基于 Apache Flink 的实时数仓建设实践

  • 发表了文章 2023-04-06

    Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题

  • 发表了文章 2023-04-04

    基于 Flink ML 搭建的智能运维算法服务及应用

  • 发表了文章 2023-04-03

    Flink SQL 在美团实时数仓中的增强与实践

  • 发表了文章 2023-03-30

    Apache Paimon 在同程旅行的探索实践

  • 发表了文章 2023-03-29

    如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题

  • 发表了文章 2023-03-29

    字节跳动 Flink 大规模云原生化实践

  • 发表了文章 2023-03-28

    Flink 流批一体方案在数禾的实践

  • 发表了文章 2023-03-27

    Flink Table Store 独立孵化启动 ，Apache Paimon 诞生

  • 发表了文章 2023-03-24

    Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架

  • 发表了文章 2023-03-23

    官宣｜Apache Flink 1.17 发布公告

  • 发表了文章 2023-03-22

    Airwallex 基于 Flink 打造实时风控系统

  • 发表了文章 2023-03-21

    流批一体在 AI 核心电商领域的探索与实践

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2022-01-06

    Flink Forward Asia 2021 有奖问答

    各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live
    踩1 评论0
  • 提交了问题 2021-12-29

    Flink Forward Asia 2021 有奖问答

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 机器学习专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 生产实践专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 开源解决方案专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 流批一体专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 实时数仓专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 实时数据湖专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 平台建设专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 行业实践专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 核心技术专场

  • 提交了问题 2021-12-28

    Flink Forward Asia 2021 主会场

  • 提交了问题 2018-10-26

    实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？

  • 回答了问题 2019-07-17

    实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？

    在create table的时候别名使用不同别名即可。 create table a ()； create table b();
    踩0 评论0
  • 提交了问题 2018-10-18

    Flink在Yarn HA模式下报错

  • 回答了问题 2019-07-17

    大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？

    参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。
    踩0 评论0
  • 回答了问题 2019-07-17

    flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择

    社区了解到的，Single Job 更多些
    踩0 评论0
  • 回答了问题 2019-07-17

    Flink在Yarn HA模式下报错

    修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
滑动查看更多
勋章
关注
粉丝