jark
jark_个人页
jark
文章
9
问答
14
视频
0
个人介绍
个人博客: http://wuchong.me
擅长的技术
暂无更多信息
2023年02月
-
02.08 10:09:26
回答了问题
2023-02-08 10:09:26
2022年01月
-
01.10 15:13:09
发表了文章
2022-01-10 15:13:09
Flink CDC 如何简化实时数据入湖入仓
本文整理自云邪、雪尽在 Flink Forward Asia 2021 的分享，该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下： 1. Flink CDC 介绍 2. Flink CDC 的核心特性 3. Flink CDC 的开源生态 4. Flink CDC 在阿里巴巴的实践与改进 5. Flink CDC 的未来规划
-
发表了文章
2022-01-10
Flink CDC 如何简化实时数据入湖入仓
-
发表了文章
2019-09-09
Apache Flink 1.9.0版本新功能介绍
-
发表了文章
2018-12-05
Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch
-
发表了文章
2016-11-24
Flink 原理与实现：如何处理反压问题
-
发表了文章
2016-11-24
Flink 原理与实现：Window 机制
-
发表了文章
2016-11-24
Flink 原理与实现：理解 Flink 中的计算资源
-
发表了文章
2016-11-24
Flink 原理与实现：Session Window
-
发表了文章
2016-07-19
Flink 原理与实现：架构和拓扑概览
-
发表了文章
2016-07-19
Flink 原理与实现：内存管理
滑动查看更多
-
回答了问题
2023-02-08
请问下lookup join报 ‘Processing-time temporal join is
Flink SQL 目前还不支持 "processing-time temporal join"，即处理时间的时态表关联。这是因为 processing-time temporal join 在语义上要求先处理完 temporal table 的历史数据（bootstrap state），再处理事实表的数据和temporal table的增量数据，目前Flink在底层还不支持如此灵活的调度模型。
不过 Flink SQL 支持 event-time temporal join，要求"FOR SYSTEM AS OF" 的字段是一个 event time attribute。另外 Flink SQL 也支持 lookup join，要求被temporal join 的表是一个支持了 lookup 数据源。
赞3 踩0 评论0 -
回答了问题
2019-07-17
我想问下，keyby的时候不同key可以配权重吗？分到task上的流量不均衡怎么解决呀？
keyBy配不了权重。如果使用 DataStream.partitionCustom 可以自定义将 key 分到哪个 partition，但是 partitionCustom 之后接的 operator 无法使用 keyed state.
赞0 踩0 评论0 -
回答了问题
2019-07-17
在将table的查询结果写到HDFS上，StreamingFileSink使用疑惑
window 不输出的还有一个可能是watermark 有问题，即 watermark 一直没有前进。 你可以进 watermark 页面看看 watermark 是否正常。
赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink ValueState<JSONObject> checkpoint失败，导致状态重置
我觉得这个应该是个 bug，可以在Flink 邮件列表中提问下。
可以不用 TTL 机制，可以通过 ProcessFunction 注册 3天的 Timer 来绕过，Timer 回调时删除对应 key 的状态。
社区同学提醒，一护：这个问题最新版应该已经解了，是因为ttl state的序列化器在duplicate的时候少传了一个参数
issue 链接：https://issues.apache.org/jira/browse/FLINK-10567
1.6.3 版本已经修复了这个问题。赞2 踩0 评论0 -
回答了问题
2019-07-17
将table 查询结果写到csvtablesink，文件大小始终为0
CsvTableSink 用在无限流的场景下的话，不会马上写出去，会 buffer 起来，在结束的时候会 flush 出去。所以一般常用在测试场景。在真实线上的话，建议用 StreamingFileSink 或者 RollingFileSink。
使用的时候：
res.toAppendStream[Row].addSink(new StreamingFileSink(...))赞1 踩0 评论0 -
回答了问题
2019-07-17
DataStream[POJO]转table如何指定.rowtime字段？
你的 rowtime 定义的没有问题，window 写法也没问题， alias 也没有问题。
问题出在你在最后的 select 中，用了 over window 语法, 也就是clicks.sum over w, impressions.sum over w。over Window 的语法，请参考 https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql.html 搜索 over window，如果只是想做 window aggregare， 直接
clicks.sum, impressions.sum即可。赞1 踩0 评论0 -
回答了问题
2019-07-17
Flink SQL相关问题
据我所知，Flink SQL目前 没有能直接将 bigint 转成 timestamp 的内置函数， 需要自己实现 UDF 。
赞0 踩0 评论0 -
回答了问题
2019-07-17
flink用什么工具开发？
Flink 社区的开发者基本上清一色的都是用的 IntelliJ IDEA , eclipse 没有 IDEA 好用，而且它的 scala 插件有些问题。
赞0 踩0 评论0 -
回答了问题
2019-07-17
关于flinkstream 时间窗体的事件分割方式及使用问题
join 之后 watermark（和 rowtime） 都会丢失，后面就无法再接 window aggregate了。
你可以尝试使用 window-join, https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql.html#joins 搜索Time-windowed Join赞0 踩0 评论0 -
回答了问题
2014-06-17
学大汉武立国
Re学大汉武立国国立武汉大学，呵呵赞0 踩0 评论0 -
提交了问题
2014-04-30
阿里推荐大赛：ODPS之SQL构建离线评估
-
回答了问题
2014-04-27
ODPS大讲堂之概述篇
ReODPS大讲堂之概述篇由于业务原因先有了 sql ，后来开发mr的时候发现在sql上开发快很多？
瞎猜赞0 踩0 评论0 -
回答了问题
2014-04-26
阿里推荐大赛：ODPSSQL入门
回1楼orangeruc的帖子多谢支持！ 希望更多的人出来分享经验-------------------------
回5楼richychen的帖子多谢指正，已修改-------------------------
回8楼halcyon的帖子为什么是对微博感兴趣不是博客呢
队伍是名字很长的一个队-------------------------
回10楼halcyon的帖子还好吧， 觉得只要是认真看过文档的，上手肯定是没问题的。
我们队名叫：进入第二季，成为阿里星，出任CEO，赢取白富美，走向人生巅峰！
很期待您的ODPS大讲堂系列啊~-------------------------
回13楼樱木瞎折腾的帖子多谢您的鼓励！ ：)-------------------------
回12楼算者的帖子多谢您的鼓励！ ：)赞0 踩0 评论0 -
提交了问题
2014-04-26
阿里推荐大赛：ODPSSQL入门
滑动查看更多
暂无更多信息