虎纠小老头
虎纠小老头_个人页
虎纠小老头
文章
1
问答
46
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
-
回答了问题
2020-10-22
为体验实验室取一个新名字。
菜鸟实验室赞0 踩0 评论0 -
回答了问题
2020-07-03
postgis是不是不支持多进程呢?#PG
前几天看书，可以通过执行计划判断是否走了多进程查询赞0 踩0 评论0 -
回答了问题
2020-05-15
哪位大神知道，flink 在新任务中，如何获取之前任务中已经创建过的表？ #Flink
flink的Table&SQL API 建表都会存在对应的 catalog 的 database 中。默认情况下，使用的是 org.apache.flink.table.catalog.GenericInMemoryCatalog 你注册的souce表也好，sink表也好，中间创建的table或者view也好，都会注册在这个catalog中，也就是内存中，任务结束，信息不会被保存 如果你想跨flink session使用表。 比如我提前创建好source表的表结构，如kafakSource，然后其他任务就不用再很麻烦的重新注册这个kafkasource表的话。 需要自己实现一个 catalog 类，将注册的表信息写道mysql中或者其他持久化存储中。 这样任何的flink任务，只要使用你自己实现的catalog，就可以获取定义好的表。 可以看下我这个flink与hive集成时的demo，flink自带的hive的catalog就是这么做的，只不过更复杂 https://github.com/935205406/flink-hive-integration-demo/blob/master/src/main/java/com/example/flink/HiveWriteDemo.java赞0 踩0 评论0 -
回答了问题
2019-12-13
想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP
我们也在研究这块、打算用groovy加aviatror的方案动态修改cep的规则、但是也要改flink源码赞0 踩0 评论0 -
回答了问题
2019-12-12
实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗
HBase也可以，kv格式都可以。赞0 踩0 评论0 -
回答了问题
2019-12-11
请问各位是怎么解决实时流数据倾斜的？
可以keyby keyby之后还 是数据倾斜的话现在解决的方法一般是LocalGlobal 可以看一下 相当于MapReduce的Combine+Reduce https://help.aliyun.com/document_detail/98981.html?spm=a2c4g.11186623.6.614.86286d163E6NmE赞0 踩0 评论0 -
回答了问题
2019-12-10
基于flink开发，需要具备什么条件？比如需要团队懂什么开发语言？属于研发性的工作内容是什么？属于非
一般是 java 和 scala，现在社区也在发展 python。后期应该会有更好的支持赞0 踩0 评论0 -
回答了问题
2019-12-10
大佬们 这里为什么用的是flatmap 而不是 map 算子呢?
map的话每个消息都需要有输出，flatMap的话过滤掉的不需要转换,flatMap相当于filter+map赞0 踩0 评论0 -
回答了问题
2019-12-09
大佬们，想问个cep的场景，监控用户的轨迹，用户的经纬度会上传到后台。我怎么用cep判断一定的时间间
距离可以在where中做下判断吧，如果关闭定位数据不在上传，那么整个模式匹配失败，之前的事件就会被清理掉赞0 踩0 评论0 -
回答了问题
2019-12-09
请问下flink双流join的时候，用id做关联，右边的用户属性可能很久才来一条，左表的用户行为数据
感觉你这种场景不适合双流jion，用户表可以认为维表吧 放在数据库里 行为数据来的时候再查询关联赞0 踩0 评论0 -
回答了问题
2019-12-06
求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟
这种不可累加型的指标，全天数据几分钟产出一次，确实很烦人，而且state还得手动清，那个ttl不支持event time，说实话感觉用外部存储，比如redis 的hyperloglog会更好一些，uv这种不可累加的指标，放在state里面确实不太好维护赞0 踩0 评论0 -
回答了问题
2019-12-06
Flink是不是也是这样的？
如果上游source组件支持重放，下游sink组件支持事务就可以实现端到端赞0 踩0 评论0 -
回答了问题
2019-12-04
请问Flink已经开启增量checkpoint，随着状态越来越大作业的checkpoint也越来越慢
定位瓶颈在哪里，应该是磁盘io是瓶颈,可以关闭 local recovery，并且把 本地的 rocksdb 目录指定到多个磁盘赞0 踩0 评论0 -
回答了问题
2019-12-03
kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。
一条一条提交，Kafka的压力肯定山大。。。如果不想丢数据，只能尽量把checkpoint的周期设短一点赞0 踩0 评论0 -
回答了问题
2019-12-02
flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎
https://mp.weixin.qq.com/s?__biz=MzU5Mzk3MDA3Mw==&mid=2247483866&idx=2&sn=6a3b458caf5bebf0171f9fbd834b7517&chksm=fe09172cc97e9e3a590f5ea2978d078b1b46d94f86bd344173fa69c1d63790b09d2fe173bffb&token=1856795336&lang=zh_CN#rd 参考下赞0 踩0 评论0 -
回答了问题
2019-11-29
flink的反压为什么不加入metrics呢？只能通过api获取
可以看下 flink_taskmanager_job_task_buffers_outPoolUsage 这个指标赞0 踩0 评论0 -
回答了问题
2019-11-29
各位大佬，Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条
窗口自带trigger是在窗口结束时触发，如果想提早触发可以提供一个额外trigger，例如stream.tumblingWindow(...).trigger(new ContinuousTrigger(...))，如果需要每来条消息就触发就换用CountTrigger赞0 踩0 评论0 -
回答了问题
2019-11-28
滑动窗口 排序 报错这个是什么原因呢?
这个可能是数据格式的问题赞0 踩0 评论0 -
回答了问题
2019-11-26
flink遇到The assigned slot container_1540803405745_0
应该是你yarn配置container最大使用内存的原因赞0 踩0 评论0 -
回答了问题
2019-11-26
有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，后台也取消不了程
shell 命令查看连接数撒,大概率是跟redis mysql 这类代码没释放连接有关系,取消不了任务 应该是临时文件呗自动删除了 设置修改一个参数路径应该就好了赞0 踩0 评论0
滑动查看更多
暂无更多信息