徐前进
徐前进_个人页
徐前进
文章
0
问答
9
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
暂无更多信息
-
回答了问题
2019-07-17
有没有人用过1.7 state schema evolution 吗？ 不太明白怎么用
这是对state schema的一个扩展和加强。具体使用可以参照Flink源码：https://github.com/apache/flink/blob/master/flink-runtime/src/test/java/org/apache/flink/runtime/state/StateBackendTestBase.java赞0 踩0 评论0 -
回答了问题
2019-07-17
想请教个问题，我watermark后，发现时间少了8个小时，时区问题，大家是怎么解决的啊？
缺少8小时是因为系统默认产生时间是0时区，而中国是在8时区所以差了8个小时。对于你这个问题可以在你生产watermark的时候加上8个小时进行处理。针对这个问题，社区也有一些isuse讨论可以关注。目前只能在业务代码层面来处理8小时时间差。赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink 执行checkpoint报错
如图你得OrderState应该没有描述成Flink所能接受的对象类型。你可以尝试在open方法中创建声明和描述： valueState= getRuntimeContext.getState( new ValueStateDescriptor[OrderState]('average', createTypeInformation[OrderState]) )赞0 踩0 评论0 -
回答了问题
2019-07-17
本地运行多个flink任务时，分析占的cpu、内存、时延情况，一般用什么方法或工具呀
可以将Flink指标输出到Prometheus中，通过Grafana消费Prometheus的指标数据来进行图形监控和展示。包括常用的cpu，内存，9个9等。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink用于实时指标统计，现在业务要新加指标，怎样把之前该指标对应的状态捞回来？
对于已经进数仓的事件指标可以采取关联维表的形式获取数据。也可以通过async/io的方式去loopup数据。赞0 踩0 评论0 -
回答了问题
2019-07-17
RichAllWindowFunction的open方法在什么时候被触发
全局window必须通过触发器设置触发条件来进行触发。例如： val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) val source = env.addSource(new SimpleSource) var triggerTest = EventTimeTrigger.create() val window = source .keyBy(_._1) .window(GlobalWindows.create()) .trigger(CountTrigger.of(1)) .apply(new WindowFunctionTest) .print().name('GlobalWindows') env.execute('GlobalWindows')赞0 踩0 评论0 -
回答了问题
2019-07-17
开发中用Flink State遇到性能瓶颈不知道原因在哪，求解！！！！
可以从几个方面优化一下：1.对象序列化多发生在数据传输中间，例如不同算子，不同结点之间。对于这种情况可以开启算子之间的chain链。使数据在同一算子之间避免数据传输所产生的序列化。2.如你使用的方式一样在窗口内自己实现缓存或借助第三方例如redis，hbase这种kv性能很高的数据库来避免序列化。3.像blink一样实现minibatch减少实时去更新state状态的次数。关于blink minibatch可以参考https://yq.aliyun.com/articles/448853。赞0 踩0 评论0 -
回答了问题
2019-07-17
本地编译flink1.6 1.7都不过，有个 flink-MapR 有问题
用mvn clean package -DskipTests来编译执行，如果仍然有问题请查看java版本，maven版本，scala版本。赞0 踩0 评论0 -
回答了问题
2019-07-17
请问下各位大佬，在Flink里面频繁出现Checkpoint expired before completing的错误，状态本身并不大，看了一下Checkpoint确认的进度56/64 (88%)，还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因？
出现这个问题从两方面考虑:1.checkpoint设置的时间过短(包括完成checkpoint的超时时间)env.enableCheckpointing(5000) 这里的5秒生产肯定是不够的env.getCheckpointConfig.setCheckpointTimeout(60000)2.得从你代码逻辑着手，是不是代码中有出现checkpoint无法完成的逻辑。赞2 踩0 评论0
滑动查看更多
暂无更多信息