徐前进个人页面-阿里云开发者社区

个人头像照片 徐前进 TA的个人档案

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2019-07-17

    有没有人用过1.7 state schema evolution 吗? 不太明白怎么用

    这是对state schema的一个扩展和加强。具体使用可以参照Flink源码:
    https://github.com/apache/flink/blob/master/flink-runtime/src/test/java/org/apache/flink/runtime/state/StateBackendTestBase.java

    踩0 评论0
  • 回答了问题 2019-07-17

    flink用于实时指标统计,现在业务要新加指标,怎样把之前该指标对应的状态捞回来?

    对于已经进数仓的事件指标可以采取关联维表的形式获取数据。也可以通过async/io的方式去loopup数据。

    踩1 评论0
  • 回答了问题 2019-07-17

    开发中用Flink State遇到性能瓶颈不知道原因在哪,求解!!!!

    可以从几个方面优化一下:
    1.对象序列化多发生在数据传输中间,例如不同算子,不同结点之间。对于这种情况可以开启算子之间的chain链。使数据在同一算子之间避免数据传输所产生的序列化。
    2.如你使用的方式一样在窗口内自己实现缓存或借助第三方例如redis,hbase这种kv性能很高的数据库来避免序列化。
    3.像blink一样实现minibatch减少实时去更新state状态的次数。关于blink minibatch可以参考https://yq.aliyun.com/articles/448853

    踩0 评论0
  • 回答了问题 2019-07-17

    Flink 执行checkpoint报错

    如图你得OrderState应该没有描述成Flink所能接受的对象类型。你可以尝试在open方法中创建声明和描述:
    valueState= getRuntimeContext.getState(

      new ValueStateDescriptor[OrderState]("average", createTypeInformation[OrderState])

    )

    踩0 评论0
  • 回答了问题 2019-07-17

    想请教个问题,我watermark后,发现时间少了8个小时,时区问题,大家是怎么解决的啊?

    缺少8小时是因为系统默认产生时间是0时区,而中国是在8时区所以差了8个小时。对于你这个问题可以在你生产watermark的时候加上8个小时进行处理。针对这个问题,社区也有一些isuse讨论可以关注。目前只能在业务代码层面来处理8小时时间差。

    踩0 评论0
  • 回答了问题 2019-07-17

    RichAllWindowFunction的open方法在什么时候被触发

    全局window必须通过触发器设置触发条件来进行触发。
    例如:

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    val source = env.addSource(new SimpleSource)
    
    var triggerTest  = EventTimeTrigger.create()
    
    val window = source
      .keyBy(_._1)
      .window(GlobalWindows.create())
      .trigger(CountTrigger.of(1))
      .apply(new WindowFunctionTest)
      .print().name("GlobalWindows")
    
    env.execute("GlobalWindows")
    踩0 评论0
  • 回答了问题 2019-07-17

    本地运行多个flink任务时,分析占的cpu、内存、时延情况,一般用什么方法或工具呀

    可以将Flink指标输出到Prometheus中,通过Grafana消费Prometheus的指标数据来进行图形监控和展示。包括常用的cpu,内存,9个9等。

    踩0 评论0
  • 回答了问题 2019-07-17

    本地编译flink1.6 1.7都不过,有个 flink-MapR 有问题

    用mvn clean package -DskipTests来编译执行,如果仍然有问题请查看java版本,maven版本,scala版本。

    踩0 评论0
  • 回答了问题 2019-07-17

    请问下各位大佬,在Flink里面频繁出现Checkpoint expired before completing的错误,状态本身并不大,看了一下Checkpoint确认的进度56/64 (88%),还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因?

    出现这个问题从两方面考虑:
    1.checkpoint设置的时间过短(包括完成checkpoint的超时时间)
    env.enableCheckpointing(5000) 这里的5秒生产肯定是不够的
    env.getCheckpointConfig.setCheckpointTimeout(60000)
    2.得从你代码逻辑着手,是不是代码中有出现checkpoint无法完成的逻辑。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多