资深java菜鸟
能力说明:
了解变量作用域、Java类的结构,能够创建带main方法可执行的java应用,从命令行运行java程序;能够使用Java基本数据类型、运算符和控制结构、数组、循环结构书写和运行简单的Java程序。
暂时未有相关云产品技术能力~
阿里云技能认证
详细说明2019年12月
2019年11月
我的理解是 看入参 如果传进来的是list 就需用用flatmap 如果传进来的是不是list 可以直接用map, 一般keyby出来的结果都是一个list
flatmap function 加上自定义state? 然后数据也可以存state 满足的时候发射应该就可以了吧
我做过一个量很大的数据去重 flink state里面放布隆过滤器
如果flink上游接kafka,有2个办法暂停:1,自己开发一个confluent connector把消息转发到新的topic,反压时把这个connector stop住。2,中间再塞一个kafka mirror,和一个新的kafka,消息转发到新的kafka。反压时把mirror暂停。
connector jar放在flink lib中,不要打进fat
干货