我正在使用以下代码进行一些查询:
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
DataStream<Row> ds = SourceHelp.builder().env(env).consumer010(MyKafka.builder().build().kafkaWithWaterMark2())
.rowTypeInfo(MyRowType.builder().build().typeInfo())
.build().source4();
//,proctime.proctime,rowtime.rowtime
String sql1 = "select a,b,max(rowtime)as rowtime from user_device group by a,b";
DataStream<Row> ds2 = TableHelp.builder().tableEnv(tableEnv).tableName("user_device").fields("a,b,rowtime.rowtime")
.rowTypeInfo(MyRowType.builder().build().typeInfo13())
.sql(sql1).in(ds).build().result();
ds2.print();
// String sql2 = "select a,count(b) as b from user_device2 group by a";
String sql2 = "select a,count(b) as b,HOP_END(rowtime,INTERVAL '5' SECOND,INTERVAL '30' SECOND) as c from user_device2 group by HOP(rowtime, INTERVAL '5' SECOND, INTERVAL '30' SECOND),a";
DataStream<Row> ds3 = TableHelp.builder().tableEnv(tableEnv).tableName("user_device2").fields("a,b,rowtime.rowtime")
.rowTypeInfo(MyRowType.builder().build().typeInfo14())
.sql(sql2).in(ds2).build().result();
ds3.print();
env.execute("test");
注意:对于sql1,我使用带有rowtime的max函数,它不起作用,并抛出以下异常:
线程“main”中的异常org.apache.flink.runtime.client.JobExecutionException:java.lang.RuntimeException:Rowtime时间戳为null。请确保定义了正确的TimestampAssigner,并且流环境使用EventTime时间特性。在org.apache.flink.runtime.minicluster.MiniCluster.executeJobBlocking(MiniCluster.java:625)在org.apache.flink.streaming.api.environment.LocalStreamEnvironment.execute(LocalStreamEnvironment.java:123)在com.aicaigroup.water .WaterTest.testRowtimeWithMoreSqls5(WaterTest.java:158)at com.aicaigroup.water.WaterTest.main(WaterTest.java:20)引起:java.lang.RuntimeException:Rowtime timestamp为null。请确保定义了正确的TimestampAssigner,并且流环境使用EventTime时间特性。
然后我尝试像这样更新sql1“从user_device中选择a,b,rowtime”,它可以工作。那么如何修复错误呢?第一个sql应该使用group by,第二个sql应该使用timeWindow的rowtime。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
用assignTimestampsAndWatermarks,只需使用默认和普通的实现BoundedOutOfOrdernessTimestampExtractor。您需要编写extractTimestamp函数来提取时间戳值并在构造函数中声明窗口间隔。
append,proctime.proctime,rowtime.rowtime在字段的末尾(我使用fromDataStream(Flink 1.6)将流转换为表)
如果要将exists字段用作rowtime。例如,数据源字段是“a,clicktime,c”,您可以声明“a,clicktime.rowtime,c”
希望它可以帮助你。