开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

pyflink sql固定窗口流输出转pandas未见输出

已解决

描述

table = t_env.sql_query("SELECT column FROM TABLE(TUMBLE(TABLE table1, DESCRIPTOR(event_time), INTERVAL '1' MINUTES))")

table.excute().print() //能正常打印输出,证明前面代码都正常

df=table.to_pandas()

print(df.dtypes) //打印不出

table = t_env.from_pandas(df,schema=schema) s_env.create_temporary_view("table_name",table)

t_env.execute_sql("插入sql") //任务能正常执行,无报错,但就是没输出

`看flink文档介绍按理有界流是能转pandas输出的呀,难道是我理解错啦?能确定sink操作那些代码都没问题,所以到底是为啥?

展开
收起
vkjr7g4l6phai 2023-02-08 18:18:22 744 8
3 条回答
写回答
取消 提交回答
  • 采纳回答

    我又作了另外的测试,来证实从pandas转换为table是正常的,直接从表里读出进行批处理,在这块 table = t_env.from_pandas(df,schema=schema) s_env.create_temporary_view("table_name",table) t_env.sql_query("select * from table_name").excute().print() 能正常打印输出,证明schema是正常的。那么我从kafka流读出,用固定窗口的形式,在这打印输出,为什么会没有值出来呢?固定窗口流转pandas是支持的吧?

    2023-02-09 11:03:16
    赞同 1 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,根据你的标题,可以看出你可以从数据中数据类型下手,排查一下数据类型是否不支持。

    2023-02-09 09:02:00
    赞同 2 展开评论 打赏
  • 因为你没有更多的消息,我猜测可能是由于以下原因,可以按照我列举出来的检查一下:1)输入数据类型不正确;2)输入数据中存在空值;3)输入数据中存在重复列名称;4)输入数据中存在不支持的数据类型。

    2023-02-08 18:33:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
SQL Server 2017 立即下载
中文:即学即用的Pandas入门与时间序列分析 立即下载
即学即用的Pandas入门与时间序列分析 立即下载