问题一:flink 这个缓存受table.exec.state.ttl 这个参数控制吗?
flink sql 里面的row number 取topn,这个缓存受table.exec.state.ttl 这个参数控制吗?
参考答案:
Flink SQL中的row number取topn操作不受table.exec.state.ttl参数控制。
table.exec.state.ttl参数用于设置表执行状态的过期时间,它控制着Flink作业中表的状态在被访问后的存活时间。当表的状态超过了该参数指定的时间后,Flink会将过期的状态清理掉,以释放内存资源。
而row number取topn操作是在查询过程中对结果进行排序和截取的操作,与表的执行状态无关。因此,table.exec.state.ttl参数不会对row number取topn操作产生影响。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577056
问题二:json作为csv一个列 flink ddl可以直接把json内字段解析出来吗?
json作为csv一个列 flink ddl可以直接把json内字段解析出来吗? eg: name1,18,{'k1':'v1'}
参考答案:
json_value(json_column, '$.k1' )
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577055
问题三:怎么指定 flink yarn-session 启动 这properties 的文件存放位置?
怎么指定 flink yarn-session 启动 这properties 的文件存放位置?不让他存放在 tmp 目录,要改那个配置
参考答案:
-path xx.properties
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577054
问题四:有遇到过flink on yarn设置了跨域但是不生效的问题吗?
有遇到过flink on yarn设置了跨域但是不生效的问题吗?
参考答案:
是的,我了解到在Flink on YARN中设置跨域可能会遇到不生效的问题。这种情况可能是由于Flink Web UI的跨域配置有误或未正确配置所导致的。为了解决这个问题,您可以考虑以下步骤:
- 确保您的Flink集群已正确部署并运行在YARN上。您可以使用适当的命令提交Flink作业到YARN集群,例如:
./bin/flink run -m yarn-cluster <job_parameters>
。 - 检查Flink的配置文件,确保跨域相关的配置项已正确设置。通常,您需要编辑
flink-conf.yaml
文件,并在其中添加或修改跨域配置,例如:
webproxy.frontend.domain: "*" webproxy.frontend.http-port: 8081 webproxy.frontend.https-port: 8443 webproxy.frontend.crossdomain.enabled: "true" webproxy.frontend.crossdomain.allowedOrigins: "http://localhost:8080"
- 保存对配置文件的更改,并重新启动Flink集群以使更改生效。
- 确保您的应用程序在访问Flink Web UI时使用了正确的URL和端口。您可以使用以下格式的URL来访问Flink Web UI:
http://<resourcemanager-host:resourcemanager-port/proxy/application_id/flink-dashboard
。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577053
问题五:有小伙伴可以提供下 flinkcdc读mysql写kafka表的pom吗?
有小伙伴可以提供下 flinkcdc读mysql写kafka表的pom吗?
参考答案:
当使用Flink CDC从MySQL读取数据并将其写入Kafka时,您需要添加以下依赖项到您的项目的pom.xml文件中:
<dependencies> <!-- Flink dependency --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.13.2</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.13.2</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.13.2</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-debezium_2.11</artifactId> <version>1.13.2</version> </dependency> <!-- MySQL connector --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.26</version> </dependency> <!-- Kafka connector --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </dependency> <!-- Other dependencies --> <!-- ... --> </dependencies>
关于本问题的更多回答可点击进行查看: