问题一:请教一个flinksql 问题,要求是每来一条输出一次结果,有啥办法处理嘛?
请教一个flinksql 问题,要求是每来一条输出一次结果,计算一个数值按照group id,现在发现我一次发多条数据的时候,可能会触发一起计算,不是一条条的,有啥办法处理嘛?
参考回答:
并行度给低点,阻塞一下,Sleep一下
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568860
问题二:flink 116 和flink117 哪个版本稳定些?
flink 116 和flink117 哪个版本稳定些?
参考回答:
楼主你好,一般来说较新的版本有更多的功能和改进,但也可能存在一些潜在的问题,具体选择哪个版本需要根据实际的需求和实际情况来决定。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568579
问题三:flink1.17 日志文件大小哪里控制得?
flink1.17 日志文件大小哪里控制得?谁有log4j配置 发一份出来
几分钟就10几个g
参考回答:
在 Flink 中,可以通过修改 conf/log4j.properties 文件来配置日志的输出格式和文件大小。下面是一份基本的 log4j 配置示例:
# Global logging configuration log4j.rootLogger=INFO, console # Direct log messages to stdout and stderr log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.Target=System.out log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n log4j.appender.stderr=org.apache.log4j.ConsoleAppender log4j.appender.stderr.Target=System.err log4j.appender.stderr.layout=org.apache.log4j.PatternLayout log4j.appender.stderr.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n # Configure file appender for JobManager log files. log4j.appender.file=org.apache.log4j.DailyRollingFileAppender log4j.appender.file.File=${LOG_DIR}/jobmanager.log log4j.appender.file.DatePattern='.'yyyy-MM-dd-HH log4j.appender.file.Append=true log4j.appender.file.Threshold=ALL log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n # Configure file appender for TaskManager log files. log4j.appender.taskmanager.file=org.apache.log4j.DailyRollingFileAppender log4j.appender.taskmanager.file.File=${LOG_DIR}/taskmanager.log log4j.appender.taskmanager.file.DatePattern='.'yyyy-MM-dd-HH log4j.appender.taskmanager.file.Append=true log4j.appender.taskmanager.file.Threshold=ALL log4j.appender.taskmanager.file.layout=org.apache.log4j.PatternLayout log4j.appender.taskmanager.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
在这个配置中,可以通过修改 ${LOG_DIR} 变量来设置日志文件的存储路径。另外,也可以通过修改 log4j.appender.file.MaxFileSize
和 log4j.appender.taskmanager.file.MaxFileSize
参数来限制日志文件的大小。
注意:Flink 不会自动删除过期的日志文件,需要定期清理旧的日志文件以防止磁盘空间耗尽。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568578
问题四:flink启动任务,taskmanager.out 文件增涨非常快,这个文件大小怎么限定?
flink启动任务,taskmanager.out 文件增涨非常快,这个文件大小怎么限定?测试了很多办法发现都不起作用
参考回答:
slf4j依赖冲突,jar包删除就可以了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568577
问题五:有没大佬用过flink sql的 BROADCAST模式?
有没大佬用过flink sql的 BROADCAST模式? 看起来只又datastream能指定 BROADCAST,sql写的作业咋指定~
参考回答:
hints吧,
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568575