问题一:Flink的tmp的这个目录产生临时文件很大,我想配置到外面,有配置项可以配置吗?
Flink的tmp的这个目录产生临时文件很大,我想配置到外面,有配置项可以配置吗?
参考答案:
io.tmp.dirs:Flink放置本地数据的目录,默认为系统临时目录(java.io.tmpdir属性)。如果配置了目录列表,则Flink将文件在这些目录之间进行轮转。
这些目录中的数据默认包括RocksDB创建的文件、溢出的中间结果(批处理算法)和缓存的jar文件。
这些数据不依赖于持久性/恢复,但如果删除了这些数据,通常会导致一次重量级的恢复操作。因此,建议将其设置为不会自动定期清除的目录。
Yarn和Kubernetes设置默认将此值配置为本地工作目录。
Yarn上的’LOCAL_DIRS’。独立环境中为System.getProperty(“java.io.tmpdir”)
临时文件的目录,由逗号“,”、“
——参考链接。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578528
问题二:Flink这个地方 有状态启动 - 从其他作业恢复; 怎么感觉选择有点怪怪的?
Flink这个地方有状态启动 - 从其他作业恢复,怎么感觉选择有点怪怪的?具体就是新作业无法支持 “从有状态启动”
参考答案:
新作业没有状态。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578527
问题三:Flink sql中是怎样处理这类数据的呢?
Flink sql中是怎样处理这类数据的呢?
我看ctas作业好像可以过滤
参考答案:
引擎自己会去做,但是你没法控制。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578526
问题四:Flink读取mysql cdc有办法过滤掉 update_before类型的数据嘛?
Flink读取mysql cdc有办法过滤掉 update_before类型的数据嘛?
参考答案:
没有办法。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/578525
问题五:Flink这个 bucket 可以修改么?
Flink这个 bucket 可以修改么?
参考答案:
不可以。
关于本问题的更多回答可点击进行查看: