fink cdc oracle读取数据到 doris写入的时候直接到10G时一次性提交就卡住了
fink cdc oracle读取数据到 doris写入的时候直接到10G时一次性提交就卡住了，doris这边有啥配置参数么？观察日志初始化的时候就是一直从源库读取数据，到10G时有一次stream load提交，但是没提交成功卡住了 org.apache.http.impl.execchain.RetryExec [] - I/O exception (java.net.SocketException) caught when processing request to {}->http://10.11.xx.xx:8040: Broken pipe (Write failed)
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
我猜测可能是由于网络或Dos服务器资源不足导致的。 为了解决这个问题，您可以尝试以下方法： 1.在Dos服务器上检查网络设置，确保网络带宽足够，并尝试降低网络延迟。 2.在Doⅵs服务器上检查磁盘空间和CPU资源，确保服务器资源充足。 3.在Fik作业中调整并行度，以减小每个任务处理的数据量。 4.在Dos中调整数据加载的参数，例如调整数据加载的批次大小、并行度等。 5.尝试使用Doris的异步数据加载功能，可以让Doris在后台加载数据，减少对Flink作业的影响
2022-12-29 23:03:53赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
