开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle每天日志增量是多少昂?

Flink CDC中oracle每天日志增量是多少昂?一天1.5T日志正常么, 同样的数据量,mysql的binlog才三十多G?image.png

展开
收起
cuicuicuic 2023-11-16 07:35:38 50 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您的描述,在 Flink CDC 中使用 Oracle 数据库的情况下,每天产生的日志大约为 1.5 TB。相比之下,同样数量的数据在 MySQL 的 binlog 中只占用了约 30 GB。这样的差异可能是由于 Oracle 和 MySQL 的 binlog 格式不同所导致的。
    在 Oracle 中,binlog 也被称为 redo log,用于记录数据库的更改操作。与 MySQL 不同,Oracle 的 redo log 是二进制格式的,并且包含更多的详细信息。因此,Oracle 的 redo log 可能会比 MySQL 的 binlog 大得多。
    此外,Oracle 还有一个名为 archive log 的特性,可以将 redo log 存储在单独的归档文件中。如果您启用了此功能,那么 Oracle 的日志占用的空间可能会进一步增大。
    总的来说,不同的数据库系统对于存储日志的方式有所不同,因此会导致日志大小上的差异。在这种情况下,建议您检查一下 Oracle 的 redo log 设置,并考虑是否需要启用 archive log 功能以及调整其相关的参数,以便更好地管理日志空间的使用情况。

    2023-11-17 15:06:01
    赞同 展开评论 打赏
  • Flink CDC(Change Data Capture)对于Oracle和MySQL的数据捕获方式是不同的。Oracle的日志增量主要取决于你的数据库活动,包括插入、更新和删除操作的数量。如果你的数据库活动非常活跃,那么每天的日志增量可能会非常大。

    对于同样大小的数据量,MySQL的binlog通常会比Oracle的redo log小得多,这是因为MySQL的binlog只记录数据的改变,而Oracle的redo log则记录了所有的事务操作。因此,即使你的数据量相同,Oracle的日志增量也可能会比MySQL的大。

    关于你的具体数据量,1.5T的日志增量对于一个大型数据库来说并不算太大。但是,这也会对你的数据捕获和处理任务带来一定的压力。你可能需要考虑优化你的数据捕获和处理流程,例如使用更高效的存储格式,或者并行处理多个日志文件。

    此外,你也可以考虑使用像Flink CDC这样的工具来自动化你的数据捕获和处理任务,这样可以大大减轻你的工作负担。

    2023-11-17 10:39:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载