开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中doris和sr选择哪个,主键模型用的多?

Flink CDC中doris和sr选择哪个,主键模型用的多?

展开
收起
真的很搞笑 2023-12-01 10:24:18 464 0
4 条回答
写回答
取消 提交回答
  • 在Flink CDC中,Doris和SR都是可选的选项,具体选择哪个取决于你的需求和环境。Doris是一个高性能的MPP数据库,适用于实时分析型和大规模数据处理场景。而SR(Stream Processing Runtime)是Flink的一个流处理运行时,适用于实时计算和流处理场景。

    关于主键模型,在实际应用中,多表关联(JOIN)和分组(GROUP BY)等操作通常需要用到主键。因此,在设计主键模型时,需要考虑到这些因素。一般来说,主键应该具有唯一性、稳定性和易于生成等特点。在实际应用中,常用的主键模型有自增ID、UUID、雪花算法等。具体选择哪种主键模型,需要根据业务需求和数据特性来决定。

    2023-12-02 16:35:29
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,Doris和SR都是可以选择的存储方式。Doris是阿里巴巴开源的一种面向在线分析处理(OLAP)的云原生多维数据库,它支持高速导入大量数据,并可以基于Doris不同的表模型、Rollup、以及物化视图的能力,构建实时数仓。而SR(SimpleReplication)是一种MySQL主从复制模式,它是MySQL自带的一种数据备份和故障恢复机制。

    至于主键模型的使用,这取决于你的具体需求。如果需要对源数据库中的实时数据进行复杂的聚合操作,那么建议使用Doris,因为Doris具有强大的计算能力和高并发读写能力。而如果你的数据量较小,或者只需要简单的查询和写入操作,那么可以选择使用SR。

    此外,Flink CDC与Apache Doris Flink Connector的结合使用可以实现MySQL数据库分库分表实时高效的接入到Doris数据仓库中进行分析。同时,Flink相对于Kafka Streams而言,其算子和SQL模块更为成熟和易用,作业可以通过调整算子并行度的方式轻松扩展处理能力。因此,选择哪种技术和模型,还需要根据你的具体业务场景和需求来决定。

    2023-12-01 21:37:23
    赞同 展开评论 打赏
  • Flink CDC(Change Data Capture for Apache Flink)是一个工具,用于从数据库中捕获变更数据并将其流式传输到Apache Flink。在选择使用Doris还是StarRocks(sr)作为目标存储时,通常需要考虑以下几个因素:

    1. 性能和可扩展性:这两种系统都是为实时分析而设计的列式存储引擎,但它们的性能和可扩展性可能会有所不同。这取决于您的具体工作负载和规模要求。

    2. 功能特性:Doris和StarRocks都有自己的特点和优势。例如,StarRocks具有高速查询能力、支持跨表关联等优点;而Doris可能在某些特定场景下有更适合的功能。

    3. 社区活跃度和支持:检查这两个项目的社区活跃度、文档丰富程度以及技术支持情况。一个更活跃的社区意味着更多的用户反馈、更好的问题解决能力和更快的新功能开发。

    4. 集成难度:评估将Flink CDC与Doris或StarRocks集成的难易程度。如果已经有一个成熟且易于使用的Flink CDC连接器或者插件,那么集成过程会更加顺利。

    5. 成本:根据实际需求和预算来比较两种系统的总体拥有成本,包括硬件、软件许可费用、运维资源等。

    至于主键模型的选择,这主要取决于您的业务需求和数据建模策略。主键模型是一种常用的数据组织方式,它通过定义一个或多个字段作为主键来唯一标识每一行记录。这种模型在许多场景下都十分有效,特别是在需要保证数据完整性、进行事务处理和执行快速查找的情况下。

    2023-12-01 11:33:28
    赞同 展开评论 打赏
  • 有存算分离需求就sr,此回答整理自钉群“Flink CDC 社区”

    2023-12-01 11:13:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载