开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks我数据同步直接连接sqlserver,但这会不会对sqlserver产生很大压力?

DataWorks我们的业务数据库是sqlserver,这个数据有多个业务部门要用,为了解耦我们加了个中间缓冲,用的mongodb,这种情况下,两个方案,1.我数据同步直接连接sqlserver,但这会不会对sqlserver产生很大压力,2.连接mongodb,从monggo里同步数据,数据跟sqlserver是一样的. 那种好一点了,还有没有其他的方案?

展开
收起
cuicuicuic 2023-10-22 20:51:34 40 0
4 条回答
写回答
取消 提交回答
  • 对于您的情况,建议使用连接MongoDB的方案。因为MongoDB是一个NoSQL数据库,具有高并发、高可用和水平扩展等优势,可以更好地应对多业务部门同时访问的压力。此外,通过连接MongoDB同步数据,可以避免直接连接SQL Server对SQL Server产生过大的压力。

    另外,您还可以考虑使用DataWorks的数据集成功能,将多个数据源进行整合,实现数据的实时同步和转换。具体来说,您可以在DataWorks中配置一个数据集成任务,将SQL Server中的数据同步到MongoDB中。这样可以实现数据的实时同步和转换,并且可以根据业务需求进行灵活的配置和管理。

    2023-10-23 11:23:33
    赞同 展开评论 打赏
  • 1)并发高 网络环境好 有可能存在对源端数据库增加压力的情况 离线任务有个限流配置 可以尽量避免这个问题image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-23 05:42:40
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    连接SQL Server直接同步数据可能会对SQL Server产生较大的压力,因为大量的数据同步操作可能会导致SQL Server的性能下降。连接MongoDB从MongoDB中同步数据是一个比较好的方案,因为MongoDB具有良好的扩展性和高可用性,可以通过分片和复制集等技术来提高数据同步的性能和可靠性。
    除了上述方案,还可以考虑使用数据仓库来作为数据同步的中转站。数据仓库是一个专门用于存储和处理数据的系统,它可以对数据进行清洗、转换和加载等操作,以满足不同的业务需求。通过将SQL Server的数据同步到数据仓库,然后再从数据仓库同步到MongoDB,可以有效地降低SQL Server的负载,同时也可以提高数据同步的稳定性和可靠性。
    在选择数据同步方案时,需要考虑多个因素,包括数据的类型、大小、业务需求、系统性能、安全性等。建议您根据实际情况选择最合适的方案,并进行充分的测试和评估,以确保数据同步的稳定性和可靠性。

    2023-10-22 22:28:47
    赞同 展开评论 打赏
  • 在您的情况下,有两种方案可以考虑,即直接连接SQL Server或通过中间缓冲使用MongoDB来同步数据。每种方案都有其优点和考虑因素。

    1. 直接连接SQL Server:

      • 优点:直接连接SQL Server可以实时获取源数据库的数据,并减少了额外的复杂性和成本。
      • 考虑因素:直接连接SQL Server可能会增加对源数据库的负载压力,尤其当多个业务部门同时访问时。此外,如果出现连接故障或性能问题,可能会对源数据库的可用性和性能产生影响。
    2. 使用MongoDB作为中间缓冲:

      • 优点:使用MongoDB作为中间缓冲可以解耦业务部门和SQL Server之间的直接连接,降低了对源数据库的压力。同时,MongoDB还可以提供更灵活的数据模型和查询能力。
      • 考虑因素:使用MongoDB作为中间缓冲会引入额外的复杂性和成本,包括数据同步、数据模型转换等。另外,需要确保同步过程的实时性和一致性。

    除了上述方案,还可以考虑以下其他因素:

    • 数据量和频率:考虑源数据的大小和更新频率。如果数据量较大且频繁更新,直接连接SQL Server可能更合适。如果数据量较小或更新频率不太高,使用中间缓冲可能更具可行性。
    • 数据安全性:根据业务敏感度和合规要求,评估不同方案的数据安全性和访问控制机制。
    2023-10-22 21:27:05
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载