开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks想问一下目前这个数据源连接数限制是多少?

dataworks高并发调用数据服务api接口时会报这个错误,想问一下目前这个数据源连接数限制是多少(同时最大支持多少api并发查询)、是使用同一数据源的所有api共享这些连接数么?image.png

展开
收起
cuicuicuic 2024-03-04 08:32:57 16 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的数据源连接数限制取决于具体的数据源类型和配置。不同的数据源可能有不同的并发查询限制,例如数据库、API接口等。

    对于API接口,DataWorks通常使用HTTP连接池来管理连接数。HTTP连接池的大小可以根据实际需求进行调整,以支持高并发的API调用。

    在DataWorks中,同一数据源的所有API共享这些连接数。这意味着如果一个数据源有多个API接口,它们将共享相同的连接池,并且连接数的限制将根据该数据源的配置而定。

    2024-03-04 15:06:31
    赞同 展开评论 打赏
  • 这个连接数应该是服务端的限制 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-03-04 09:57:45
    赞同 展开评论 打赏
  • 数据源连接数限制功能,是指:

    目标端写入并发数:在实时数据同步任务内,向目标端写入数据的最大线程数。需要根据资源组大小和目标端实际规模合理设置。目前可配置的上限为32,默认值为3。

    来源端读取支持最大连接数:同步解决方案的离线全量数据初始化阶段,会基于JDBC建立到数据库连接并读取全量历史数据。此连接数即用来控制数据来源端支持的最大JDBC连接数,避免大量任务同时启动打满数据库连接池,影响数据库的稳定性。请根据数据库资源的实际情况合理配置,默认为15。如果您发现任务长时间处于Submit状态,一般是因为数据源最大连接数限制导致(可以尝试任务错峰运行、评估增加最大连接数限制)。

    数据源连接数Quota限制,功能入口(数据同步解决方案)如下图所示:
    a7aafc75da30970adcd5ab6a316271b2_p538706.png

    文档 https://help.aliyun.com/zh/dataworks/user-guide/channel-control-settings-for-batch-synchronization?spm=a2c4g.11186623.0.i20

    2024-03-04 08:41:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多