开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks配置数据源(输入为PolarDB)使用限制是什么?

DataWorks配置数据源(输入为PolarDB)使用限制是什么?

展开
收起
cuicuicuic 2023-07-16 12:14:48 72 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,配置PolarDB数据源时,存在一些使用限制,具体如下:

    数据库版本:DataWorks目前支持PolarDB for PostgreSQL 10.0及以上版本。如果您使用的是低于10.0版本的PolarDB数据库,可能无法正常配置数据源。

    网络设置:在配置PolarDB数据源时,需要开启数据库的公网访问权限,并将DataWorks的IP地址添加到数据库的白名单中。同时,为了保证数据传输的安全性,建议将数据库的访问权限设置为SSL加密方式。

    并发连接数:DataWorks对每个PolarDB数据源的并发连接数有一定的限制,具体限制数量取决于您所购买的DataWorks实例规格和PolarDB数据库的配置情况。如果您需要提高并发连接数,可以考虑升级DataWorks实例或者增加PolarDB数据库的性能。

    数据量大小:在使用PolarDB数据源时,需要注意数据量的大小和数据传输的效率。如果数据量过大,可能会导致数据传输过程中的延时和错误。建议您在使用PolarDB数据源时,尽可能减小数据传输的范围和数据量,以提高数据传输的效率和稳定性。

    数据库访问权限:在配置PolarDB数据源时,需要使用具有读取和写入权限的数据库账号和密码。同时,建议您将账号和密码保存在DataWorks的密钥管理中,以保证账号和密码的安全性。

    2023-07-21 20:06:42
    赞同 展开评论 打赏
  • 在DataWorks中配置数据源时,对于使用PolarDB(阿里云的云数据库服务)作为输入源,有以下一些限制:

    1. 数据库版本:DataWorks目前仅支持PolarDB for MySQL 5.7版本作为输入源。

    2. 网络连通性:确保DataWorks和PolarDB之间的网络连接是正常的,以便DataWorks能够访问和读取PolarDB中的数据。

    3. 账号权限:在配置数据源时,需要提供一个具有读取PolarDB数据表的账号。确保该账号拥有足够的权限来执行所需的数据操作。

    4. 表结构变更:如果PolarDB中的表结构发生变化(例如添加或删除列),需要手动更新DataWorks中相应的数据表结构,以便保持数据同步和正确性。

    5. 容量限制:DataWorks对于单个数据表的容量有限制,最大支持10TB的数据表容量。如果超过这个限制,可能需要进行数据分片或其他处理来满足要求。

    2023-07-18 13:32:13
    赞同 展开评论 打赏
  • 目前仅支持使用同步方案同步PolarDB MySQL类型的数据源,不支持同步其他类型的PolarDB数据源。文中均使用PolarDB代指PolarDB MySQL类型的数据源。PolarDB目前只能用主节点(读写库)进行实时同步。
    https://help.aliyun.com/document_detail/203625.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 12:24:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    云栖大会:开源 PolarDB 架构演进、关键技术与社区建设 立即下载
    2023云栖大会:和客户一起玩转PolarDB新特性 立即下载
    2023云栖大会:PolarDB for AI 立即下载