开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问dataworks如何通过公网连接doris?

请问dataworks如何通过公网连接doris?

展开
收起
真的很搞笑 2024-01-27 17:32:10 136 0
4 条回答
写回答
取消 提交回答
  • doris应该只能用内网6e6aab476b96ac7bf03f3a45e890f34b.png
    https://help.aliyun.com/zh/dataworks/user-guide/doris-data-source?spm=a2c4g.11186623.0.i3#task-2350665 不是标准的使用方式 没有测试过 不过基于这个逻辑 应该也需要内网 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 09:44:44
    赞同 1 展开评论 打赏
  • 看下文档:数据同步任务开发:Doris同步流程指导https://help.aliyun.com/zh/dataworks/user-guide/doris-data-source?spm=a2c4g.453462.0.i10

    创建数据源
    在进行数据同步任务开发时,您需要在DataWorks上创建一个对应的数据源,操作流程请参见创建与管理数据源。下面对Doris数据源的几个配置项进行说明:
    JdbcUrl:请填写JDBC连接串,包含IP、端口号、数据库和连接参数。支持公网IP和私网IP,如果使用公网IP,请确保数据集成资源组能够正常访问Doris所在的主机。
    FE endpoint:请填写FE节点的IP和端口。如果您的集群中有多个FE节点,可以配置多个FE节点的IP和端口,每个IP和端口以逗号分隔,例如ip1:port1,ip2:port2。在测试连通性时,会对所有的FE endpoint做连通性测试。
    用户名:请填写Doris数据库的用户名。
    密码:请填写Doris数据库对应用户的密码。
    image.png

    2024-01-28 08:40:18
    赞同 展开评论 打赏
  • 在阿里云DataWorks中,要通过公网连接Doris集群,需要确保以下几个关键步骤:

    1. 配置Doris集群公网访问

      • 确保Doris集群对外开放了公网访问端口。Doris FE节点(Frontend)需要有一个公网IP地址,并在防火墙规则中开启相应的端口(默认为9030,具体端口可能根据集群配置而变化)。
    2. Doris集群安全设置

      • 如果Doris集群处于安全管控较为严格的环境,可能需要在Doris集群的安全策略中配置允许公网访问的IP白名单或者使用SSL加密连接。
    3. DataWorks数据源配置

      • 在DataWorks中添加一个新的数据源,选择对应的Doris数据源类型(如Doris Reader或Doris Writer插件)。
      • 配置数据源连接信息时,填入Doris FE节点的公网IP地址和对外开放的端口。
      • 提供必要的认证信息,包括用户名和密码(或密钥)。
    4. 网络连通性

      • 使用NAT网关或EIP(弹性公网IP)服务确保DataWorks所在的VPC网络可以顺利访问到公网IP的Doris集群。
    5. 数据集成任务设置

      • 创建数据同步任务或数据开发任务时,选择之前配置好的Doris公网数据源,确保任务能够通过公网连接到Doris集群。

    请注意,通过公网连接数据源可能会影响数据传输的安全性和性能,建议尽量采用VPC内网或者云企业网(CEN)等方式进行私网互联,以确保数据安全和网络性能。在必须使用公网的情况下,务必做好数据加密和安全防护措施。

    2024-01-27 22:17:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks可以通过配置网络连通性和IP白名单来通过公网连接Doris。具体操作步骤如下:

    1. 网络连通性配置:您需要确保DataWorks工作空间所在地域与Doris数据源所在地域的网络环境是连通的。这可以通过使用云企业网(CEN)、高速通道、VPN网关等网络连通工具来实现。
    2. 资源组网络连通:在DataWorks中,调用API时需要配置资源组网络连通,以确保资源组能够正常访问数据源。这通常涉及到在数据源中配置IP白名单,以允许特定的IP地址访问数据源。
    3. 使用公共(调试)资源组:如果您使用的是数据集成公共(调试)资源组,虽然它具备一定的公网能力,但并不是所有的网络都能保证通畅。因此,为了确保同步的稳定性,建议使用独享数据集成资源组来进行操作。
    4. Doris Writer使用:DataWorks数据集成支持使用Doris Writer来导入表数据至Doris。您需要在DataWorks中配置相应的Doris Writer任务,以便将数据从其他数据源同步到Doris中。
    5. 注意事项:在进行上述配置时,请注意更新和检查IP白名单,确保资源组的网络连通性,并根据实际情况选择合适的资源组类型。

    总的来说,通过上述步骤,您可以实现DataWorks通过公网连接Doris的目的。在操作过程中,务必注意网络安全和数据同步的稳定性,以确保数据的安全和准确性。

    2024-01-27 20:39:05
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载