开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks公共数据集成资源组的资源是什么?

DataWorks公共数据集成资源组的资源是什么?

展开
收起
cuicuicuic 2023-08-07 20:47:03 32 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks公共数据集成资源组主要提供以下资源:

    Spark环境:用于执行ETL任务、模型训练等。公共数据集成资源组内默认配置了具备开发运行能力的Spark环境。

    工具:提供数据采集/传输、数据分析、数据清洗等常见工具。比如:

    数据采集:通过MySQL Connector、Oracle Connector、Redis Connector等借口采集数据。
    数据传输:通过DataX、Flume等工具同步数据。
    数据分析:通过SQL和数据分析框架(如Spark SQL、 HiveSQL等)分析数据。
    数据存储:提供结构化数据存储(MySQL、Oracle等)和非结构化数据存储(HDFS、OSS等)。开发人员可将数据同步或分析结果保存到这些存储中。

    公共数据源:提供内置的部分公共数据源(如阿里电商数据、生活交通数据等),可直接用于数据分析。

    权限:公共数据集成资源组内所有用户的权限都是相同的。

    监控:提供任务执行、资源利用率等方面的监控。

    安全:提供数据加密存储及用户权限管控等安全能力。

    2023-08-09 16:14:45
    赞同 展开评论 打赏
  • 公共数据集成(调试)资源组是DataWorks提供的公共资源组的一种,计费方式为按量计费。所有阿里云DataWorks用户共享使用公共数据集成(调试)资源组资源,使用高峰期可能会出现不同用户间抢占资源的情况,无法保证任务及时调度执行。您可以在公共数据集成(调试)资源组的基础上购买公共资源包,或者直接使用独享数据集成资源组,保障任务的运行。更多公共资源组和公共资源包的介绍可参见公共资源组与公共资源包,独享数据集成资源组的介绍可参见独享数据集成资源组。
    https://help.aliyun.com/document_detail/204058.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 23:21:33
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    阿里邮箱—安全高效集成 立即下载
    集成智能接入网关APP:优化企业级移动办公网络 立即下载
    云效助力企业集成安全到DevOps中 立即下载