开发者社区大数据与机器学习大数据开发治理DataWorks 文章正文

DataWorks百问百答01：数据同步该用什么资源组？

2020-03-06 3810

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 很多用户在使用数据集成建立同步任务时，往往都会困惑一个设置，即“资源组设置”。大家常有的疑问是“资源组是用来做什么的？跟网络之间什么关系？我该选择那种资源组？”下面本文给您一个简要的介绍。

引子

很多用户在使用数据集成建立同步任务时，往往都会困惑一个设置，即“资源组设置”。
大家常有的疑问是“资源组是用来做什么的？跟网络之间什么关系？我该选择那种资源组？”
下面本文给您一个简要的介绍。

什么是资源组

资源组是数据集成用来运行数据同步任务的计算资源，可以通俗的理解为“带有CPU、内存和网络的计算机或计算机集群”。同步任务就是运行在上面的“程序”。所以如果机器性能低或者运行的程序过多，都会导致任务执行效率，而有如果机器的网络不通，那么也会出现连接不到数据源的问题。

文章标签：

大数据开发治理平台 DataWorks

DataWorks

相关实践学习

基于Hologres轻量实时的高性能OLAP分析

本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。

墨祤

DataWorks Java 关系型数据库

DataWorks百问百答05：数据同步任务出现脏数据怎么办？

墨祤

5973 0 0

云技术达人

7月前

存储人工智能大数据

云栖2025｜阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级

阿里云在云栖大会发布“湖流一体”数智平台，推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品，融合实时化、多模态、智能化技术，打造AI时代高效开放的数据底座，赋能企业数字化转型。

云技术达人

1311 0 0

阿里云大数据Al技术

11月前

数据采集自动驾驶 Java

PAI-TurboX：面向自动驾驶的训练推理加速框架

PAI-TurboX 为自动驾驶场景中的复杂数据预处理、离线大规模模型训练和实时智能驾驶推理，提供了全方位的加速解决方案。PAI-Notebook Gallery 提供PAI-TurboX 一键启动的 Notebook 最佳实践

阿里云大数据Al技术

3246 2 2

实时数仓Hologres团队

存储 SQL 人工智能

Hologres 4.0全新发布：AI时代的一站式多模态分析平台

2025年云栖大会，Hologres发布全新4.0版本升级，以“AI时代的一站式多模态分析平台”为核心理念，全面展示了Hologres在结构化、半结构化与非结构化数据分析能力上的重大突破，特别是在OLAP分析、点查、向量检索、全文检索、湖仓协同及AI Function集成等方面的领先优势，刷新ClickBench、JSONBench、VectorDBBench等多项榜单，登顶第一。

实时数仓Hologres团队

1358 0 0

墨祤

存储 JSON 分布式计算

StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践

阿里集团在推进湖仓一体化建设过程中，依托 StarRocks 强大的 OLAP 查询能力与 Paimon 的高效数据入湖特性，实现了流批一体、存储成本大幅下降、查询性能数倍提升的显著成效： A+ 业务借助 Paimon 的准实时入湖，显著降低了存储成本，并引入 StarRocks 提升查询性能。升级后，数据时效提前60分钟，开发效率提升50%；JSON列化存储减少50%，查询性能提升最高达10倍；OLAP分析中，非JOIN查询快1倍，JOIN查询快5倍。饿了么升级为准实时Lakehouse架构后，在时效性仅损失1-5分钟的前提下，实现Flink资源缩减、StarRocks查询性能提升（仅5%

墨祤

1235 60 60

StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践

winx_19970108018

11月前

监控数据挖掘 API

淘宝API系列：淘宝商品详情接口详解

淘宝商品详情接口是淘宝开放平台的核心服务之一，支持开发者通过编程获取商品的标题、价格、销量、描述、图片、视频及SKU信息。广泛应用于电商数据分析、价格监控、竞品分析和自动化工具开发，助力企业提升运营效率与市场竞争力。

winx_19970108018

272 4 5

阿里云

11月前

数据采集人工智能运维

训练时间可缩短50%！阿里云推出自动驾驶模型加速框架

阿里云推出PAI-TurboX框架，专为自动驾驶领域模型训练与推理加速设计，可提升感知、规划控制及世界模型效率，缩短训练时间50%以上，并已广泛应用于多家车企。

阿里云

809 0 0

探索云世界

11月前

分布式计算运维监控

Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速

本文介绍了流利说与阿里云合作，利用EMR Serverless Spark优化数据处理的全过程。流利说是科技驱动的教育公司，通过AI技术提升用户英语水平。原有架构存在资源管理、成本和性能等痛点，采用EMR Serverless Spark后，实现弹性资源管理、按需计费及性能优化。方案涵盖数据采集、存储、计算到查询的完整能力，支持多种接入方式与高效调度。迁移后任务耗时减少40%，失败率降低80%，成本下降30%。未来将深化合作，探索更多行业解决方案。

探索云世界

810 1 1

开放平台助手

IDE API 开发工具

沉浸式集成阿里云 OpenAPI｜Alibaba Cloud API Toolkit for VS Code

Alibaba Cloud API Toolkit for VSCode 是集成了 OpenAPI 开发者门户多项功能的 VSCode 插件，开发者可以通过这个插件方便地查找API文档、进行API调试、插入SDK代码，并配置基础环境设置。我们的目标是缩短开发者在门户和IDE之间的频繁切换，实现API信息和开发流程的无缝结合，让开发者的工作变得更加高效和紧密。

开放平台助手

8582 3 4

沉浸式集成阿里云 OpenAPI｜Alibaba Cloud API Toolkit for VS Code

dataworks_demo21

存储数据采集 DataWorks

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

阿里巴巴一直将数据作为自己的核心资产与能力之一，从最早的淘宝、天猫等电商业务，到后续的优酷、高德、菜鸟等板块，DataWorks、MaxCompute、Hologres等产品用一套技术体系来支持不同业务的发展与创新，为企业带来整体的“数据繁荣”。数据繁荣为我们带来了红利，同时也带动了各类数据治理需求的井喷，特别是降本等需求的不断出现，阿里云DataWorks团队将13年的产品建设经验整理成最佳实践，从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方面为大家揭秘数据治理平台建设实践

dataworks_demo21

34482 15 39

大数据与机器学习

DataWorks百问百答01：数据同步该用什么资源组？

引子

什么是资源组

大数据开发治理DataWorks

热门文章

最新文章

相关产品

相关电子书