开发者社区> 大数据与机器学习> 大数据开发治理DataWorks

大数据开发治理DataWorks

关注

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

1
今日
18266
内容
7
活动
3077
关注
|
2月前
|
数据采集 DataWorks 监控
|

DataWorks产品使用合集之从一个工作空间克隆节点到另一个工作空间时,所有节点都显示需要重新提交,是什么导致的

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

30 2
|
2月前
|
数据采集 DataWorks 安全
|

DataWorks产品使用合集之如何配置数据过滤规则以确保在同一时间调度执行的数据抽取或同步任务处理的是同一时间范围的数据

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

37 2
|
2月前
|
缓存 分布式计算 DataWorks
|

DataWorks产品使用合集之在标准模式下,如何通过权限申请界面来申请相应的表权限

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

36 3
|
2月前
|
DataWorks 安全 调度
|

DataWorks产品使用合集之如何在安全中心配置用户组

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

27 3
|
2月前
|
数据采集 JSON DataWorks
|

DataWorks产品使用合集之同表结构的数据出来后,无法导入,是什么原因

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

30 0
|
2月前
|
数据采集 DataWorks 监控
|

DataWorks产品使用合集之调度配置中的自定义参数如何设置季度初和周初

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

45 3
|
2月前
|
数据采集 分布式计算 DataWorks
|

DataWorks产品使用合集之怎么创建具有自增主键的表

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

31 1
|
2月前
|
SQL 存储 JSON
|

DataWorks产品使用合集之没有dev环境的project,如何创建数据集成任务时完成网络与资源配置

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

46 1
|
2月前
|
SQL 分布式计算 运维
|

DataWorks产品使用合集之按下Tab键没有反应,是什么原因

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

21 0
|
2月前
|
SQL DataWorks 安全
|

DataWorks产品使用合集之sql查询中是否支持递归查询

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

38 0
|
2月前
|
SQL 运维 DataWorks
|

DataWorks产品使用合集之如何在SelectDB节点中使用参数

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

40 1
|
2月前
|
DataWorks 监控 数据挖掘
|

DataWorks产品使用合集之数据分析维表有什么用处

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

42 0
|
2月前
|
SQL 运维 DataWorks
|

DataWorks产品使用合集之如何通过OpenAPI获取SQL任务每次提交的SQL变更内容

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

30 2
|
2月前
|
SQL 分布式计算 DataWorks
|

DataWorks产品使用合集之怎么编写和执行Spark SQL

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

69 1
|
2月前
|
数据采集 DataWorks 数据库
|

DataWorks产品使用合集之是否可以和Flink 实时计算结合使用

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

48 0
|
2月前
|
SQL DataWorks 监控
|

DataWorks产品使用合集之同步数据到Hive时,如何使用业务字段作为分区键

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

34 1
|
2月前
|
消息中间件 DataWorks 关系型数据库
|

DataWorks产品使用合集之遇到无法连接到本地 MySQL 数据库的问题,该如何解决

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

39 3
|
2月前
|
DataWorks 安全 关系型数据库
|

DataWorks产品使用合集之如何实现MySQL数据库的自动分区

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

35 1
|
2月前
|
SQL 缓存 DataWorks
|

DataWorks产品使用合集之实时同步任务的配置和执行该如何实现

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

35 0
|
2月前
|
DataWorks 安全 关系型数据库
|

DataWorks产品使用合集之如何手动添加第三方包

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

31 3
|
2月前
|
Web App开发 存储 DataWorks
|

DataWorks产品使用合集之对实时同步任务设置告警时支持哪些告警接收方式

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

42 2
|
2月前
|
数据采集 DataWorks 安全
|

DataWorks产品使用合集之集成任务的并发度设置主要影响的是哪个

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

29 1
|
2月前
|
分布式计算 DataWorks 调度
|

DataWorks产品使用合集之在使用MaxCompute进行数据集成同步到OSS时,出现表名和OSS文件名不一致且多了后缀,该如何处理

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

47 6
|
2月前
|
存储 运维 DataWorks
|

DataWorks产品使用合集之如何把运维中心数据集成里面各个任务的执行时间拉取出来

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

31 2
|
2月前
|
分布式计算 DataWorks 数据处理
|

DataWorks产品使用合集之要获取OSS文件大小并配置成调度任务,该如何操作

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

42 5
|
2月前
|
SQL 分布式计算 DataWorks
|

DataWorks产品使用合集之在数据集成中,如何设置写入Hive的用户为指定用户

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

38 4
|
2月前
|
分布式计算 DataWorks Oracle
|

DataWorks操作报错合集之执行Hologres任务时,连接被拒绝,一般是什么导致的

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

40 1
|
2月前
|
DataWorks 网络协议 Java
|

DataWorks操作报错合集之离线同步时,报错信息"Out of range value for column 'A' at row 1" ,表示什么意思

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

48 2
|
2月前
|
DataWorks 安全 Java
|

DataWorks操作报错合集之新建的子账户无法在数据开发查找表数据,报错显示没有权限,该如何处理

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

34 1
|
2月前
|
DataWorks 关系型数据库 API
|

DataWorks操作报错合集之使用PolarDB Reader时,遇到报错:内存溢出,该如何解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

36 0
|
2月前
|
分布式计算 DataWorks 数据挖掘
|

DataWorks操作报错合集之上传数据时报错com.alibaba.datax.common.exception.DataXException: Code:[UnstructuredStorageReader-11],该如何排查

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

92 2
|
2月前
|
SQL DataWorks Java
|

DataWorks操作报错合集之在本地任务和冒烟测试中可以正常运行,但在调度任务中报错,是什么原因

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

49 1
|
2月前
|
SQL DataWorks 关系型数据库
|

DataWorks操作报错合集之分区表的分区数量已经达到或者超过系统允许的最大值,该如何解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

51 5
|
2月前
|
DataWorks 关系型数据库 MySQL
|

DataWorks操作报错合集之输入时提示有GROUP_CONCAT方法,但在运行时报错,该怎么办

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

31 2
|
2月前
|
DataWorks NoSQL fastjson
|

DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中,DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库,该怎么办

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

90 5
|
2月前
|
SQL 分布式计算 DataWorks
|

DataWorks操作报错合集之在执行SQL查询时遇到报错,代码为[XX000],该怎么解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

55 4
|
2月前
|
DataWorks 监控 Java
|

DataWorks操作报错合集之数据源可以连通但离线同步任务报错无法取到源表的字段,是什么导致的

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

46 4
|
2月前
|
分布式计算 DataWorks 关系型数据库
|

DataWorks操作报错合集之使用连接串模式新增PostgreSQL数据源时遇到了报错"not support data sync channel, error code: 0001",该怎么办

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

53 6
|
2月前
|
SQL DataWorks 关系型数据库
|

DataWorks操作报错合集之执行读取任务时遇到报错:“ERROR: failed to acquire resources on one or more segments”,该怎么解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

155 2
|
2月前
|
DataWorks API 数据库
|

DataWorks操作报错合集之在使用 OceanBase (OB) 作为数据源进行数据集成时遇到报错,该如何排查

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

53 1
|
2月前
|
SQL DataWorks 数据可视化
|

DataWorks操作报错合集之测试OSS数据源的连通性时,出现503 Service Temporarily Unavailable的错误,是什么导致的

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

112 3
|
2月前
|
DataWorks 关系型数据库 MySQL
|

DataWorks操作报错合集之调用CreateQualityRule API时,BlockType参数为0,会报错:"blockType less than minimum",该怎么办

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

39 2
|
2月前
|
DataWorks 关系型数据库 MySQL
|

DataWorks操作报错合集之从OceanBase(OB)数据库调度数据到MySQL数据库时遇到连接报错,该怎么办

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

75 0
|
2月前
|
分布式计算 DataWorks Java
|

DataWorks操作报错合集之使用ODPS Tunnel Upload功能时,遇到报错:Java 堆内存不足,该如何解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

66 1
|
2月前
|
SQL 存储 DataWorks
|

DataWorks操作报错合集之添加参数"hdfsUsername":"root"后执行写入操作报错,该如何解决

DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

46 0
|
2月前
|
存储 DataWorks 监控
|

利用 DataWorks 数据推送定期推播 ClickHouse Query 诊断信息

DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 ClickHouse 为例,定期推播 ClickHouse 的慢 Query、数据量变化等信息,帮助用户掌握 ClickHouse 状态。

227 6
|
2月前
|
人工智能 运维 DataWorks
|

语雀+通义千问+DataWorks,让AI定期推送每周总结

DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这篇文章简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。

209 7
|
2月前
|
运维 调度 数据库
|

快讯~数据推送已上架 DataStudio 数据开发,与工作流完美结合

数据推送日前已在数据服务页面上提供全托管式的推送服务,基于同样的底层推送架构,我们将推送的能力也搬上了数据开发 (DataStudio),结合数据开发已有的工作流,提供了简单推送、合并推送、脚本推送及条件推送等四大推送能力,用户能在既有的工作流上弹性组装四种方式的推送。

73 0
|
2月前
|
SQL DataWorks 监控
|

利用 DataWorks 数据推送定期推播 Hologres Query 诊断信息

DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 Hologres 为例,定期推播 Hologres 的慢 Query、数据访问量变化等信息,帮助用户掌握 Hologres 状态。

189 0
|
3月前
|
数据采集 DataWorks 安全
|

DataWorks产品使用合集之想要实现工作空间克隆,该如何操作

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

60 6
我要发布