大数据开发治理DataWorks-阿里云开发者社区-阿里云

开发者社区> 大数据与机器学习> 大数据开发治理DataWorks

大数据开发治理DataWorks

关注

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

5
今日
16399
内容
7
活动
3034
关注
|
1月前
|
SQL 分布式计算 DataWorks
|

DataWorks常见问题之使用连接串模式新建ES数据源报错如何解决

DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

55 6
|
1月前
|
数据采集 分布式计算 监控
|

DataWork数据处理问题之数据质量警告如何解决

DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。

49 1
|
1月前
|
DataWorks 关系型数据库 对象存储
|

dataworks数据集问题之同步任务如何解决

DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。

53 4
|
1月前
|
DataWorks NoSQL 关系型数据库
|

dataworks数据集问题之归档存储报错如何解决

DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。

33 3
|
1月前
|
分布式计算 运维 DataWorks
|

松柏之志,下聚百川-松下中国阿里云大数据实践

松下集团在中国及东北亚地区拥有有64家法人公司,员工人数约4万人,业务范围涉及研究开发,养老、铸件、汽车、车载、能源、电池等多个方面,这些多元化的业务组合为松下常年可持续性发展提供坚实保障。中国地区的松下已有30多年的历史,集合了研发、生产、制造、流通、销售、服务于一体。 互联网浪潮下,松下作为百年传统制造业企业,在务实的坚实基础上进行创新,本文将围绕数字化改革中所遇挑战,松下数据治理实践及未来期待三部分进行说明。

101573 13
|
1月前
|
算法 新能源 人机交互
|

万界星空科技MES系统中的生产调度流程

MES系统生产调度的目标是达到作业有序、协调、可控和高效的运行效果,作业计划的快速生成以及面向生产扰动事件的快速响应处理是生产调度系统的核心和关键。

195 0
|
6月前
|
资源调度 DataWorks 前端开发
|

从0到1自建内部使用的API授权平台竟然那么容易?!

最近看了一些API的管理平台如API Layer、boomi、Odoo等平台,思考如果自己动手搭建一个API授权平台是否困难,结果透过网上的资源就能搭建起一个简易且可扩展API授权平台,且大部份依赖的功能都可免费体验,此文分享这次搭建的代码跟使用到的工具,希望想要在公司内部建立自用的API授权平台能很快地实现。

59061 9
|
6月前
|
SQL 人工智能 自然语言处理
|

【2023云栖】田奇铣:大模型驱动DataWorks数据开发治理平台智能化升级

随着大模型掀起AI技术革新浪潮,大数据也进入了与AI深度结合的创新时期。2023年云栖大会上,阿里云DataWorks产品负责人田奇铣发布了DataWorks Copilot、DataWorks AI增强分析、DataWorks湖仓融合数据管理等众多新产品能力,让DataWorks这款已经发展了14年的大数据开发治理平台产品,从一站式向智能化不断升级演进。

58445 8
|
6月前
|
数据采集 JSON API
|

网易云音频数据如何爬取?

网易云音频数据如何爬取?

582 1
|
7月前
|
SQL DataX 文件存储
|

开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题

最近发现,datax更新了最新版本v202309,ds上更新后,同步hive下的parquet文件报错

622 1
|
7月前
|
数据采集 XML 编译器
|

Scala爬虫实战:采集网易云音乐热门歌单数据

Scala爬虫实战:采集网易云音乐热门歌单数据

399 0
|
8月前
|
数据采集 运维 数据管理
|

数据管理能力成熟度模型

为促进大数据产业持续深入发展,提高政府、企事业单位大数据资产管理意识,借鉴国内外成熟度相关理论思想,结合数据生命周期管理各个阶段的特征,对数据管理能力进行了分析、总结,提炼出组织数据管理的八大过程域,并对每项能力进行了二级过程域和发展等级的划分以及相关功能介绍和评定标准的制定。

647 1
|
8月前
|
分布式计算 DataWorks 数据可视化
|

5分钟生成可视化数据分析报告

基于内置电商、广告、出行、汽车、国内生产总值等公开数据集,通过DataWorks与MaxCompute搭建可视化数据报告。

1434 4
|
8月前
|
存储 DataWorks Unix
|

Dataworks数据集成之“文本数据”

Dataworks不是支持文本数据导入么?为什么Excel数据不能导入?CSV文件不就是Excel文件么?关于这些问题,我整理了一篇文章进行解释。

807 2
|
9月前
|
存储 分布式计算 DataWorks
|

【ODPS新品发布第1期】DataWorks全新发布:增强分析/数据建模个人版等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心,致力于解决用户多元化数据的计算需求问题,实现存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。

1463 2
|
9月前
|
分布式计算 DataWorks 数据可视化
|

Github实时数据分析与可视化

基于Github Archive公开数据集,将项目、行为等20+种事件类型数据实时采集至Hologres进行分析,并搭建可视化大屏。

458 0
|
9月前
|
分布式计算 DataWorks 数据可视化
|

DataWorks增强分析发布,一站式数据查询分析与可视化

8月31日阿里云郑州峰会,阿里云行业解决方案研发部总经理曾震宇在主论坛飞天发布时刻重磅发布DataWorks与DataV-Card合作推出的AI增强分析产品,一站式完成从数据查询、分析、可视化、共享的完整链路,1分钟即可形成数据报告,帮助互联网、金融、政务等各个行业客户表达数据观点,讲好数据故事。

1049 1
|
9月前
|
XML JSON 缓存
|

Json实现根据商品ID请求虾皮商品详情数据方法,shopee商品详情API接口,虾皮API接口申请指南

Json实现根据商品ID请求虾皮商品详情数据方法,shopee商品详情API接口,虾皮API接口申请指南

157 0
|
10月前
|
运维 DataWorks
|

DataWorks:For-Each遍历节点并发执行解决方案

为你介绍如何突破For-Each遍历节点128次上限,并实现并发取数执行。

343 1
|
10月前
|
SQL 数据挖掘 网络安全
|

【获奖名单公示】【保姆级教程】挑战SQL Bond,寻找数据分析最强007

各位开发者大家好,感谢大家参加挑战“SQL Bond,寻找数据分析最强007”挑战赛,以下为活动的参与指南,请您仔细阅读便于更顺利地完成比赛。

1440 0
|
11月前
|
SQL 分布式计算 DataWorks
|

挑战SQL Bond,寻找数据分析最强007

免费领取5000元大数据产品,实时分析近7年Github公开数据集,Show Your SQL!

1119 1
|
12月前
|
大数据 数据管理 数据库
|

数据仓库(3)数仓建模之星型模型与维度建模

维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。

415 1
|
SQL 存储 分布式计算
|

数仓架构“瘦身”,Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构,可以将您原先数仓架构中的OLAP系统(Greenplum、Presto、Impala、ClickHouse)、KV数据库/Serving系统(HBase、Redis)统一在一个大数据计算引擎中,并提供快速的离线实时一体化分析能力。

186 0
|
数据安全/隐私保护 数据格式 Python
|

python爬取快手商品数据

python爬取快手商品数据

515 1
|
数据采集 运维 DataWorks
|

DataWorks 综述

帮助企业构建大数据生态系统,提升数据开发效率和数据处理能力。

577 2
|
分布式计算 DataWorks Cloud Native
|

带你读《全链路数据治理-全域数据集成》之1:1. 数据集成简介

带你读《全链路数据治理-全域数据集成》之1:1. 数据集成简介

412 0
|
分布式计算 DataWorks MaxCompute
|

带你读《全链路数据治理-全域数据集成》之2:2. 同步业务场景和技术方案选择对照表

带你读《全链路数据治理-全域数据集成》之2:2. 同步业务场景和技术方案选择对照表

181 0
|
数据采集 运维 监控
|

带你读《全链路数据治理-全域数据集成》之3:3.数据同步增值能力

带你读《全链路数据治理-全域数据集成》之3:3.数据同步增值能力

232 0
|
弹性计算 DataWorks 数据库
|

带你读《全链路数据治理-全域数据集成》之4:1. 实时同步功能概述

带你读《全链路数据治理-全域数据集成》之4:1. 实时同步功能概述

208 0
|
数据库
|

带你读《全链路数据治理-全域数据集成》之5:2. 使用权限

带你读《全链路数据治理-全域数据集成》之5:2. 使用权限

145 0
|
SQL 消息中间件 Oracle
|

带你读《全链路数据治理-全域数据集成》之6:3. 实时同步场景与配置

带你读《全链路数据治理-全域数据集成》之6:3. 实时同步场景与配置

268 0
|
SQL 监控 DataWorks
|

带你读《全链路数据治理-全域数据集成》之7:4. 实时同步附加能力

带你读《全链路数据治理-全域数据集成》之7:4. 实时同步附加能力

172 0

带你读《全链路数据治理-全域数据集成》之8:5. 附表:实时同步支持的数据源与对应的能力

带你读《全链路数据治理-全域数据集成》之8:5. 附表:实时同步支持的数据源与对应的能力

103 0
|
数据采集 弹性计算 数据库
|

带你读《全链路数据治理-全域数据集成》之9:6. 离线同步功能概述

带你读《全链路数据治理-全域数据集成》之9:6. 离线同步功能概述

157 0
|
DataWorks
|

带你读《全链路数据治理-全域数据集成》之10:7. 使用权限

带你读《全链路数据治理-全域数据集成》之10:7. 使用权限

130 0
|
DataWorks 调度 数据库
|

带你读《全链路数据治理-全域数据集成》之11:8. 离线调度

带你读《全链路数据治理-全域数据集成》之11:8. 离线调度

113 0
|
JSON 数据可视化 API
|

带你读《全链路数据治理-全域数据集成》之12:9. 离线同步场景与配置

带你读《全链路数据治理-全域数据集成》之12:9. 离线同步场景与配置

129 0
|
关系型数据库 调度 数据库
|

带你读《全链路数据治理-全域数据集成》之13:10. 离线同步附加能力

带你读《全链路数据治理-全域数据集成》之13:10. 离线同步附加能力

130 0

带你读《全链路数据治理-全域数据集成》之14:11. 附表:离线同步支持的数据源与对应的能力

带你读《全链路数据治理-全域数据集成》之14:11. 附表:离线同步支持的数据源与对应的能力

111 0
|
DataWorks 数据库
|

带你读《全链路数据治理-全域数据集成》之15:1. 背景信息

带你读《全链路数据治理-全域数据集成》之15:1. 背景信息

96 0
|
DataWorks 数据库
|

带你读《全链路数据治理-全域数据集成》之16:2. 网络连通原理介绍

带你读《全链路数据治理-全域数据集成》之16:2. 网络连通原理介绍

125 0
|
DataWorks 数据库
|

带你读《全链路数据治理-全域数据集成》之17:3. 独享数据集成资源组介绍

带你读《全链路数据治理-全域数据集成》之17:3. 独享数据集成资源组介绍

107 0

带你读《全链路数据治理-全域数据集成》之18:4. 网络连通解决方案概览

带你读《全链路数据治理-全域数据集成》之18:4. 网络连通解决方案概览

130 0
|
DataWorks 关系型数据库 网络安全
|

带你读《全链路数据治理-全域数据集成》之19:5. 场景(上)

带你读《全链路数据治理-全域数据集成》之19:5. 场景(上)

191 0
|
DataWorks 关系型数据库 网络安全
|

带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)

带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)

154 0
|
网络虚拟化
|

带你读《全链路数据治理-全域数据集成》之20:6. 附录

带你读《全链路数据治理-全域数据集成》之20:6. 附录

126 0
|
弹性计算 数据库
|

带你读《全链路数据治理-全域数据集成》之21:7. 后续步骤

带你读《全链路数据治理-全域数据集成》之21:7. 后续步骤

114 0
|
分布式计算 DataWorks 关系型数据库
|

带你读《全链路数据治理-全域数据集成》之22:1. 背景信息

带你读《全链路数据治理-全域数据集成》之22:1. 背景信息

171 0

带你读《全链路数据治理-全域数据集成》之23:2. 使用限制

带你读《全链路数据治理-全域数据集成》之23:2. 使用限制

141 0
|
分布式计算 DataWorks 关系型数据库
|

带你读《全链路数据治理-全域数据集成》之24:3. 准备工作:添加数据源

带你读《全链路数据治理-全域数据集成》之24:3. 准备工作:添加数据源

162 0
我要发布