大数据开发治理DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
【建议收藏】|某大型金融集团内部数据治理实战总结
近几年,企业都在做数字化转型。 数字化转型是为了使组织更好地适应数字时代的变革,提高效率、降低成本、增强竞争力。是将业务和流程数字化,以实现更快、更准确、更可靠的数据处理和决策。是以数据驱动的精细化运营、业务创新增长和商业模式创新。
数据一致性比对(番外)
我写过很多如何去对数、如何批量对数的技术文档,最近项目遇到这个问题,我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑,太长用到的知识点,反而没有意识到其重要性。
大数据公共数据集上线,免费试用TB级数据分析
本教程基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等),通过DataWorks与MaxCompute快速完成大数据分析。
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
阿里巴巴一直将数据作为自己的核心资产与能力之一,从最早的淘宝、天猫等电商业务,到后续的优酷、高德、菜鸟等板块,DataWorks、MaxCompute、Hologres等产品用一套技术体系来支持不同业务的发展与创新,为企业带来整体的“数据繁荣”。 数据繁荣为我们带来了红利,同时也带动了各类数据治理需求的井喷,特别是降本等需求的不断出现,阿里云DataWorks团队将13年的产品建设经验整理成最佳实践,从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方面为大家揭秘数据治理平台建设实践
效率优先,DataWorks全链路数据治理年度发布
DataWorks端到端的全链路数据开发治理平台新能力,回归工具为人服务的本质,全方位地提升我们一线数据开发人员/业务人员的工作效率。
阿里云DataWorks荣获DAMA中国数据治理优秀产品奖
2022年12月3日,2022 DAMA中国数据管理峰会(线上部分)成功举行,汇聚多位世界级数据大咖分享,阿里云DataWorks凭借全链路数据治理产品体系,丰富的行业客户最佳实践案例,获得“DAMA中国数据治理优秀产品奖”。
阿里云大数据助力知衣科技打造AI服装行业核心竞争力
杭州知衣科技有限公司是一家以人工智能技术为驱动的国家高新技术企业,致力于将数据化趋势发现、爆款挖掘和供应链组织能力标准化输出,打造智能化服装设计的供应链平台。
分贝通SAAS企业大数据体系建设经验分享
本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司,成立六年多,大数据体系刚刚建立一年多,整个团队不到二十人,整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考,希望给大家带来启发。
先进级!阿里云大数据+AI平台通过信通院数据平台整体解决方案最高等级评测
近日,在中国信通院组织的第十四批“可信大数据”产品能力评测中,阿里云计算有限公司顺利完成了首个数据平台整体解决方案评测,达到最高等级先进级(3级)。该评测依据 《集成化大数据平台能力分级要求》进行,共涉及10个能力域,44个能力项和577项技术要求。全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力。
DataWorks数据治理中心开放使用
DataWorks数据治理中心通过治理健康分量化评估,有效推动治理问题解决。治理健康分由存储、计算、开发、质量和安全五个维度构成,可自动发现和预防各类数据治理问题。在成本治理方面,数据治理中心提供任务资源消耗明细、资源消耗整体趋势、单任务费用预估等丰富功能,可帮助您对各类资源使用费用进行有效的优化控制。
IDC:阿里云获2021中国数据治理平台市场份额第一
近日,领先的IT市场研究和咨询公司IDC发布《中国数据治理市场份额,2021:广泛落地,持续增长》报告,报告统计显示2021 年中国数据治理平台市场规模达 23.9 亿元。阿里云以23.4%份额获得2021中国数据治理平台市场份额第一。
阿里大淘系模型治理阶段性分享
阿里大淘系数据体系经过多年发展,通过丰富的数据和产品支撑了复杂的业务场景,在数据领域取得了非常大的领先优势。随着数据规模越来越大,开发人员越来越多,虽有阿里大数据体系规范进行统一管理,但是由于没有在产品侧进行有效的模型设计和管控,在模型规范性、应用层效率、通用层复用性等方面的问题逐渐凸显。计存成本提升、效率降低、规范减弱、数据使用难度变大、运维负担增加等。为了解决这些问题,我们进行了大淘系模型治理专项,在数据服务业务的同时,追求极致的降本提效目标。
DataWorks 2021-12 产品月刊
本月DataWorks产品月刊为您带来 【产品活动】 1. 首月特惠!DataWorks专业版原价5000元现首月特惠仅需199元>> 立即前往>> 2. 首月特惠!独享数据集成/独享调度资源组首月5折>> 立即前往>>
阿里云DataWorks通过首批中国信通院数据开发平台与数据分类分级工具评测
近日,中国信通院正式公布了第十三批大数据产品能力评测结果,阿里云DataWorks成为首批通过了“数据开发平台”和"数据分类分级工具"两项基础能力专项评测的产品。
DataWorks 2021-10 产品月刊
本月DataWorks产品月刊为您带来:1、数据开发新增代码搜索功能;2、数据建模新增命名词典、逆向建模功能;3、DataWorks发布中心公测中
亿滋中国X阿里云,释放新零售的数字化力量
亿滋中国基于阿里云DataWorks与MaxCompute搭建新零售数据中台系统,通过强大的技术平台和数据分析能力,亿滋中国可以提早预知市场动向,制定市场,销售和供应链战略, 更高效地触及消费者锁定消费人群,优化成本模型提升投资回报率,提高销售预测的准确性,实现供应链的柔性生产。
治理企业“数据悬河”,阿里云DataWorks全链路数据治理新品发布
10月19日,在2021年云栖大会上,阿里云重磅发布DataWorks全链路数据治理产品体系,基于数据仓库,数据湖、湖仓一体等多种大数据架构,DataWorks帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。
DataWorks 2021-09 产品月刊
本月DataWorks产品月刊为您带来:1、数据治理中心全新发布。2、数据服务API资产全面纳入数据地图管理范畴。3、DataStudio支持用户通过扩展程序对页面功能进行卡点
DataWorks功能实践速览 05——循环与遍历
DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!通过往期的介绍,您已经了解到在DataWorks上进行任务运行的最关键的几个知识点,其中上期参数透传中为您介绍了可以将上游节点参数透传到下游节点的特殊节点——赋值节点,结合赋值节点和其他节点,可实现循环或遍历读取处理数据的任务。本期为您介绍如何在DataWorks上实现循环与遍历任务。
DataWorks 2021-08 产品月刊(含用户体验季刊!)
全新上线DataWorks用户体验季刊! 过去几个月我们通过问卷了解到大家对DataWorks体验的满意情况,收集了一些问题。因此,DataWorks产品研发团队针对用户体验问题做了产品优化,并以页面形式向您集中展现!您的声音我们始终关心!(季刊页面拉倒底部有反馈入口,欢迎大家踊跃和我们沟通!)
DataWorks熟能生巧系列直播第六期:数据集成日志详解
数据集成的任务日志主要分为两个部分,第一部分主要打印任务的整体状态,第二部分打印线程明细、各子线程执行过程以及执行结果。这两部分日志是分开的,但有一个共同的调度信息模块,记录运行机器、地域信息、项目名、节点信息、参数值等。此外,数据集成资源组有3种标识,我们通过标识能轻松识别数据集成跑在哪个资源组上。
DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务
本文介绍了数据集成的整库迁移,批量上云和分库分表的操作,并进行了实操演示,对各种规则进行了解释,提出了需要注意的问题和解决方案。
DataWorks 2021-07 产品月刊
本月DataWorks产品月刊为您带来 产品活动: 1.首月特惠!DataWorks专业版首月仅需199元,省4801元;独享数据集成/调度资源组首月5折 2.「数据地图」开放用户体验问卷啦,快来参与吧 产品功能更新: DataWorks数据治理模块新增审批中心,可自定义审批流程 独享数据服务资源组上线杭州region DataWorks迁移助手8.1日正式商业化 DataWorks支持DLF元数据采集 DataWorks支持任务下发EMR gateway节点
DataWorks熟能生巧系列直播第四期:DataWorks数据集成独享资源组与VPC数据源网络打通
本文主要介绍了DataWorks相关资源组的概念,包括分类、区别和使用场景等,并实操演示了如何打通数据集成独享资源组与VPC数据源网络
DataWorks数据治理介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
当我们在谈论数据治理时,经常会跟数据管理这一概念一起讨论。DataWorks设计数据治理产品功能时,参考的主要也是数据管理领域内的三大理论依据:第一个是数据管理协会知识体系,也就是大家熟知的DAMA、DMBOK2;第二个是DCMM数据管理能力成熟度评估;第三个是信通院的数据资产管理实践白皮书。
DataWorks迁移助手介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》
迁移助手是DataWorks上开发成果快速复制的利器,通过迁移助手可以将DataWorks上的开发成果在不同的环境快速复制。迁移助手是DataWorks的一个全新模块,它的核心能力主要分为两部分,一是任务上云,二是DataWorks迁移。