dataworks_demo21_个人页

2021年07月

• 07.28 12:58:10
  发表了文章 2021-07-28 12:58:10

  DataWorks数据治理介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》

  当我们在谈论数据治理时，经常会跟数据管理这一概念一起讨论。DataWorks设计数据治理产品功能时，参考的主要也是数据管理领域内的三大理论依据：第一个是数据管理协会知识体系，也就是大家熟知的DAMA、DMBOK2；第二个是DCMM数据管理能力成熟度评估；第三个是信通院的数据资产管理实践白皮书。

  
• 07.28 12:17:58
  发表了文章 2021-07-28 12:17:58

  DataWorks迁移助手介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》

  迁移助手是DataWorks上开发成果快速复制的利器，通过迁移助手可以将DataWorks上的开发成果在不同的环境快速复制。迁移助手是DataWorks的一个全新模块，它的核心能力主要分为两部分，一是任务上云，二是DataWorks迁移。

  
• 07.28 11:16:29
  发表了文章 2021-07-28 11:16:29

  DataWorks数据服务介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》

  DataWorks作为一站式大数据开发治理平台，构建了从数据集成、数据开发、数据服务到应用开发的全链路解决方案。在整个大数据链路中，数据服务将数仓、数据库和数据应用进行串联，形成了一座数据与应用之间的桥梁。数据服务通过将数据封装成数据API的方式，可以为个人、团队及企业提供全面的数据开放及共享能力。借助这个平台，用户能够统一管理面向内外部的API服务。数据服务提供了向下对接数据源、向上支撑业务应用的有效连接。

  
• 07.28 10:33:24
  发表了文章 2021-07-28 10:33:24

  DataWorks数据安全能力模块介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》

  阿里云DataWorks结合各引擎为企业提供一站式开箱即用的安全能力，这些能力可以覆盖《数据安全能力成熟度模型 GB/T37988—2019》（DSMM）中所述的几个重要的数据安全过程：传输、存储、处理、交换、通用等。

  
• 07.27 18:03:02
  发表了文章 2021-07-27 18:03:02

  DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》

  数据质量问题虽然从数据工程师的角度来看是个简单问题，但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中，非常重要的一个环节。在DataWorks产品版图里，数据质量也是非常重要的模块之一。

  
• 07.27 17:10:48
  发表了文章 2021-07-27 17:10:48

  DataWorks数据分析模块 | 《一站式大数据开发治理DataWorks使用宝典》

  什么是数据分析？如下图所示，该图描述了数据、信息与情报的关系。我们从外界环境中采集数据，环境可能是软件环境，比如业务系统中的日志数据，也可能是硬件环境，比如采集传感器数据。采集来的原始数据的价值密度通常是比较低的，通过加工、处理、萃取后会得到更有价值的信息，对这个信息进一步的分析与生产，就得到了情报。 总的来说，数据分析是以挖掘有价值的信息并用结论支撑决策为目的，对数据进行探查、清洗、转换和建模的过程。数据分析能够使决策更科学，并帮助企业实现更有效的运营。

  
• 07.27 16:57:53
  发表了文章 2021-07-27 16:57:53

  DataWorks运维中心与移动版介绍 | 《一站式大数据开发治理DataWorks使用宝典》

  DataWorks运维中心是对任务进行测试和监控的模块，用户在DataStudio中进行代码开发和调试，将调试的任务经过提交发布操作后，就可以让任务按照调度配置来定时运行。也就是这个时候，任务就从开发环境进入到了生产环境。 对于生产环境中任务的测试、运维、监控等都是在运维中心完成的。运维中心包括三部分：运维大屏、任务运维和智能监控；根据任务运维的触发方式不同，又可以分为：实时任务运维、周期任务运维和手动任务运维。

  
• 07.27 16:21:46
  发表了文章 2021-07-27 16:21:46

  数据开发（DataStudio）降本提效的核心利器 | 《一站式大数据开发治理DataWorks使用宝典》

  随着阿里集团登月计划的启动和数据中台的发展，DataWorks也进行了多次迭代。2015年DataWorks以D+的形态进入公共云及专有云市场，开始服务政企用户。2016年数加平台发布，数加品牌把DataWorks和MaxCompute这个强有力的组合推向市场。2017、2018和2020年，DataWorks完成了国际化及从2.0到3.0版本的升级。 现在，DataWorks已经成为了一个能够支持多个引擎、多实例以及跨地域调度的强大的大数据生产调度工具了。

  
• 07.27 15:55:27
  发表了文章 2021-07-27 15:55:27

  DataWorks数据建模 - 一揽子数据模型管理解决方案 | 《一站式大数据开发治理DataWorks使用宝典》

  在当下的商业环境中，正确的数据治理策略对于数据增值是非常重要的。据统计，企业的数据一直都在以每年50%的速度增长，因此企业数据治理与整合的难度就不断加大了。 DataWorks一直以来都致力于成为用户更方便、更快捷地进行数据开发与数据治理的好帮手。此次发布的数据建模，是对已有数据治理领域能力的补齐，为用户带来了在数据开发前，实施事前治理的能力。

  
• 07.27 12:13:07
  发表了文章 2021-07-27 12:13:07

  DataWorks数据集成-大数据上下云的核心枢纽 | 《一站式大数据开发治理DataWorks使用宝典》

  数据集成是大数据平台上下云的核心枢纽，它的主要功能是把不同业务系统中的数据进行打通，实现数据自由离线或实时地流动，可以通过丰富的网络解决方案完成数据上下云。

  
• 07.27 11:24:28
  发表了文章 2021-07-27 11:24:28

  数据的“敏捷制造”，DataWorks一站式数据开发治理范式演进 | 《一站式大数据开发治理DataWorks使用宝典》

  企业大数据技术发展至今，历经了两次蜕变。第一次蜕变从最初的“小作坊”解决大数据问题，到后来企业用各类大数据技术搭建起属于自己的“大平台”，通过平台化的能力完成数据生产力的升级。第二次蜕变让大数据从“大平台”向“敏捷制造”的开发范式演进。基于DataWorks的一站式大数据开发治理的平台，就是这个蜕变最好的佐证。

  
• 07.23 16:22:35
  发表了文章 2021-07-23 16:22:35

  数据中台的智能进化—阿里巴巴十二年数据平台发展历程

  从2016年诞生起，“中台”概念就一路火热至今，对互联网与金融行业数字化转型产生了极为深远的影响。 作为“中台”概念的提出者和先行者，阿里巴巴用12年的实践探索了中台能力建设和数据应用。在不断升级和重构的过程中，阿里巴巴的中台建设经历了从分散的数据分析到数据中台化能力整合，再到全局数据智能化的时代。

  
• 07.15 16:18:27
  发表了文章 2021-07-15 16:18:27

  DataWorks 2021-06 产品月刊

  本月DataWorks产品月刊为您带来 产品活动： 1.首月特惠！DataWorks专业版原价5000元现首月特惠仅需199元；独享数据集成/调度资源组首月5折 产品功能更新： 1.数据集成首页改版 2.DataWorks支持EMR实时任务开发运维 3.EMR数据开发任务一键迁移DataWorks 4.DataWorks安全模式绑定EMR集群支持LDAP认证 5.数据服务支持MaxCompute数据源封装API 6.DataWorks新增报警联系人中心 7.运维中心新增资源运维，支持独享资源组水位监控

  
• 07.15 12:07:32
  发表了文章 2021-07-15 12:07:32

  【商业化通知】DataWorks迁移助手将在2021年8月1日开启商业化

  DataWorks迁移助手将在2021年8月1日开启商业化

  

2021年06月

• 06.29 16:41:18
  发表了文章 2021-06-29 16:41:18

  DataWorks熟能生巧系列直播第三期：DataWorks调度参数配置

  本系列文章为DataWorks钉钉大群内熟能生巧系列直播的文字版，基本涵盖了直播中讲解到的大部分内容，大家可以学习或者Mark一下，有需要的时候再来回顾。本系列直播内容由DataWorks技术支持团队出品，运营团队整理，大部分是DataWorks用户实际使用中遇到的频率较高的问题，希望对大家有一定帮助。

  
• 06.28 17:06:35
  发表了文章 2021-06-28 17:06:35

  DataWorks熟能生巧系列直播第二期：DataWorks调度依赖之跨周期依赖

  本系列文章为DataWorks钉钉大群内熟能生巧系列直播的文字版，基本涵盖了直播中讲解到的大部分内容，大家可以学习或者Mark一下，有需要的时候再来回顾。本系列直播内容由DataWorks技术支持团队出品，运营团队整理，大部分是DataWorks用户实际使用中遇到的频率较高的问题，希望对大家有一定帮助。

  
• 06.09 12:14:41
  发表了文章 2021-06-09 12:14:41

  数据的“敏捷制造”，DataWorks一站式数据开发治理范式演进

  企业大数据技术发展至今，历经了两次蜕变。第一次蜕变从最初的“小作坊”解决大数据问题，到后来企业用各类大数据技术搭建起属于自己的“大平台”，通过平台化的能力完成数据生产力的升级。 第二次蜕变让大数据从“大平台”向“敏捷制造”的开发范式演进。在2021阿里云峰会上，阿里巴巴集团副总裁、阿里云智能计算平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发治理的平台，就是这个蜕变最好的佐证。

  
• 06.08 14:34:05
  发表了文章 2021-06-08 14:34:05

  DataWorks 2021-05 产品月刊

  产品活动： 1.数据集成开放用户体验调研问卷啦！赶紧开启吐槽模式吧 2.首月特惠！DataWorks专业版原价5000元现飞天会员618特惠仅需99元； 产品功能更新： DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能； 开放消息服务（Open Message）开启公测，支持订阅DataWorks中的元数据及任务变更事件，可实现DataWorks与您的自有系统的深度集成； 任务调度新增年周期和月末最后一天周期，可实现按年、按季度、按指定月最后一天的周期调度； ......
• 06.07 16:41:17
  发表了文章 2021-06-07 16:41:17

  DataWorks熟能生巧系列直播第一期：DataWorks调度依赖的基本使用

  本系列文章为DataWorks钉钉大群内熟能生巧系列直播的文字版，基本涵盖了直播中讲解到的大部分内容，大家可以学习或者Mark一下，有需要的时候再来回顾。本系列直播内容由DataWorks技术支持团队出品，运营团队整理，大部分是DataWorks用户实际使用中遇到的频率较高的问题，希望对大家有一定帮助。

  

2021年05月

• 05.21 20:42:35
  发表了文章 2021-05-21 20:42:35

  大数据和AI客户案例中心

  大数据和AI客户案例中心收集了大多数行业的客户实战案例分享

2021年04月

• 04.23 11:08:12
  发表了文章 2021-04-23 11:08:12

  DataWorks搬站方案：Airflow作业迁移至DataWorks

  DataWorks提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Airflow工作流调度引擎中的作业迁移至DataWorks上

  
• 04.23 11:02:11
  发表了文章 2021-04-23 11:02:11

  DataWorks搬站方案：Azkaban作业迁移至DataWorks

  DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。

  
• 04.14 11:42:06
  发表了文章 2021-04-14 11:42:06

  DataWorks OpenAPI 数据开发治理实战系列

  DataWorks作为飞天大数据平台操作系统，历经11年发展，形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。很多企业用户在使用产品的过程中希望他们的本地服务能够和阿里云上的DataWorks服务进行交互，从而提升企业大数据处理的效率，减少人工操作和运维工作，降低数据风险和企业成本，现在DataWorks开放OpenAPI能力满足企业的定制化需求。 DataWorks OpenAPI涵盖租户、元数据、数据开发、运维中心、数据质量、数据服务等DataWorks核心能力，企业版和旗舰版分别赠送100万次/月、1000万次/月的免费调用额度。

  
• 04.07 20:24:15
  发表了文章 2021-04-07 20:24:15

  DataWorks 2021-03 产品月刊

  本月DataWorks产品月刊为您带来 产品活动： 1.参与阿里云DataWorks问卷调研 (AliyunUR)，赢200元DataWorks无门槛代金券 2.首月特惠！DataWorks专业版原价5000元现仅需199元；独享数据集成/调度资源组首月5折 产品功能更新： 1.全新DataWorks安全中心重磅上线！ 2.DataWorks数据服务独享资源组0元公测启动 3.运维中心DAG聚合视图发布，DAG分析功能限时体验中 4.企业版新增DataWorks自定义角色功能

2021年03月

• 03.30 12:21:34
  发表了文章 2021-03-30 12:21:34

  DataWorks数据服务独享资源组0元公测启动！

  DataWorks数据服务独享资源组能够保障数据服务API调用的成功率，满足高QPS、高并发、高频率的接口调用并及时返回数据结果。 数据服务独享资源组正逐步灰度上线公共云，目前面向北京region开通DataWorks产品的用户提供了公测活动。 欢迎北京、深圳region的用户报名开通数据服务独享资源组的限时测试，名额有限，先到先得，不容错过！ 如需报名参加限时测试活动，请您申请加入钉钉群“DataWorks数据服务独享资源组限时公测报名群”，群号：35871311。

  
• 03.10 17:28:40
  发表了文章 2021-03-10 17:28:40

  DataWorks OpenAPI企业开发实战-运维监控大屏

  本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化，而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

  
• 03.10 12:27:27
  发表了文章 2021-03-10 12:27:27

  DataWorks OpenAPI-表结构变更时触发任务变更

  随着大数据在企业内部使用越来越广泛，很多业务落地慢慢的都依赖大数据的产出结果做为基础，业务的发展遍地开花产生了越来越多的任务，这些任务之间相互依赖也就越来越复杂，慢慢的超过人为可视、可梳理范围；当上游的数据口径发生变更的时候，对下游业务的影响就会形成放射性，影响难以预料，这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围，以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

  
• 03.10 12:00:13
  发表了文章 2021-03-10 12:00:13

  DataWorks OpenAPI实现数据资产分布和排行分析

  3.1 资产总览： odps项目数量， 表数量，分区表数量，表总大小 3.2 资产分布 按工作空间划分、按所有者划分 3.2(b) 资产分布 按工作空间(名称)划分、按所有者(nick)划分

  
• 03.09 16:02:53
  发表了文章 2021-03-09 16:02:53

  DataWorks 2021-02 产品月刊

  本月DataWorks产品月刊为您带来 产品活动： 1.参与阿里云DataWorks问卷调研 (AliyunUR)，赢200元DataWorks无门槛代金券 2.首月特惠！DataWorks专业版原价5000元现仅需199元；独享数据集成/调度资源组首月5折 3.夺宝计划火热进行中，完成任务即可领取定制礼包 产品功能更新： 1.DataWorks数据服务 - API计量能力全面升级 2.DataWorks数据地图 - 数据发现支持自动和批量创建元数据采集器 3.DataWorks on CDH 持续增强，新增对Kerberos认证支持的强安全使用模式 4.DataWorks数据服务独享资源组
• 03.08 14:08:05
  发表了文章 2021-03-08 14:08:05

  DataWorks数据建模公开课上线啦！

  数据建模是数据标准化的核心内容，企业在搭建自己的数据平台时需要先建设适合公司业务的数据模型。好的数据模型可以帮助企业构建合理的数据基础结构，帮助企业少走弯路，节省长期开发成本。 本次阿里云DataWorks数据建模公开课邀请到Datablau创始人&CEO王琤老师为大家带来数据建模系列讲座，内容涵盖数据建模基本知识和企业级标准、架构与模型设计，以及阿里云DataWorks数据中台模型管理平台解决方案。

  
• 03.03 16:39:47
  发表了文章 2021-03-03 16:39:47

  依赖DataWorks OpenAPI补数据实现圈人

  从2020年10月份起DataWorks为企业版提供了API的能力，我们可以根据现有的API能力打通应用与离线数据加工，从而让大数据能直接为在线应用服务，本篇文章使用圈人功能做一个简单的介绍实现；

  

2021年02月

• 02.20 16:04:48
  发表了文章 2021-02-20 16:04:48

  提效神器，DataWorks OpenAPI开放！

  工欲善其数，必先利其器。通过DataWorks OpenAPI 功能，可以快速进行批量操作与系统集成对接，助您显著提升数据开发效率！（DataWorks OpenAPI限企业版及以上版本使用）

  

2021年01月

• 01.26 17:47:45
  发表了文章 2021-01-26 17:47:45

  DataWorks OpenAPI 实战-数据开发全流程介绍

  DataWorks作为飞天大数据平台操作系统，历经11年发展，形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。很多企业用户在使用产品的过程中希望他们的本地服务能够和阿里云上的DataWorks服务进行交互，从而提升企业大数据处理的效率，减少人工操作和运维工作，降低数据风险和企业成本，现在DataWorks开放OpenAPI能力满足企业的定制化需求。

  
• 01.22 15:58:12
  发表了文章 2021-01-22 15:58:12

  阿里云大数据各行业客户实践案例

  本文罗列了部分阿里云上各行业的客户分享案例，包括金融、教育、电商、互娱、游戏、新媒体等几十家客户的心得分享
• 01.11 17:22:30
  发表了文章 2021-01-11 17:22:30

  DataWorks 2020-12 产品月刊

  本月DataWorks产品月刊为您带来 产品活动 1.参与阿里云DataWorks问卷调研 (AliyunUR)，赢200元DataWorks无门槛代金券 2.首月特惠！DataWorks专业版原价5000元现仅需199元；独享数据集成/调度资源组首月5折 3.夺宝计划火热进行中，完成任务即可领取定制礼包 产品功能更新 1. 一键同步Elasticsearch，DataWorks数据集成MySQL同步到ElasticSearch解决方案上线 2. DataWorks数据建模（DDM）公测啦 3.DataWorks支持CDH(Cloudera Distribution Hadoop)重磅发布

  
• 01.11 16:48:22
  发表了文章 2021-01-11 16:48:22

  一键实时/离线同步至Elasticsearch，数据集成再添新功能！

  企业的实时数据除了存储在大数据引擎中，还有很多非结构化的日志数据，通过阿里云的Elasticsearch，用全托管的方式提供低成本的冷热存储方案，轻松助力企业搭建统一的云上全观测运维监控平台，实现海量数据的实时监控分析，提高自动化运维管理效率。DataWorks数据集成提供了 “MySQL一键实时同步至Elasticsearch” 的解决方案，可以将MySQL中的数据库，通过一次性的简单配置，全增量一体化同步到Elasticsearch，达到数据实时落入ElasticSearch，实时可以用于分析的效果。也可以将MySQL数据库离线全量或者增量搬迁到Elasticsearch中

  
• 01.05 18:06:25
  发表了文章 2021-01-05 18:06:25

  DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？

  数据集成报错归类

  
• 01.05 11:05:58
  发表了文章 2021-01-05 11:05:58

  DataWorks OpenAPI 示例（元数据模块）

  DataWorks OpenAPI 示例
• 01.04 14:46:54
  发表了文章 2021-01-04 14:46:54

  DataWorks数据建模（DDM）公测啦！

  为帮助广大企业用户合理规划与建立云上数据仓库、落地并夯实企业数据治理项目，达到落实数据标准、提升数据可用性目的，阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为企业的数据价值化提供有力支撑。

  

2020年12月

• 12.24 13:52:38
  发表了文章 2020-12-24 13:52:38

  阿里云实时大数据解决方案，助力企业实时分析与决策

  简介： 2020年双11，云原生实时数仓首次在阿里巴巴双11核心数据场景落地，实现商业全链路实时化，毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍，菜鸟物流包裹数据链路从小时级优化到3分钟，考拉分钟及小时业务1分钟内完成，大数据的实时分析与决策在瞬息万变的市场竞争中成为了标品！今天，我们将向大家分享阿里云实时大数据解决方案，助力企业实时决策。

  
• 12.24 04:12:19
  发表了文章 2020-12-24 04:12:19

  DataWorks学习路径

  DataWorks学习路径

  
• 12.10 16:33:53
  发表了文章 2020-12-10 16:33:53

  DataWorks 2020-11 产品月刊

  本月DataWorks产品月刊为您带来 产品活动： 1.首月特惠！DataWorks专业版原价5000元现仅需199元；独享数据集成/调度资源组首月5折 2.夺宝计划火热进行中，完成任务即可领取定制礼包。 产品功能更新： 1.性能高1倍，价格低3/4！数据库实时同步新选择！ 2.DataWorks数据集成推出同步解决方案模块 3.DataWorks数据服务-脚本模式升级
• 12.10 15:58:42
  发表了文章 2020-12-10 15:58:42

  性能高1倍，价格低3/4！数据库实时同步新选择！

  2020年双11，云原生实时数仓首次在阿里巴巴双11核心数据场景落地，实现商业全链路实时化，毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍，菜鸟物流包裹数据链路从小时级优化到3分钟，考拉分钟及小时业务1分钟内完成，实时数据仓库的建设在瞬息万变的市场竞争中成为了标品！
• 12.09 17:50:06
  提交了问题 2020-12-09 17:50:06

  一站式大数据开发治理平台DataWorks 百问百答合集

• 12.07 16:41:40
  发表了文章 2020-12-07 16:41:40

  您身边的AI管家-58到家人工智能实践

  本文详述了58到家业务上的难点和挑战，包括在智能营销、到店分流和登记、多元匹配、销售、业务与社会安全等方面，以及他们是如何通过阿里云大数据平台去应对家庭服务行业在互联网化过程当中的痛点和挑战。

  
• 12.07 16:34:55
  发表了文章 2020-12-07 16:34:55

  小红书推荐大数据在阿里云上的实践

  本篇内容主要分三个部分，在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景，以及和阿里云MC-Hologres的合作。

  
• 12.07 16:26:50
  发表了文章 2020-12-07 16:26:50

  数据上云，AI驱动，宝宝树如何服务千万年轻妈妈

  本文讲述了宝宝树通过阿里云大数据平台构建了个性化的大数据架构，并在此基础上使用AI和深度学习技术实现了一些业务工具，进而支撑业务展开，实现业务价值。

  
• 12.07 16:19:58
  发表了文章 2020-12-07 16:19:58

  快狗打车平滑上云架构方案

  快狗打车原名58速运，是同城即时货运平台。目前支持拉货、搬家和运东西等一些业务。本文讲述了快狗打车上云的缘由，如何平滑地、客户无感知地上云以及上云给快狗打车带来的价值。