备案控制台
开发者社区 大数据与机器学习 大数据开发治理DataWorks 文章 正文

DataWorks 2021-12 产品月刊

2022-01-25 478
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
大数据开发治理平台 DataWorks，不限时长
推荐场景：
Github实时数据分析与可视化
简介： 本月DataWorks产品月刊为您带来【产品活动】1. 首月特惠！DataWorks专业版原价5000元现首月特惠仅需199元>>立即前往>>2. 首月特惠！独享数据集成/独享调度资源组首月5折>>立即前往>>

本月DataWorks产品月刊为您带来


【产品活动】

1. 首月特惠！DataWorks专业版原价5000元现首月特惠仅需199元>>

立即前往>>

2. 首月特惠！独享数据集成/独享调度资源组首月5折>>

立即前往>>


【产品功能更新】

1、DataWorks数据质量支持选择规则模板批量配置数据质量规则

DataWorks数据质量支持选择规则模板批量配置数据质量规则，简化配置难度：支持选择表级规则模板，批量给多张表配置规则；支持选择字段级规则模板，批量给多个字段配置规则。

参考文档：https://help.aliyun.com/document_detail/369390.html


2、DataWorks数据治理中心新增资源使用分析功能

DataWorks数据治理中心新增资源使用分析功能，展示资源消耗总览、资源消耗异动，以及资源消耗明细，涵盖MaxCompute存储、MaxCompute计算、DataWorks调度和DataWorks离线同步四个维度。

参考文档：https://help.aliyun.com/document_detail/325448.html#title-8bd-2ie-g7a


【产品文档更新】

数据地图新增CDH Hive数据抽样采集器功能

新增OpenAPI-GetDISyncTask

新增OpenAPI-DeployDISyncTask

新增OpenAPI-GetDISyncInstanceInfo

新增OpenAPI-TerminateDISyncInstance
数据服务新增支持Aviator函数（过滤器）

使用Aviator函数作为过滤器的最佳实践

数据质量新增按模板配置监控规则功能

数据治理新增全景视角功能

数据治理新增使用透视功能

新增OpenAPI-UpdateIDEEventResult

新增OpenAPI-GetIDEEventDetail

新增OpenAPI-ListDeployments

新增OpenAPI-GenerateDISyncTaskConfigForCreating

新增OpenAPI-GenerateDISyncTaskConfigForUpdating

新增OpenAPI-QueryDISyncTaskConfigProcessResult

数据地图OSS数据管理

【往期系列】

DataWorks 产品月刊合集

更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】，为您提供最新的产品直播、产品活动及技术支持点击查看

文章标签：
大数据开发治理平台 DataWorks
数据采集
分布式计算
SQL
监控
定位技术
HIVE
调度
MaxCompute
DataWorks
数据管理
关键词：
大数据开发治理平台 DataWorks产品
大数据开发治理平台 DataWorks产品月刊
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
dataworks_demo21
目录
相关文章
真的很搞笑
|
18天前
|
DataWorks 安全 API
DataWorks产品使用合集之用API创建的补数据工作流，怎样才能获知工作流的运行状态
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
133 0
花开富贵111
|
4天前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之如何将DataWorks中的Hologres表数据导入到MaxCompute
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
20 7
花开富贵111
|
5天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用问题之DataWorks整库全增量同步任务的源库如果新增了表，如何能将这个表快速同步进maxcompute
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
16 1
花开富贵111
|
5天前
|
分布式计算 DataWorks Oracle
MaxCompute产品使用问题之dataworks怎么导出所有maxcompute表的表结构
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
15 1
花开富贵111
|
5天前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之一个项目只能绑定一个dataworks工作空间吗
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
10 1
嘟嘟嘟嘟嘟嘟
|
17天前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题，并且无法在DataWorks上查看到相关日志，是什么导致的
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
220 2
三分钟热度的鱼
|
18天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之DataWorks中使用Lindorm冷数据同步至MaxCompute，该如何操作
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
三分钟热度的鱼
207 1
真的很搞笑
|
18天前
|
SQL DataWorks 安全
DataWorks产品使用合集之在进行测试数据集成时，目标库的数据是源库数据的3倍量，是什么导致的
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
32 0
DataWorks产品使用合集之在进行测试数据集成时，目标库的数据是源库数据的3倍量，是什么导致的
花开富贵111
|
4天前
|
存储 分布式计算 DataWorks
MaxCompute产品使用问题之dataworks仅支持maxcompute上面的数据治理吗
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
10 0
花开富贵111
|
5天前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之在dataworks中，如何查看所有的udf和resouce列表
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
9 0
大数据与机器学习

大数据开发治理DataWorks

热门文章

最新文章

  • 1
    DataWorks重磅推出Serverless通用型资源组，实现低成本灵活付费和动态平滑扩缩容
  • 2
    DataWorks售前咨询
  • 3
    数据中台的智能进化—阿里巴巴十二年数据平台发展历程
  • 4
    2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • 5
    大数据公共数据集上线，免费试用TB级数据分析
  • 6
    【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
  • 7
    《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载
  • 8
    大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
  • 9
    【全新系列】DataWorks百问百答
  • 10
    欢迎加入DataWorks产品钉钉交流群
  • 1
    DataWorks产品使用合集之ob端目前的表数量限制是多少
    5
  • 2
    DataWorks产品使用合集之赋值节点output是有数据的，引用参数运行打印时是空的，该如何解决
    5
  • 3
    DataWorks操作报错合集之在进行Hive分区truncate操作时遇到权限不足，怎么解决
    4
  • 4
    DataWorks操作报错合集之在将ODPS空间设置成保护模式后，导出到OSS的任务出现了权限问题，该怎么解决
    8
  • 5
    DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”，该怎么办
    6
  • 6
    DataWorks操作报错合集之遇到实时同步任务中字段错位和类型不匹配，该如何解决
    5
  • 7
    DataWorks操作报错合集之遇到“OSERROR: argument list too long”的错误，该如何处理
    7
  • 8
    DataWorks操作报错合集之拥有Super_Administrator权限，但在尝试执行特定PROJECT SECURITY OPERATION时权限不足，该如何解决
    7
  • 9
    DataWorks操作报错合集之SQL错误[0A000]，通常是什么造成的
    5
  • 10
    DataWorks操作报错合集之提示add odps.sql.text.schema.mismatch.mode，该如何解决
    8

    • 相关产品

  • 大数据开发治理平台 DataWorks
    文档详情 产品详情

    • 相关课程

    更多
  • 一站式大数据开发治理平台DataWorks初级课程
  • DataWorks一站式大数据开发治理平台精品课程
  • 阿里云大数据计算服务MaxCompute 使用教程
  • 基于MaxCompute的热门话题分析
  • 基于阿里云MaxCompute搭建数据仓库（离线）
  • AnalyticDB PostgreSQL 企业智能数据中台：一站式管理数据服务资产

    • 相关电子书

    更多
  • DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季
  • DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季
  • 基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 使用计算巢企业应用，一键获取专属图数据库服务
  • 基于EMR Serverless StarRocks一键玩转世界杯
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）