暂无个人介绍
暂时未有相关通用技术能力~
阿里云技能认证
详细说明本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。
在保存节点的时候,遇到了如下报错 “有下游节点依赖本节点的输出 xxx,禁止删除 “该如何处理?
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。
DataWorks是一个一站式智能大数据研发平台,在DataWorks上我们可以做一系列与大数据开发相关的工作。今天主要给大家讲解,在DataWorks上配置数据集成任务时,遇到的那些网络不通的问题该如何处理。
在学习一门新的编程语言时,经常能在基础语法中看到赋值、分支、循环等语法。那用DataWorks进行数据开发的过程中,如何完成分支、赋值等操作呢?
调度资源是在DataWorks 中经常提到的一个词,那么调度资源不足的情况下,我们应该如何处理呢?
DataWorks V2的版本变动有点大,导致很多用户会问我一些基础的使用操作。本文就讲述一下,如何在DataWorks上使用PyUdf。
在DataWorks 2.0中,任务的依赖配置有所更改,所以特别写一篇文档来引导大家,如何正确的配置任务调度依赖。
本文主要讲述,如何在DataWorks上如何将shell任务运行在自定义资源组上。
DataWorks提供了系统调度参数,调度系统会根据调度参数的配置,结合当前的业务日期,将调度参数转换为具体的时间。
我们在搭建数仓的时候,有多个业务库需要将数据上云,如果手动来配置这些数据采集的任务,那将会是一个非常繁重的工作。DataWorks中的数据集成提供了整库迁移的功能,来方便大家快速进行数据上云,并可在配置任务的过程中,对目标表添加表前缀,助力于数仓的快速搭建。
在开发过程中经常会遇到多人协同开发,那在DataWorks中如何保证多人协同开发下的版本唯一呢。
在2018年7月12日,DataWorks将会发布一个新版本,DataWorks V2.0。DataWorks V2.0在V1.0的基础上,推出了很多强大的功能,以提升大数据研发、运维的效率。下面给大家讲解一下本次发布新增的功能点。
本手册为阿里云MVP Meetup Workshop《云计算·大数据:海量日志数据分析与应用》的《数据质量监控》篇而准备。主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据质量进行监控,学员可以根据本实验手册,去学习如何创建表的监控规则,如何去订阅表等。
本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13, 2018)进行了分析,文中内容仅代表个人观点。
很多同学经常会问我,我增加了一个自定义资源组,这个资源组能不能被其他项目共享呢?我用这台机器去别的项目注册的时候,报错了,我该怎么办呢。下面就给大家介绍一下自定义资源组的共享方法。
很多同学不明白,业务日期和定时时间的区别。我们做离线统计,最常见的是今天处理昨天的数据。这里今天就是运行日期(也叫定时时间),昨天就是业务日期。
一直想玩一下hadoop,看到hadoop早就支持了windows,就参考网上的文档自己搭了一套,还在学习中,如有错误,欢迎指正。
一直以来会遇到一些数据分析的问题,但是没有深究,现将遇到的问题都记录下来,以备不时之需。
DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。
DataWorks 中运行和测试运行的区别
现在还有遇到吗,如果下次再遇到了的话,你可以加入到DataWorks的钉钉群(11718465),在钉钉群里反馈一下,我们不会一直盯着云栖社区,钉钉群的响应速度会快很多。
这种有规则的表名,在配置的时候,可以在table 值部分,使用 "table":["table_[1-1000]"] 这种方式。
试试DataWorks的循环节点,如果分库分表都是 1、2、3、4 这种依次递增的话,循环节点会比较好实现。
需要点击去购买,购买成功后,将可以选择对应的服务。
需要在https://data.aliyun.com/console/akinfo 界面填写手机号和邮箱信息,才能收到告警的邮件信息。
https://help.aliyun.com/knowledge_detail/74279.html 可以看看这个文档,如果配置的走公网的话,是直接走公网的。
在数据集成的向导模式下,可以在通道控制中,选择任务运行的资源组。
在数据集成的脚本模式下,顶部可以选择任务运行的资源组。
datawork无法支持在一个任务中将多个数据源中的数据同步到一个数据源中。无法支持将mysql的数据和oss的数据在一个任务中同步到odps中,你可以拆分成两个任务,mysql同步到odps,oss同步到odps等。
一般在DataWorks上,设置了任务告警,但是没有收到报警信息,这个时候需要查看一下,是否在数加控制台的个人中心里设置手机号及邮箱信息。
详细地址如下:
https://data.aliyun.com/console/akinfo?spm=a2c0j.7906784.orgInfo.4.16df62dcQHJA97
数据集成可单独购买,但如果需要用到Maxcompute的分析能力的话,需要购买Maxcompute。