DataWorks新手引导-阿里云开发者社区

开发者社区> 开发与运维> 正文

DataWorks新手引导

简介: DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。

Q:子账号使用DataWorks需要选择什么授权策略?

A:DataWorks可以无需RAM单独配置权限,但若子账号需要创建项目,可给授权
image

DataWorks给子账号使用的正常流程是:主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息

注: 主账号新建子账号时,创建AK这一步的时候,AK一定要保存好,不然子账号在更新个人信息的时候,还需要主账号重新去创建一次AK。
image


Q: 我进入了 DataWorks(大数据开发套件),在哪里写命令?

A:可以在数据开发页面,新建ODPS_SQL任务,在SQL任务中写SQL脚本。
image

要是不知道怎么进入数据开发页面,那就看看这个文档吧:使用说明


Q: 关于创建任务时的一点疑惑

A:
image

任务类型:节点任务是单个的任务;工作流任务是指,一个工作流任务中可以包含多个节点任务(最多30个节点任务)。
调度类型:手动任务是只能手动触发运行的 ;周期调度是指,我们会根据您任务的调度配置,定时去运行您的任务;调度类型一旦确认将无法修改。


Q:为什么要提交任务,这个提交是提交到哪里,提交后有什么用?

image

提交:是 DataWorks 特有的一个逻辑,没有提交的任务代码,是不能享受 DataWorks 强大的调度功能的。任务提交,是提交到了哪里呢?任务提交是提交到了调度系统,调度系统的功能是:根据您任务中的调度配置去运行任务。您只需要配置好任务的运行周期和任务之间的依赖关系,就再也无需担心任务的运行了。简直是给任务找了一个保姆,一键托管呐。

说了这么多,任务的调度配置在哪里呢?
image

给DataWorks 团队一个赞,简直是太好用了~ hahaha~~

插播一个小广告,DataWorks团队招产品、技术、测试、UED 有意向可以钉钉联系彭敏!

Q:DataWorks 为什么提交了任务以后,任务没有运行呢?

A: 我设置了一个每小时跑一次的任务,提交了任务以后,为什么接下来的一个小时,这个任务还没有开始运行呢?
是因为DataWorks 的调度系统,是当天晚上23.30开始生成第二天需要运行的任务实例,所以提交的任务要等到第二天才会自动运行哦。

注意:如果超过了23.30提交的任务,可能就赶不上当天批量生成实例这趟车了,只能等下一趟(也就是第三天才会开始运行)。但如果需要快速运行起来,可以选择测试运行和补数据运行~

怕大家不能理解为什么产品逻辑要这么设置,我就给大家解释一下:如果咱们要算公司每天的销售额,总不能是当天晚上算吧(要是算完以后,又有人来消费了,还得再加上,太麻烦了),所以我们都是今天计算昨天的销售额(这个 ‘昨天’ 我们也叫业务日期,请大家在选择时间的时候,注意看清楚,选择的是业务日期还是运行日期)。


Q:如何测试运行一个任务呢?

A: 我这个SQL 已经编辑好了,我现在想运行一下这个SQL ,来测试一下我的代码,那我该怎么运行这个SQL呢?
image

运行SQL任务有两种方式,如上图所示:

方式一:运行,这种运行方式是直接将SQL代码下发到底层去执行,好处是方便快捷,坏处是运行结果只保留在页面上,页面刷新/关闭后就没有了,且寻找历史执行记录相对麻烦。

方式二:测试运行,这种运行方式是需要将代码提交到调度系统,然后触发调度系统生成实例快照,成功生成实例后,才会开始运行任务。好处是可以使用调度系统参数、能够看到每一次运行的运行记录(运行记录保留30天),坏处是相对麻烦一点。


Q:如何补数据运行一个任务呢?

补数据前咱们先了解一下,啥时候需要做补数据这个操作,补数据能干啥?
补数据可以选择一个业务流程(通过多个任务间的相互依赖,完成了一个业务流程),还能选择多个业务日期(其实就是能选好多天),这样即使代码写错了,还是能有挽救的机会的嘛,下面有两个经典场景,仅供参考:

  1. 如果任务周期运行后,发现今天任务的运行结果不符合预期,想重跑一下,那么可以选择补数据运行来实现(为啥用补数据,是因为补数据可以选择下游节点,测试运行只针对单个节点有效)。
  2. 想测试一下任务的调度配置是否有效,请选择补数据运行,不仅可以选择下游节点,还能选择任务的业务日期(一次操作,可以补很长一段时间的任务呢),完美解决不知道调度配置是否符合预期的问题。

A: 说了那么多,下面说一下怎么补数据。
补数据这个步骤需要到 运维中心 里面去操作,运维中心在哪看图片~
image

如果在运维中心里没有找到心仪的任务,那么说明你打开的方式不对,你可以换种方式打开,比如说:

  1. 看看任务是否提交了;
  2. 看看任务的类型是否选对了;
    image

选中任务后,就可以去选择补数据的任务和日期了。

再多说一句:补数据的时候,如果任务和时间选择的都比较多,会批量生成大量的任务实例,请小主谨慎操作~


Q:如何查看任务的日志?

A:任务测试运行以后,页面会有一个链接跳转到运维中心-测试实例下,可以选中任务,单击查看节点运行日志,即可查看到任务的运行日志(如果任务有报错,您不知该如何处理,请将日志以txt格式保存,通过工单反馈给我们)。
image


如有其他问题,请加钉钉群~ 加群后可以直接 AT 李珍珍!

image

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章