开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：DataWorks调度参数设置】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1197DataWorks 调度参数设置内容简介：一、调度参数分类二、使用示例三、注意事项四、常见问题场景五、实操演练一、调度参数分类（一）系统参数配置1.系统参数取值与格式区别${bdp.system.bizdate} : 取值:业务时间:取值格式: yyymmdd，取值与自定义参数${yymmdd}一致。${bdp.system,cyctime} : 取值:定时时间;取值格式: yyymmddhh24miss，取值与自定义参数 $yyymmddhh24miss] 一致。系统内置变量可以在代码中直接使用，无需赋值2.自定义参数${…}3.自定义参数$[…]4.系统内置参数5.使用示例"1.使用系统内置变量，无需在右侧调度配置界面给变量赋值，在代码中直接引用即可"。select '${bdp. system. cyctime}';"2.使用自定义参故，需要在右侧参效界面以“变量名=自定义参数”的方式给变量赋值。在代码中引用变量名"""2.1使用系统内置参效bizdate";select "${var1}"; 2.2使用大括号{}自定义参数";select "${var2}";"2.3使用中括号[]自定义参数";select '${var3}' '${var4}';二、使用示例（一）ODPS SQL 节点使用示例1.使用系统变量：系统内置变量可以在代码中直接使用，无需赋值2.使用自定义参数：左侧代码区引用变量，变量名可自定义，右侧参数处赋值，可赋值格式参考官网文档。常量参数赋值:  var="abc" key2=1234。变量参数赋值:  varl= $bizdate——系统内置参数取业务时间。var2= ${yyyymmdd}——大括号{…}取业务时间。var3=[ yyyymmddhh24.miss]——中括号[…]取定时时间。（二）数据集成节点使用示例1.使用系统变量：系统内置变量可以在代码中直接使用，无需赋值。2.使用自定义参数左侧代码区引用变量，变量名可自定义变量名可以自定义。注意 bizdate 使用时， 一定要在右侧参数处赋值右侧参数处赋值，可赋值格式参考官网文档常量参数赋值: "var=abc' 1234。变量参数赋值:varl=$bizdate——系统内置参数取业务时间。var2=${yyymmdd}——大括号${…}取业务时间。var=$[yyymmddhh24miss]——中括号$[…]取定时时间。（三）SHELL 节点使用示例1.使用系统变量：系统内置变量可以在代码中直接使用，无需赋值。2.使用自定义参数左侧代码区引用变量，变量名可自定义Shell 节点中的交量不允许自定义命名，只能以 $1,$2.$3命名;注意:参数到达第10个后，请使用${10}的方式声明变，右侧参数处赋值，可赋值格式参考官网文档常量参数赋值: "abc''1234。变量参数赋值:$bizdate——系统内置参数取业务时间。${yyymmdd}——大括号${…}取业务时间。$[yyymmddhh24miss]——中括号$[…]取定时时间。（四）PYODPS 节点使用示例1.使用系统变量：系统内置变量可以在代码中直接使用，无需赋值2.使用自定义参数左侧代码区引用变量，变量名可自定义，为避免侵入代码，可在全局变量中增加个名为 args 的字典对象，调度参数可以在此获取。右侧参数处赋值，可赋值格式参考官网文档常量参数赋值:  "var=abc' 1234。变量参数赋值:varl=$bizdate——系统内置参数取业务时间。var2=${yyymmdd}——大括号${…}取业务时间。var-=$[yyymmddhh24miss]——中括号$[…]取定时时间。三、注意事项（一）三种运行赋值逻辑说明选择运行，只会在第一次弹框时给当前的变量赋值常量。如果修改了代码中变量名是不会继续弹框给新变量赋值。选择高级运行，每次都会弹框给当前变量赋值。如果您变更了代码中的变量，或者需要重新为变量赋值，请务必使用高级运行。（二）两类运行赋值区别选择运行或者高级运行,请在弹框中给代码中的变量赋值常量。开发环境冒烟测试:根据业务时间替换调度参数;若修改了调度参数赋值，请务必先保存提交，再使用开发环境冒烟测试:如果需要测试调度参数替换情况，请使用开发环境冒烟测试。如果您变更了代码中的变量，或者需要重新为变量赋值,请务必高级运行。（三）赋值注意事项调度参数赋值中不支持空格time①=②$yyymmdd③hh24:miss]time1=$[yyymmdd]④time2=Shh24:mi:ss]①②③④为空格所在位置${...}取业务时间,最小粒度天$[…]取定时时间,可精确到时分秒注意调度参数的等号(= )两端不可以加空格，即示例中的①②处。调度参数赋值中不支持空格,即示例中的③处。两个调度参数间用个空格分隔，即示例中的④处。四、常见问题场景（一）场景一:如何处理表的分区格式中需要空格的情况解决方案:参数赋值区:使用两个自定义变量参数分别取年月日,时分秒datetime= $[yyyy-mm-dd] hour= [hh24:mi:ss]。代码调用区:在代码中用空格拼接两个参数。pt=${datetime} ${hour}。（二）场景二:跨天调度参数替换如何处理0点运行的实例,计算结果变为当天的23点，实际应当是前一天的23点的情况?问题描述:在代码中表的分区为 pt= ${datetime} ${hour}，希望执行时获取上个小时的数据。使用两个自定义变量参数 datetime=$[yyymmdd]、hour=S[hh24-1/24] 可以满足需求。但是0点运行的实例，计算结果会变成当天的23点，实际应当是前一天的23点。解决方法:您可以修改参数的计算公式，修改 datetime为$[yyymmdd-1/24]，hour 的计算公式仍然是 $[hh24-1/24]。计算结果如下，即可满足需求:如果一个实例的定时时间是2015-10-27 00:00:00，减1小时便是昨天，则$[yyymmdd-1/24] 的值是20151026、 $[hh24-1/24]的值是23。如果一个实例的定时时间为2015-10-27 01:00:00的实例,减1小时还是今天，则$[yyymmdd-1/24] 的值是20151027、 $[hh24-1/24]的值是00。五、实操演练（一）调度参数分类相关代码​1​​2​​3  "1.使用系统内置变量，无需在右侧调度配置界面给变量赋值，在代码中直接引用即可"。​​4​​5   select '${bdp. system. bizdate}';​​6​​7   select '${bdp. system. cyctime}'​​8​​9​​10   --"2.使用自定义参故，需要在右侧参效界面以“变量名=自定义参数”的方式给变量赋值。在代码中引用变量名""​​11​​12   -- "2.1使用系统内置参效bizdate";​​13​​14  --select "${var1}"​​15​​16  --2.2使用大括号{}自定义参数";​​17​​18  --select "${var2}";​​19​​20  --"2.3使用中括号[]自定义参数";​​21​​22   --select '${var3}' '${var4}';​​（二）自定义参数测试_大括号​​1  --"2.2使用大括号{}自定义参数";​​2​​3  --格式为:yyymmdd​​4  select "${bizdate}";​​5​​6  select "${var1}";​​7​​8  select '${var3}' '${var5}';​​（三）自定义参数测试_中括号相关代码​​1  --"2.2使用中括号[]自定义参数";​​2​​3  --cyctime取值格式为:yyymmddhh24​​4  select "${cyctime}";​​5​​6  select ‘${var1}’‘${var3}’​​7​​8  select '${var4}' '${var5}';​​（四）场景_赋值中带空格相关代码​​1​​2  --场景:如何处理表的分区格式中需要空格的情况​​3​​4  --select '${var}';​​5  --var=$ lyyyymnddhh24miss]​​6​​7  select '${var1}' '${var2}';​​8  --var1=$ yyy- m- dd] var2=$ [hh24:mi:ss]​​（五）场景_赋值中带空格相关代码​​1​​2  --场景:如何处理0点运行的实例,计算结果变为当天的23点，实际应当是前一天的23点的情况?​​3​​4  select”pt= ${datetime} ${hour}”​​（六）运行与高级运行的相关代码​​1  --odps sql​​2  --********************************************************************--​​3   -- author : dataworks-demo2​​4  --create time :2020-10-18  20:02:26​​5  --*************************************************--​​6   select '${varp }'​

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：DataWorks 数据集成日志查看】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1196DataWorks 数据集成日志查看内容简介：一、DataWorks 数据集成日志相关介绍二、数据集成任务完整日志打印印任务的总体状态三、数据集成任务完整日志打印线程明细、执行过程和结果四、常见问题​一、DataWorks 数据集成日志相关介绍数据集成任务完整日志分为两大部分，第一部分主要打印任务的总体状态,第二部分打印线程明细、执行过程和结果等。● 系统参数信息模块:● 记录运行机器、地域信息、项目名、节点信息、参数值等。● 需要关注点:● 1.配置的参数是否被真实值替换。( 配置出错或者未解析会导致实际任务运行时找不到分区/查不到数据等)● 2.运行任务的数据集成资源组类型(部分数据源仅支持独享数据集成资源组)● 资源组标识:● 运行在数据集成公共资源组上: in Pipeline[basecommon_ group_ xxxxxxx]● 运行在数据集成自定义资源组上: in Pipeline[basecommon_ xxxxxxxx]● 运行在数据集成独享资源组上: in Pipeline[basecommon_ S_ res_group _xxx]​二、数据集成任务完整日志打印印任务的总体状态日志第一部分: (同步任务的四个状态)分别为 submit、wait、 run、 success/failed。submit :提交任务，将数据集成任务提交到服务器执行。数据集成任务不允许同一个任务同时提交两次，所以当一个任务同时提交了多个实例时仅有一个会被服务器接收,另一个会提交失败(补数据和周期实例冲突、补数据和手动运行冲突、周期实例间隔时间段冲突、周期实例和手动触发任务提交，冲突这些情况都会导致任务提交失败) .所以当有多实例 job 冲突时，会造成 submit failed 的现象。wait :等待数据集成资源组分配资源使该任务运行。若数据集成资源组资源不足,则运行日志中会有长时间处于wait状态的现象且任务进度一直为0%。run :表示数据集成任务已经在资源组上运行了。run 状态时间较长;执行的任务较多包括预执行 preSql (删除表数据等)、同步数据、数据写入目的端后执行 postSql (同步完成后执行的 sql，删除部分重复数据等)等。如果任务进度卡在某个百分点不动,可以检查下是否配置了预执行或者后执行sql语句。Success/failed: 分别表示任务执行成功/失败以上是同步任务日志第一部分主要打印信息，为任务渲染、提交、运行、执行完毕的日志，日志结束的标志信息: DI Finish at: xxxxxxx。三、数据集成任务完整日志打印线程明细、执行过程和结果日志第二部分:任务执行明细、子线程执行情况及结果返回信息、数据写入信息等。该部分日志请在如图所示的运行日志中找detail log url这个标识符，可从该链接中查看详细日志。大体可分为 6 个步骤:1.任务渲染完毕后提交的实际配置以及参数替换结果的json配置。2.数据源端的表信息、列信息。3.对 odps 表做数据清理(如果配置了写入前清理数据)。4.根据配置的切分键生成sql到数据源端读取数据(若是配置了querysq|那么会执行querysql 忽略切分键配置)。5.执行取数 sql 并向目的端写入数据。6.数据条数、速率的最终统计。四、常见问题1.0dps 表不存在(在生产环境运行任务报该异常一般是只创建了 odps 开发表后直接配置了数据集成任务然后就发布运行了，需要再创建生产表)2.任务提交后直是 wait 状态 (当数据集成资源组不足时会出现该情况(公共数据集成资源组资源不足/独享数据集成资源组支持的并发数小于任务配置的并发数或者其他同步任务运行中导致剩余的资源不够下一个任务启动)3.任务直处于 run 状态但是 卡在某个百分点不往下进行( 1.首先检查是不是配置了presql 或者 postsql ,在准备数据写入或者数据已经写入后执行了该 sql 且该 sql执行时间过长2.查看 detaillog 排查是否某个子线程取数时数据库端迟迟没返回结果)4.读取数据库端数据时报链接超时异常(该情况需要调整数据库超时时间参数或者优化取数 sql 等)。5.网络不通(该情况需具体分析，一般情况为白名单没有加全或者独享资源组没有绑定装有网络)。

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：MaxComputeSpark Spark 与 SparkSQL 对比分析及使用注意事项】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1052MaxComputeSpark Spark 与 SparkSQL 对比分析及使用注意事项内容简介：一、功能特性二、代码开发三、DataWorks 模式四、Q&A一、功能特性Spark 部署模式：Spark on yarnhttp://spark.apache.org/docs/latest/running-on-yarn.htmlSpark onk8shttp://spark.apache.org/does/latest/running-on-kubernetes.htmlSpark on  MaxComputehttps://github.com/aliyun/MaxCompute-Spark/wiki支持的数据源：Spark on yarn/k8s 限制条件1.支持数据源操作的 jar 包是否存在2.网络是否可打通：平台环境云上网络环境：公网、经典网络、 VPCSpark on  MaxCompute  限制条件1.maxcompute  集群环境。支持访问 VPC、可申请访问公网目前支持访问的数据源：  maxcompute 、oss、VPC 下的 ECS／RDS／redis 等提交方式：Local1.和开源相同，涉及到读写  maxcompute  表时，会是 tunnel 方式来读写，本地spark－defaults.　comp 中需要配置 tunnel endpoint。2.会拉取表数据到本地，每次运行均会重新拉取；下载部分数据，可以在 SparkSqL 中指定分区实现下。Client1.客户端不会启动 dirver2.不再依赖 spark 客户端Cluster1.和开源相同POM 文件：注意事项：1.spark 和 scala 版本2.scope 配置：需要是 provided参考示例:​ https://github.com/aliyun/MaxCompute-Spark/blob/master/spark-2.x/pom.zn​​< properties >​​<spark. version>2.3.0</spark. version>​​<cupid. sdk. version>3.3.8-public</cupid. sdk. version>​​<scala. version>2. 11.8</scala. version>​​<scala. binary. version>2. 11</scala. binary. version></ properties >​二、代码开发Tips:建议使用 SparkSql ，不要使用 ODPSops​val spark s Spark Session​​. builder()​​. appliame("SparkSQL-on- HaxCompute ")​​. config("spark-sal, broadcast Timeout","no""(")​​. config("spark-sql. cross-loin, enabled", true)​​. conflig("odps, exec, dynamic, partition, mode","nonstrict")​​-config("spark-sql catalog[ updatentation ","~dps")-get0-create()​​import spark. val rdf-spil(s"select+from muxing test _ 2018 _ total _ infor")​线上运行时 SparkSession 代码中参数写到spark节点配置spark.　hadoop.　odps.　runtime.　end.　point#　Spark施行环境endpoints，请配置为所在region的Mak（captte　VTC内网Endpoints.yearshadoopdaysruntinesendpoint “ http://service.cn-sarcompute.aliyurnic.com/got引用 jar 资源使用 spark.　hadoop.　odbs.　cupid.　resources​Ispark hadoop. oops cupic,resources= projectname ×x0. jar.  projectnamexx1 . jar​​< dependency >​​<groupId>com. aliyun. odps</groupIdx​​<artifact Id>cupid-sdk</artifact Id>​​<version>${cupid. sdk. version}</version>​​<scope>provided</scope>​​</ dependency >​​< dependency >​​<groupId>com. aliyun. odps</groupId>​​<artifact Id>hadoop-fs-oss</artifact Id>​​<version>${cupid. sdk. version}</version>​​</ dependency >​​< dependency >​​<groupId>com. aliyun. odps</groupId>​​< artifactId >odps-spark-database _5(scala. binary. version)</ artifact1d ><version>${cupid. sdk. version}</version>​​</ dependency >​三、DataWorks 模式操作流程（操作演示）：1.创建 spark 节点2.配置节点参数3.测试运行4.提交发布Tips:1.通过参数配置实现带入参数到 spark 程序2.简单模式和标准模式下发布有差异四、Q&A

开发者学堂课程【 SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：Hadoop 数据如何同步至 MaxCompute 】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1038Hadoop 数据如何同步至 MaxCompute内容简介：一、MMA 覆盖的主要场景二、MMA 的主要功能三、MMA 迁移服务架构四、MMA Agent 技术架构和原理五、环境准备六、下载和编译工具包七、MMA Agent 操作说明八、进阶功能九、进阶功能2：仅灵活的 hive 到 max compute 映射十、单表/单分区迁移十一、使用 Dataworks 自动迁移数据和工作流十二、其他类型作业的迁移方案十三、使用 MMA Agent 获得评估报告一、MMA 覆盖的主要场景二、MMA 的主要功能迁移评估分析数据迁移自动化作业兼容性分析对 Hadoop 平台进行诊断分析，评估数据迁移规模、作业迁移改造的数量、预估迁移后的成本，从而对迁移工作进行整体评估和决策。对 Hive Meta 及数据进行检测扫描，自动在 MaxCompute 创建对应的 Meta，同时根据不同的网络环境，将 Hive 的数据自动转换并高吞吐地加载到MaxCompute 上，支持从 TB 级到 PB 级数据的迁移上云。对 Hive 作业进行兼容性分析，识别出需要修改的任务并提供针对性的兼容性修改建议。对于用户自定义逻辑的分析任务，如UDF、MR/Spark作业等，我们将给出一般性的改造建议供用户参考。对主流数据集成工具 Sqoop 进行作业的迁移转换，并自动创建 Dataworks 数据集成作业;支持主流 Pipeline 工 具，如 Oozie、Azkaban、Airflow 等自动迁移转化，并自动创建为 Dataworks 工作流及调度作业。三、MMA 迁移服务架构如下图，左边是客户 Hadoop 集群，右边是 Aliyun MaxCompute 即阿里云的大数据服务。 MMA 会跑在客户 Hadoop 集群上面，需要在客户的服务器上，这台机器上需要去部署 MMA 客户端工具，这个工具会帮助客户自动的去获取hivemeta 数据，还支持将 meta 信息自动转换成 MaxCompute ，批量创建表，之后会拉起数据同步的作业，调用 udf，udf 会 集成 SDK。基于 MMA 客户端自动发现的 Meta 数据，基于 hiveMeta 数据会做一整个工作流的作业检查。最后迁移过来以后对于 MMaxCompute 和 Dataworks 架构对接业务系统。四、MMA Agent 技术架构和原理MMA Agent 的工作流程主要分为四个步骤:1、Metadata 抓取2、MaxCompute DDL 与 Hive UDTF 生成3、MaxCompute 表创建4、Hive 数据Meta Carrier 需要连接到 hivemete 里面，会自动将 meta 拉出来，在本地生成hivemeta 的结构。Meta Processor 是基于第一个工具产出的结果，就是基于 hiveMeta 的数据转成DDL，即批量转成建表语句，包括数据类型的转换。ODPS Console，基于Console可以将 Meta Processor 产出的 ODPS DDL 批量的通过 ODPS Console 去创建表。基于 Data Carrier 去批量创建 HIVE UDTF SQL 作业。五、环境准备1、jdk 1.6+2、Python 3+3、Hive Client4、能访问 Hive Server5、网络连接 MaxCompute场景举例：·客户IDC->专线-> ECS+MaxCompute等，可以从ECS上访问MaxCompute的endpoint ,但从IDC不可以·需要增加 VBR 路由配置:参考detail/57195.htmI?spm=a2c4g.11174283.6.579.33513a79ZnTEsX。六、下载和编译工具包1、下载源码︰切换到 odps-datacarrier-develop 分支，https/github.com/aliyun/aliyun-maxcompute-data-collectors?spm=a2c4g.11186623.2.8.422c4cO7MdjlpQ2、解压下载的aliyun-maxcompute-data-collectors-odps-datacarrier-develop.zip文件在控制台运行 odps-data-carrier 目录下的 build.py 文件，编译生成 MMA 工具。七、MMA Agent 操作说明Bin 目录下有几个文件Libs 下是所需要的 jar 包​[root@emr-header-1 mma_client_wz]# cd odps-data-carrier[root@emr-header-1 odps-data-carrier]# bin/meta-carrier -h​​usage: meta-carrier -u <uri> -o <output dir [-h] [-d <database>][-t<table>] [--keyTab <path to keytab>] [--principalemetastore principal] [--system [key=value]+]​​-d,--database <database>   optional, specify a database​​-h,--help  optional, print help information​​--keyTab <keyTab>    optional, hive metastore's Kerberos keyTa​​-o,--output-dir<output-dir> Required, output directory​​--principal <principal>​​Optional, hive metastore's Kerberosprincipal​​--system system>   system properties​​-t,--table <table>   0ptional, specify a table​​-u,--uri <uri>​​Required, hive metastore thrift uri​​[root@emr-header-1 odps-data-carrier]# bin/meta-carrier -u thrift：//127.0.0.1：9083-d dma​​ ​​demo -o meta​会生成一个 meta 目录接下来会产生 partition meta 和 table meta。接下来将 hivemeta 转换成 Max compute 的 dtl 语。​[root@emr-header-1 odps-data-carrier]# bin/meta-processor -h​​usage: meta-processor -i <metadata directory -o coutput​​directory>​​-h,--help  Print help information​​-i,--input-dir <input-dir> Directory generated by meta carrier​​-o,--output-dir <output-dir> output directory generated by meta​​Processor.​-i 就是 input 输入目录-o 就是 output 输出目录Hive udtf sql 下 的 sql 是用于批量做数据迁移的时候写的 sql。​INFO mapred.FileInputFormat: Total input files to process : 1ds=20190925​​ds=20190926ds=20190927ds=20190928ds=20190929​​Time taken:_e.857 seconds,Fetched: 5 row(s)​​optional arguments:-h, --help​​show this help message and exit​​--input INPUT​​path to directory generated by meta processor​​--odpscmd ODPSCMD path to odpscmd executable​​[root@emr-header-1 odps-data-carrier]#​​[rooteemr-header-1 odps-data-carrier]#​​[root@emr-header-1 odps-data-carrier]# python36 bin/odps_ddl_runner.py -input output[root@emr-header-1 odps-data-carrier]# python36 bin/hive_udtf_sql_runner.py ​​Run hive UDTF SQL automatically.​​optional arguments:​​-h,--help​​show this help message and exit​​--input_all INPUT_ALL​​path to directory generated by meta processor​​--input_single_file INPUT_SINGLE_FILE，​​path to a single sqtfile​​--settings SETTINGS​​path to extra settings to set before running a hive​​--parallelism PARALLELISM​​sql​​max parallelism_of running hive sql​​[rooteemr-header-1 odps-data-carrier]#python36 bin/hive_udtf_sql_runner.py -input_all​​drwxr-xr-X 4 root root 4096 0ct 2919:23 dma demo-rw-r--r-- 1 root root 4525 0ct 2919:23 report.html[root@emr-header-1 output]#​​[rooteemr-header-1 output]#​​[root@emr-header-1 output]# sz report.html​1.使用 meta-carrier 采集 Hive Metadata（1）解压工具包: odps-data-carrier.zip ，工具目录结构如下:hive_udtf_sql_runner.pymeta-carrierlmeta-processornetwork-measurement-tool（网络测量工具）odps_ddl_runner.py（批量创建表）proc_pool.py_pycache_proc_pool.cpython-36.pycsql-checkerextra_settings.ini（2）获取 Hive  metadata（3）结果 hive metadata 输出的目录结构说明：① global.json 是一个全局的配置文件，包含了整个迁移过程中的一些配置②每一个 database 会有一个独立的目录③每一个表有一个以表名命名的 json 文件④如果是分区表，还会有一个以表名为命名的 partition 的 json 文 件。2.使用 network-measurement-tool√测试 Hadoop 集群到 MaxCompute 各 Region 的网络连通质量√测试网络上下行传输速率​Usage:​​network-measure-tool --mode FIND |TEST​​0ptions:​​--—mode <mode>​​-h ,--help​​-p,--access-key <access-key>​​0DPs access key, required inTEST mode​​--project <project>​​Print help information​​0DPs project name，required inTEST mode​​一t,--num-thread enum-thread>​​Number of thread​​--tunnel-endpoint <tunnel-endpoint> ODPS tunnel endpoint，optional-u,--access-id <access-id>​​FIND (find available endpoints)​​or TEST (test performance of asingle endpoint)​​--endpoint cendpoint>​​ODPS endpoint,required in TEST mode​​ODPS access id,required in TEST​​Mode​​Example:​​查找可用 endpoint:​​odps-data-carrier/bin/network-measurement-tool --mode find​​Output:​​各个 endpoint 的连接情况(只输出可以连接的):​​ENDPOINT: EXTERNAAL-BEI3ING: ​​http://lservice.cn.maxconpute.aliyun.com/apiAVAILABILITY:​​ true​​ELAPSED TIME (ms): 4​​ENDPOINT: EXTERONAL-HANGZHOU: ​​http://service.cn.maxcompute.aliyun.com/apiAVAILABILITY:​​ true​​ELAPSED TINE (ms): 5​​Example:​​测试某个 endpoint 的读写性能:​​odps-data-carrier/bin/network-measurement-tool --mode test l--endpoint <endpoint to test> \​​-u<access id> -p <access key >\​​--project=<project nane> --num-thread <number of thread>​3.使用 meta-processor 生成ODPS DDL和Hive UDTF SQL（1）修改globle.json，自定义表、字段的生成规则（2）生成 ODPS DDL 和 Hive UDTF SQL 了4.使用 sql-checker 检查 Hive SQL 是否可以直接在 MaxCompute 执行5.使用 odps_ddl_runner.py 批量创建表和分区ODPS DDL 创建好以后，运行 odps_ddl_runner.py，将会遍历 meta-processor生成的目录，调用 odpscmd 自动创建 ODPS 表与分区6.使用 hive_udtf_sql_runner.py 迁移数据表和分区创建完成以后，运行 hive_udtf_sql_runner.py，将数据从 hive 上传至MaxCompute 。hive_udtf_sql_runner.py 有两种模式，第一种将会遍历 meta-processor 生成的目录，调用 hive client 运行 hive udtf sql，从而将数据从 hive 上传至 ODPS 。第二种模式需要用户手动指定—个 hive sql 文件。八、进阶功能1、仅生成指定 database或table的metadata在前面的 Demo 中，我们抓去了 hive 中所有 database 和表的metadata ，但在很多环境下，我们倾向于一次处理一个 database 或一张表，因此meta-carrier 工具提供了抓取指定 database 或 table的 metadata 的能力:执行: sh odps-data-carrier/bin/meta-carrier -u thrift://127.0.0.1:9083 -d test -t test -o meta这里生成的 metadata 仅包含了 test.test 这张表。九、进阶功能2：仅灵活的 hive 到 max compute 映射在前面的 Demo 中，将 hive 的 test.test 表映射到 mc 中ODPS_DATA_CARRIER_TEST.test 这张表提供了更强大的能力，比如说修改 hive表到 mc 的表明与列名映射，设置 mc 中表的 life cycle， 增加 comment ，等等。用户可以编辑 meta-carrier 生成的 metadata 来做到上述的事情。十、单表/单分区迁移在运行 hive sql 进行数据迁移的时候，提供了两种模式: input_all 模式与 input_single_file 模式。在 input_all 模式下，我们给一个 meta-processor 生成的目录，之后odps_hive_udtf_runner 会自动遍历该目录下的文件，并串行执行里面的hive sql，例如:python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all processed/在 input_single_file 模式下，我们给一个 hive sql 文件路径，odps_hive_udf_runner 会从该文件中读取 hive sql 并执行。例如∶python3 odps-data-carrier/bin/hive_udtf_sql_runner.py--input_single_fileprocessed/test/hive_udtf_sql/single_partition/test_0.sqlinput_single_file 模式可以帮助我们熟悉工具，并且在数据量大的场景下可以控制迁移的进度。十一、使用 Dataworks 自动迁移数据和工作流1、安装 MMA Agent 客户端工具:采集 Metadata& 生成 ODPS DDL2、上传 Dataworks 项目描述文件·根据模板(参见右图)生成 DataWorks 项目描述文档，打包为:  dataworks_project.tgz 上传到 Dataworks。·【注意】︰一期仅支持:1)打包文件手动上传;江2)支持OOIZE调度引擎的配置模板和Dataworks 工作流配置模板。上传完成后， Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的table。MaxCompute 的表创建完成后， Dataworks 服务会自动拉起 DataX 的数据同步任务，完成批量数据迁移。3.项目描述文件（/project.xml）说明tenantld: 用户在 dataworks 上的租户 ID;name: 用户事先在 dataworks 上 创建好的项目空间名称;owner :用户的阿里云账号 ID。4.工作流描述文件 （/workflow.xml） 说明十二、其他类型作业的迁移方案1.UDF、MR 转移支持相同逻辑的 UDF、MR 输入、输出参数的映射转换，但 UDF 和 MR 内部逻辑需要客户自己维护。【注意】∶不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。2.外表迁移原则上全部迁到 MaxCompute 内部表。如果必须通过外表访问外部文件，建议先将文件迁移到 OSS 或者 OTS，在MaxCompute 中创建外部表，实现对文件的访问。【注意】: MaxCompute 外部表支持的格式包括 :ORC、PARQUET、SEQUENCEFILE、RCFILE.AVRO 和 TEXTFILE。3.Spark 作业迁移1.【作业无需访问 MaxCompute 表和 OSS 】用户 jar 包可直接运行，参照_《MaxCompute Spark 开发指南》第二节准备开发环境和修改配置。注意，对于spark 或 hadoop 的依赖必须设成 provided。2.【作业需要访问 MaxCompute 表】参考_《 MaxComputeSpark 开发指南》第三节编译 datasource 并安装到本地 maven 仓库，在 pom中添加依赖后重新打包即可。【作业需要访问 OSS 】参考_《 MaxCompute Spark 开发指南》第四节在 pom中添加依赖后重新打包即可。十三、使用 MMA Agent 获得评估报告报告中将搬站风险分为两档,高风险 (HIGH RISK)与中等风险(MODERATE RISK)。·高风险意味着必须人工介入，例如出现了表名冲突， ODPS 完全不支持的类型等问题。中等风险意味着迁移过程中可以自动处理，但是需要告知用户的潜在风险，例如Hive 数据类型到 ODPS 数据类型会带来的精度损失等问题。

开发者学堂课程【DataWorks 使用教程：DataWorks 基本操作演示】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/107/detail/1866DataWorks 基本操作演示内容简介：一、开发流程二、创建工作空间三、新建 OSS 数据源四、新建 RDS 数据源五、创建业务流程六、配置 workshop_start 节点七、新建表八、配置离线同步节点九、提交业务流程十、运行业务流程十一、确认数据是否成功导入 MaxCompute十二、配置 ODPS SQL 节点十三、业务流程十四、配置数据质量监控十五、数据可视化展现十六、通过向导模式生成 API一、开发流程Workshop 教程涉及的具体开发流程如下：1. 环境准备：准备操作过程中需要的 MaxCompute、DataWorks 等环境。详情请参见准备环境。2. 数据采集：学习如何从不同的数据源同步数据至 MaxCompute 中、如何快速触发任务运行、如何查看任务日志等。详情请参见采集数据。3. 数据加工：学习如何运行数据流程图、如何新建数据表、如何新建数据流程任务节点、如何配置任务的周期调度属性。详情请参见加工数据。4. 数据质量监控：学习如何给任务配置数据质量的监控规则，以保证任务运行的质量问题。详情请参见配置数据质量监控。5. 数据可视化展现：学习如何通 过 Quick BI 创建网站用户分析画像的仪表板，实现所需数据的可视化展现。详情请参见数据可视化展现。6. 通过 Function Studio 开发 UDF：学习如何通过 Function Studio 开发 UDF，并将其提交至 DataStudio 的开发环境。 二、创建工作空间1.使用主账号登录 DataWorks 控制台。2.在概览页面，单击右侧的快速入口>创建工作空间。您也可以单击左侧导航栏中的工作空间列表，切换至相应的区域后，单击创建工作空间。3.配置创建工作空间对话框中的基本配置，单击下—步。4.进入选择引擎界面，勾选 MaxCompute 引擎后，单击下—步。DataWorks 已正式商用，如果该区域没有开通，需要首先开通正式商用的服务。默认选中数据集成、数据开发、运维中心和数据质量。5.进入引擎详情页面，配置选购引擎的参数。实例显示名称：实例显示名称不能超过 27 个字符，仅支持字母开头，仅包含字母、数字和下划线(_)。Quota 组切换：Quota 用于实现计算资源和磁盘配额。Maxcompute 数据类型：该选项设置后，将在 5 分钟内生效。详情请参见数据类型版本说明。Maxcompute 项目名称：默认与 DataWorks 工作空间的名称—致。Maxcompute 访问身份：包括阿里云主账号和任务负责人。6.配置完成后，单击创建工作空间。工作空间创建成功后，即可在工作空问列表页面查看相应内容。 三、新建 OSS 数据源1.进入数据源管理页面。i.登录 DataWorks 控制台。ii.在左侧导航栏，单击工作空间列表。iii.单击相应工作空间后的进入数据集成。如果您已在 DataWorks 的某个功能模块，请单击左上方的目图标，选择全部产品>数据汇聚>数据集成，进入数据集成页面。iv.在左侧导航栏，单击数据源，进入工作空间管理>数据源管理页面。2.在数据源管理页面，单击右上方的新增数据源。3.在新增数据源对话框中，选择数据源类型为 OSS。4.在新增OSS数据源对话框，配置各项参数。数据源名称：输入 oss_workshop_log。数据源描述：对数据源进行简单描述。适用环境：勾选开发。说明：开发环境的数据源创建完成后，需要勾选生产，以同样方式创建生产环境的数据源，否则任务生产执行会报错。Endpoint：输入 http://loss-cn-shanghai-internal.aliyuncs.com .Bucket：输入 new-dataworks-workshop.AccessKey ID：输入 LTAl4FvGT3iU4xjKotpUMAjs.AccessKey Secret：输入 9RSUoRmNxpRC9EhC4m9PjuG7Jzy7px.5.在资源组列表，单击相应资源组后的测试连通性。数据同步时，一个任务只能使用—种资源组。您需要测试每种资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击批量测试连通性。详情请参见选择网络连通方案。1. 连通性测试通过后，单击完成。四、新建 RDS 数据源1.单击当前页面左上角图标，选择全部产品数据汇聚>数据集成。2.在左侧导航栏，单击数据源>数据源列表，进入工作空间管理>数据源管理页面。3.在数据源管理页面，单击右上方的新增数据源。4.在新增数据源对话框中，选择数据源类型为 My SQL5.在新增 MySQL 数据源对话框中，配置各项参数。数据源类型：选择阿里云实例模式。数据源名称：输入 rds_workshop_log.数据源描述：输入 RDS 日志数据同步。适用环境：勾选开发。说明：开发环境的数据源创建完成后，需要勾选生产，以同样方式创建生产环境的数据源，否则任务生产执行会报错。地区：选择 RDS 实例所在的区域。RDS 实例 ID：输入 rm-bp1z69dodhh85z9qa.RDS 实例主账号 ID：输入 1156529087455811。数据库名：输入 workshop.用户名：输入 workshop.密码：输入 workshop#2017。6.在资源组列表，单击相应资源组后的测试连通性。数据同步时，一个任务只能使用—种资源组。您需要测试每种资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击批量测试连通性。详情请参见选择网络连通方案。7.测试连通性通过后，单击完成。 五、创建业务流程1.单击当前页面左上方的图标，选择全部产品>数据开发> DataStudio(数据开发)。2.在数据开发面板，右键单击业务流程，选择新建业务流程。3.在新建业务流程对话框中，输入业务名称和描述。注意：业务名称不能超过 128 个字符，且必须是大小写字母、中文、数字、下划线(_)以及小数点(.)。4.单击新建。5.进入业务流程开发面板，鼠标单击虚拟节点并拖拽至右侧的编辑页面。6.在新建节点对话框中，输入节点名称为 workshop_start，单击提交。以同样的方式新建两个离线同步节点，节点名称分别为 oss 数据同步和 rds 数据同步。7.通过拖拽连线，将 workshop_start 节点设置为两个离线同步节点的上游节点。六、配置 workshop_start 节点1. 在数据开发页面，双击相应业务流程下的虚拟节点。打开该节点的编辑页面，单击右侧的调度配置。2. 在调度依赖区域，单击使用工作空间根节点，设置 workshop_start 节点的上游节点为工作空间根节点。由于新版本给每个节点都设置了输入输出节点，所以需要给 workshop_start 节点设置一个输入。此处设置其上游节点为工作空间根节点，通常命名为工作空间名称_root七、新建表1. 在数据开发页面打开新建的业务流程，右键单击 MaxCompute，选择新建>表。 2.在新建表对话框中，输入表名，单击提交。此处需要创建两张表 (ods_raw_log_d和ods_user_info_d)，分别存储同步过来的OSS 日志数据和 RDS 日志数据。注意：表名必须以字母开头，不能包含中文或特殊字符，且不能超过 64 个字符。3.通过 DDL 模式新建表。新建 ods_raw_log_d 表。在表的编辑页面单击 DDL 模式，输入下述建表语句。--创建 OSS 日志对应目标表CREATE TABLE IF NOT EXISTS  ods_raw_log_d (col STRING)PARTITIONED BY (dt STRING);新建 ods_user_info_d 表。在表的编辑页面单击 DDL 模式，输入下述建表语句。--创建 RDS 对应目标表CREATE TABLE IF NOT  EXISTS ods_user_info_d (uid STRING COMMENT '用户ID',gender STRING COMMENT '性别',age_range STRING COMMENT '年龄段',zodiac STRING COMMENT '星座')PARTITIONED BY (dt STRING);4.单击生成表结构，并确认覆盖当前操作。5.返回建表页面，在基本属性中输入表的中文名。6.完成设置后，分别单击提交到开发环境和提交到生产环境。 八、配置离线同步节点1.配置 oss_ 数据同步节点。（1）在数据开发页面，双击 oss_ 数据同步节点，进入节点配置页面。（2）选择数据来源。数据源：选择 Oss > oss_workshop_log 数据源。Object前缀：输入 OSS 文件夹的路径，请勿填写 Bucket 的名称。示例为user_log.txt。文本类型：选择 text 类型。列分隔符输入列分隔符为 |。编码格式：默认为 UTF-8 格式。null 值：表示 null 值的字符串。压缩格式：包括 None、Gzip、Bzip2 和 Zip 四种类型，此处选择 None。是否包含表头：默认为 No。（3）选择数据去向。数据源：选择 ODPS > odps_first 数据源。表：选择数据源中的 ods_raw_log_d 表。分区信息：默认配置为$ {bizdate}.清理规则：默认为写入前清理已有数据。空字符串作为 null：此处勾选否。（4）配置字段映射。​（5）配置通道控制。（6）单击页面右侧的调度配置，在调度依赖>本节点的输出区域，输入本节点的输出名称为工作空间名称 . ods_raw_log_d。（7）确认当前节点的配置无误。（8）关闭当前任务，返回业务流程配置面板。2.配置 rds_ 数据同步节点。（1）在数据开发页面，双击 rds_ 数据同步节点，进入节点配置页面。（2）选择数据来源。（3）选择数据去向。（4）配置字段映射。（5）配置通道控制。（6）单击页面右侧的调度配置，在调度依赖>本节点的输出区域，输入本节点的输出名称为工作空间名称 .ods_user_info_d。添加成功后，您可以删除不规范的输出名称。（7）确认当前节点的配置无误。（8）关闭当前任务，返回业务流程配置面板。 九、提交业务流程1. 在数据开发页面，双击相应的业务流程打开编辑页面。2.选择提交对话框中需要提交的节点，输入备注，勾选忽略输入输出不一致的告警。3.单击提交，待显示提交成功即可。 十、运行业务流程1. 在数据开发页面，双击相应的业务流程打开编辑页面。2.右键单击 rds_ 数据同步节点，选择查看日志。当日志中出现如下字样，表示同步节点运行成功，并成功同步数据。2.右键单击 rds_ 数据同步节点，选择查看日志。当日志中出现如下字样，表示同步节点运行成功，并成功同步数据。十​一、确认数据是否成功导入 MaxCompute1.在数据开发页面的左侧导航栏，单击临时查询，进入临时查询面板。2.右键单击临时查询，选择新建节点 >ODPS SQL。3.编写并执行 SQL 语句，查看导入 ods_raw_log_d和ods_user_info_d 的记录数。设计业务流程：业务流程节点间依赖关系的配置请参见采集数据。双击新建的业务流程打开编辑页面，鼠标单击 ODPS SQL 并拖拽至右侧的编辑页面。在新建节点对话相中，输入节点名称,单击提交。此处需要新建三个 ODPS SQL 节点，依次命名为 ods_log_info_d、 dw_user_info_all_d 和 rpt_user_info_d，并配置如下图所示的依赖关系。创建用户自定义函数1.新建资源。（1）下载 ip2region.jar.（2）在数据开发页面打开业务流程，右键单击 MaxCompute，选择新建>资源>JAR。（3）在新建资源对话框中，输入资源名称，并选择目标文件夹。（4）单击点击上传，选择已经下载至本地的 ip2region.jar，单击打开。（5）单击确定。（6）单击工具栏中的图标。2.注册函数。（1）在数据开发页面打开业务流程，右键单击 MaxCompute，选择新建>函数。（2）在新建函数对话框中，输入函数名称(示例为 getregion)，单击提交。（3）在注册函数对话框中，配置各项参数。十二、配置 ODPS SQL 节点1.配置 ods_log_info_d 节点。（1）双击 ods_log_info_d 节点，进入节点配置页面。（2）在节点编辑页面，编写如下SQL语句。​INSERT OVERWRITE TABLE ods_log_info_d PARTITION (dt=${bdp.system.bizdate})​​SELECT ip​​  , uid​​  , time​​  , status​​  , bytes ​​  , getregion(ip) AS region --使用自定义UDF通过IP得到地域。​​  , regexp_substr(request, '(^[^ ]+ )') AS method --通过正则把request差分为3个字段。​​  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url​​  , regexp_substr(request, '([^ ]+$)') AS protocol ​​  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer --通过正则清晰refer，得到更精准的URL。​​  , CASE​​    WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' --通过agent得到终端信息和访问形式。​​    WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'​​    WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'​​    WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'​​    WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'​​    WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'​​    ELSE 'unknown'​​  END AS device​​  , CASE​​    WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'​​    WHEN TOLOWER(agent) RLIKE 'feed'​​    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'​​    WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'​​    AND agent RLIKE '^[Mozilla|Opera]'​​    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'​​    ELSE 'unknown'​​  END AS identity​​  FROM (​​    SELECT SPLIT(col, '##@@')[0] AS ip​​    , SPLIT(col, '##@@')[1] AS uid​​    , SPLIT(col, '##@@')[2] AS time​​    , SPLIT(col, '##@@')[3] AS request​​    , SPLIT(col, '##@@')[4] AS status​​    , SPLIT(col, '##@@')[5] AS bytes​​    , SPLIT(col, '##@@')[6] AS referer​​    , SPLIT(col, '##@@')[7] AS agent​​  FROM ods_raw_log_d​​  WHERE dt = ${bdp.system.bizdate}​​) a;​ 2.配置 dw_user_info_all_d 节点。（1）双击 dw_user_info_all_d 节点，进入节点配置页面。（2）在节点编辑页面，编写如下 SQL 语句。​INSERT OVERWRITE TABLE dw_user_info_all_d PARTITION (dt='${bdp.system.bizdate}')​​SELECT COALESCE(a.uid, b.uid) AS uid​​  , b.gender​​  , b.age_range​​  , b.zodiac​​  , a.region​​  , a.device​​  , a.identity​​  , a.method​​  , a.url​​  , a.referer​​  , a.time​​FROM (​​  SELECT *​​  FROM ods_log_info_d​​  WHERE dt = ${bdp.system.bizdate}​​) a​​LEFT OUTER JOIN (​​  SELECT *​​  FROM ods_user_info_d​​  WHERE dt = ${bdp.system.bizdate}​​) b​​ON a.uid = b.uid;​ 3.配置 rpt_user_info_d 节点。（1）双击 rpt_user_info_d 节点，进入节点配置页面。（2）在节点编辑页面，编写如下 SQL 语句。​INSERT OVERWRITE TABLE rpt_user_info_d PARTITION (dt='${bdp.system.bizdate}')​​SELECT uid​​  , MAX(region)​​  , MAX(device)​​  , COUNT(0) AS pv​​  , MAX(gender)​​  , MAX(age_range)​​  , MAX(zodiac)​​FROM dw_user_info_all_d​​WHERE dt = ${bdp.system.bizdate}​​GROUP BY uid;​ 十三、业务流程1、提交业务流程（1）在业务流程的编辑页面，单击国图标，提交业务流程中已配置完成的节点。（2）在提交对话框中，选择需要提交的节点，选中忽略输入输出不—致的告警。（3）单击提交。 2、运行业务流程（1）在业务流程的编辑页面，验证代码逻辑。（2）待所有任务运行完成显示绿色箭头后，在左侧导航栏，单击临时查询。（3）在临时查询面板，右键单击临时查询，选择新建节点 >ODPS SQL。（4）编写并执行SQL语句，查询任务运行结果，确认数据产出。   3、发布业务流程提交业务流程后，表示任务已进入开发环境。由于开发环境的任务不会自动调度，您需要发布配置完成的任务至生产环境。（1）在业务流程的编辑页面，进入发布页面。（2）选择待发布任务，单击添加到待发布。（3）单击右上角的待发布列表，进入列表后，单击全部打包发布。（4）在确认发布对话框中，单击发布。（5）在左侧导航栏，单击发布包列表，查看发布状态。 4、在生产环境运行任务（1）任务发布成功后，单击右上角的运维中心。您也可以进入业务流程的编辑页面，单击工具栏中的前往运维，进入运维中心页面。（2）在左侧导航栏，单击周期任务运维>周期任务，进入周期任务页面，单击workshop 业务流程。（3）双击 DAG 图中的虚节点展开业务流程，右键单击 workshop_start 节点，选择补数据>当前节点及下游节点。（4）选中需要补数据的任务，输入业务日期，单击确定，自动跳转至补数据实例页面。（5）单击刷新，直至 SQL 任务全部运行成功即可。 十四、配置数据质量监控配置表 ods_raw_log_d 的监控规则。1.在已添加的分区表达式模块，单击+，添加分区表达式。ods_raw_log_d 表的数据来源为 oss_workshop_log，数据是从 OSS 中获取到的日志数据，其分区格式为 ${bdp.system.bizdate}( 获取到前—天的日期)。对于此类每天产出的日志数据，您可以配置表的分区表达式。在添加分区对话框中，选择 dt=$lyyyymmdd-1]，单击确认。分区表达式的详情请参见基础属性:调度参数。 2.单击创建规则，默认在模板规则对话框。3.单击添加监控规则，选择规则模板为表行数，固定值，设置规则的强度为强、比较方式为期望值大于 0。表 ods_raw_log_d 的数据来源于 OSS 上传的日志文件，作为源头表，您需要尽早判断该表的分区中是否存在数据。如果该表没有数据，则需要阻止后续任务运行。如果来源表没有数据，后续任务运行无意义。配置完成后，单击批量保存。4.单击试跑,在试跑对话框中，选择调度时间，单击试跑。试跑可以立即触发数据质量的校验规则，对配置完成的规则进行校检。试跑完成​后，单击试跑成功!点击查看试跑结果,即可跳转至试跑结果页面。5.进行关联调度。数据质量支持和调度任务关联。在表规则和调度任务绑定后，任务实例运行完成都会触发数据质量的检查。您可以通过以下两种方式进行表规则和任务的关联调度:（1）在运维中心页面关联表规则单击左上方的目图标，选择全部产品>运维中心。在左侧导航栏，单击周期任务运维>周期任务。在 DAG 图中，右键单击 oss_ 数据同步任务，选择配置质量监控。 在配置质量监控对话框中，选择表名 (ods_raw_log_d) 和分区表达式dt=$[yyyymmdd-1])，单击添加。（2）在数据质量页面关联表规则在表的监控规则页面，单击关联调度，配置规则与任务的绑定关系。单击关联调度，可以与已提交到调度的节点任务进行绑定，系统会根据血缘关系给出推荐绑定的任务，也支持自定义绑定。在关联调度对话框中，输入节点 ID 或节点名称，单击添加。添加完成后，即可完成与调度节点任务的绑定。6. 订阅任务。在表的监控规则页面，单击订阅管理，设置接收人以及订阅方式。数据质量支持邮件通知、邮件和短信通知、钉钉群机器人和钉钉群机器人 @ALL。订阅管理设置完成后，在左侧导航栏，单击我的订阅，查看和修改已订阅的任务。 十五、数据可视化展现操作步骤1. 单击进入默认空间，您也可以使用自己的个人空间。2. 选择数据源≥新建数据源>云数据库> Maxcompute。3.输入您的 MaxCompute 项目名称以及您的 AcessKey 信息，数据库地址使用默认地址即可，关于数据库地址详情请参见 Endpoint​。 完成填写后，单击连接测试，待显示数据源连通性正常后单击添加即可。4.找到您刚添加的数据源的 rpt_user_info_d 表，单击创建数据集。 5. 进入数据集列表页，单击您刚刚创建的数据集，对数据集进行编辑。常见的数据集加工包括:维度、度量的切换、修改维度的类型、增加计算字段、创建层次结构、修改字段的数据类型、更改度量聚合方式、制作关联模型。6.转换字段的维度类型。完成转换后，您可以根据字段中具体的数值进行过滤筛选。（1）转换日期字段的维度类型。右键单击 dt 字段，选择维度类型切换>日期（源数据格式)> yyyyMMdd。 （2）转换地理信息字段的维度类型。右键单 击 region 字段，选择维度类型切换>地理信息>省/直辖市。转换成功后，在左侧维度栏中会看到亨段前多—个地理位詈图标。 7.制作仪表板。随着数据的更新，让报表可视化地展现最新数据，这个过程叫制作仪表板。仪表板的制作流程为:确定内容、布局和样式，制作图表，完成动态联动查询。（1） 单击 rpt_user 数据集后的新建仪表板，选择常规模式，进入仪表板编辑页。（2）从仪表板空间中向空白区拖 入 1 个指标看板。选择数据来源为数据集 rpt_user，选择度量为 pv。 （3）制作趋势图:将图表区域内的线图拖拽到左侧画布。参数配置如下，完成之后单击更新:值轴/度量: pv类别轴/维度:dt (day)颜色图例/维度:age_range过滤器: dt (year)（4）制作色彩地图:单击图表区域内的色彩地图，并选择数据源来源为数据集rpt_user，选择地理区域/维度为 region、色彩饱和度/度量为 pv，选择完成后单击更新，结果如下。（5）完成配置后，单击保存及预览，即可看到展示效果。 十六、通过向导模式生成 API生成 API：1.在服务开发页面，鼠标悬停至图标，单击 API> 生成 API。也可以打开相应的业务流程，右键单击 API，选择新建>生成 API。2.在生成 API 对话框中，配置各项参数。3、单击确定。 配置 API：1. 双击打开 API 的编辑页面，在选择表区域，选择数据源类型、数据源名称和数据表名称。2.在环境配置区域，设置内存和超时时间。3.在选择参数区域,设置请求参数和返回参数。您选择数据表后，选择参数区域会自动显示该表的所有字段。根据自身需求，分别选中相应的字段设为请求参数和设为返回参数，添加至请求参数和返回参数列表中。如果您需要对字段进行排序，单击相应字段后的添加到字段排序，将其添加至排序字段列表中。您可以根据数据表中的指定字段对API的返回结果进行排序。当您的排序列表中有多个字段时，序号越小的字段，排序的优先级超高，您可以通过上移和下移操作来调整排序字段的优先级。对于每个排序字段，均可以选择升序或降序的方式进行排序。4.单击 API 编辑页面右侧的请求参数,配置各项参数。5.单击 API 编辑页面右侧的返回参数，配置各项参数测试 API在 API 的编辑页面,单击右上方的测试。

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：DataWorks 调度依赖之跨周期依赖】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1199DataWorks调度依赖之跨周期依赖内容介绍：一、DataWorks 的三种跨周期依赖形式二、依赖上一周期和依赖本周期的区别三、业务流程节点依赖关系一、DataWorks 的三种跨周期依赖形式①一层子节点：节点依赖关系：依赖当前节点的下游，例如 节点A存在下游节点B、C、D三个节点，依赖一层子节点是节点A依赖B、C、D三个节点的上一周期。业务场景：本次任务运行依赖上一周期下游节点对本节点的结果表（本节点输出表）进行清洗的最终结果（是否正常产出）。②本节点：节点依赖关系：跨周期自依赖（依赖当前节点的上一周期。）业务场景：本次任务运行依赖上一周期该任务的业务数据的产出情况。③自定义：节点依赖关系：手动需要依赖的节点（多个节点用英文下的逗号分隔）业务场景：业务逻辑上需要依赖其他的业务数据正常产出，但是本任务中没有操作该业务数据。二、依赖上一周期和依赖本周期的区别：注意：在运维中心中查看节点依赖关系时，所有跨周期依赖的节点都会以虚线 的形式展示。也是任务实际的依赖，下线任务时候这部分的依赖关系也需要去掉，也是任务运行需要判断的条件之一。注意：依赖上一周期和依赖同周期两处填写了一个节点任务，会依赖该节点任务今天和昨天所有的实例。如果下游是分钟任务并且分钟任务没有做自依赖，那么该任务会依赖分钟任务昨天所有的实例和今天所有的实例。三、业务流程节点依赖关系运维中心展示如下：xc_create 节点代码及配置节点sql解析：xccreate 节点创建 xc1,xc2 两张表（或产出两张表的数据）并将 xc1,xc_2 作为本节点的输出。xc_select 节点代码及配置节点 sql 解析：xcselect 节点中查询xccreate节点中的表数据，通过自动解析功能解析将 xc_create 节点作为本节点依赖的上游。依赖上一周期:一层子节点节点依赖：依赖当前节点的下游，例如 节点A存在下游节点 B、C、D 三个节点，依赖一层子节点是节点A依赖 B、C、D 三个节点的上一周期。业务场景：该任务运行依赖上一周期下游任务对本任务的结果表（本节点输出表）进行清洗的最终结果（下游任务运行成功，本节点本周期任务开始运行，否则反之）。xc_create  选择依赖一层子节点运维中心任务依赖关系如图：依赖上一周期：节点依赖：本次任务运行依赖本节点上一周期任务运行情况，上一周期任务未完成将阻塞本周期任务运行。业务场景：本次任务数据依赖上次数据清洗情况。xc_create 表配置如图(为便于观察，我将本节点设置为小时调度任务)运维中心的周期实例查看依赖情况，如图：依赖上一周期：自定义节点依赖：代码中没有用到1000374815节点的产出表但是业务上需要取依赖该1000374815节点的上一周期数据是否顺利产出从节点关系来说：xc_create节点需要依赖1000374815节点上一周期。业务场景：业务逻辑上需要依赖1000374815任务的业务数据正常产出，但是本任务（xc_create）中没有操作该业务数据。新的节点如下：节点id：1000374815xc_create 节点依赖的上游选择自定义，选择1000374815节点。运维中心周期任务依赖如图：

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：Max Computer 持续定义 SaaS 模式云数据仓库—云数据仓库+实时搜索】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1032Max Computer 持续定义 SaaS 模式云数据仓库—云数据仓库+实时搜索目录：一、Why :概述与价值二、Wha t:应用场景三、how :最佳实践​一、Why: 概述与价值1.云数据仓库 MaxComputeMaxCompute:saas 模式企业级云数据仓库云数据仓库支持多场景数仓应用应用场景1.广告场景用户标签计算、分析2.业务运营场景交互式业务指标计算、查询3.各行业搭建数据仓库流批一体、湖仓一体4.云上弹性扩展大数据计算和存储产品优势1.云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求。2.简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用。3.企业级平台服务:支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成4.安全:多租户环境下安全控制能力强5.大规模集群性能强、全链路稳定性高,阿里巴巴双11场景验证推荐组合1.实时分析场景-MaxCompute+mc-Hologres-+Flink+DataWorks+Quick2.机器学习场景-MaxComputepal+DataWorksMax Compute产品技术特性全托管的 Serverless 的在线服务1.对外以 AP 方式访问的在线服务,开箱即用2.预铺设的大规模集群资源,近乎无限资源,按需使用和付费3.无需平台运维,最小化运维投入弹性能力与扩展性1.存储和计算独立扩展,支持 TB->EB 数据规模的扩展能力,可以让企业将全部数据资产保存在一个平台上进行联动分析,消除数据孤岛2.Servlerss 资源,实时根据业务峰谷变化带来的需求变化分配资源,自动扩展3.单作业可根据需要秒级获得成千上万 Core数据湖探索分析1.默认集成对数据湖(如OS服务)的访问分析,处理非结构化或开放格式数据2.支持外表映射、 Spark 直接访问方式开展数据湖分析3.对用户友好:在同一套数据仓库服务下和用户接口下,实现数据湖分析和数据仓库的关联分析集成 AI 能力1.与 PA I 无缝集成,提供强大的机器学习处理能力2.可使用用户熟悉的 Spark--ML 开展智能分析3.提供 SQLML 可以直接使用标准 SQL 训练机器学习模型,并对数据进行预测分析4.Mars: 使用 Python 机器学习三方库支持流式采集和近实时分析1.支持流式数据的实时写入(Tunnel)并在数据仓库中开展分析2.与云上主要流式服务深度集成,轻松接入各种来源流式数据3.高性能秒级弹性并发查询,满足近实时分析深度集成 Spark 引擎1.内建 Apache Spark 引擎,提供完整的 Spark 功能2.与 MaxCompute计算资源、数据和权限体系深度集成统一而丰富的运算能力1.离线计算 (MR,DAG,SQL,ML, Graph) 2.实时计算(流式,内存计算,代计算)3.涵盖,通用关系型大数据,机器学习,非结构化数据处理,图计算提供统一的企业数据视图1.提供租户级别的统一元数据,让企业能够轻松获得完整的企业数据目录2.对于更广泛的数据源,通过外表建立数据仓库与外部数据源的连接, Connect not Collect企业级服务1.SLA保证:99.9% 服务可用性保障2.自助运维与自动化运维3.完善的故障容错(软件,硬件,网络,人为)二、What :应用场景常用场景:实时、离线、分析、服务一体化方案方案说明：适用于数据化运营,如智能推荐、日志采集分析、用户画像、数据治理、业务大屏、搜索等场景。方案优势：阿里巴巴最佳实践的大数据平台1)技术领先性;2)本提效;3)高附加值业务收益;涉及产品:日志服务5、数据传输 DT、 DataHub、实时计算 Fink、交互式分析、云数仓 MaxComput 数据治理 DataWorks、 Quick Bl 报表、 Datav 大屏、ES 搜索，机器学习 PAI2.实时搜索服务 Elasticsearch阿里云 Elasticsearch 介绍Elastic 宣布与阿里云建立长期合作和战略伙伴关系兼容开源 Elasticsearch 的功能,以及 Security、Machine Learning、 Graph、APM 等商业功能,致力于数据分析、数据搜索等场景服务。与开源社区背后商业公司 Elastic 战略合作,为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务为什么需要 MaxCompute+ 实时搜索1.MaxCompute 能解决日增量数据超大场景,提供强大算力MaxCompute EB 级别 SaaS 云数仓，支持流式采集2.需要更多的计算模型做处理MaxCompute(SQLSparkPython/ava/ml) ->高维度聚合查询、like 分词(Lucene Query)3.辅助 ElasticSearch 做数据存储MaxCompute+ OSS/ OTS客户场景 :Log/ Indicator Analysis分析场景通过分析访问日志和行为日志,您可以快速获得相关的指标并将它们交付给业务用户系统日志分析系统维护日志的错误分析帮助管理员快速定位错误行为日志分析用户行为日志可以通过分析用户访问和其他数据来帮助业务开发Operation Performance Analysis通过收集和分析页面和性能数据,帮助实时调整操作策略推荐服务: MaxCompute ElasticSearch客户场景 -WebHosting场景对站点上的数据进行快速索引,帮助对现有数据进行快速索引和精确搜索全文检索在站点内搜索产品、文档和社交网络信息企业级搜索对企业的内部数据执行快速搜索推荐服务ECSMaxCompute ElasticSearchElastic Search三、how:最佳实践1.数据集成直播场景下,日志及监控平台架构最佳实践在线教育业务痛点1.监数据实时性要求高■监控指标、数据来源多,实时性保障困难2.流量波动大,自建集群投入成本高■教育行业寒暑假业务流量激增,学期内流量平稳,机器资源闲置浪费■突发事件( Covid--19疫情)峰值流量大3.数据权限粒度要求高■为保障终端用户的使用体验,平台方需要赋能客户数据监控和分析能力,需要提供读数据权限■无法满足每个客户一个集群的需求,需要对一个大池子中的数据进行细粒度的数据权限分割1准备工作:创建 Dataworks 工作空间并开通 MaxCompute 服务、准备 MaxCompute 数据源，创建里云 Elasticsearch 实例2.步骤一:购买并创建独享资源组购买并创建一个数据集成独享资源组,并为该资源组定专有网络和工作空间。独享资组可以保障数据快速,稳定地传输3.步骤二:添加数据源将 MaxCompute 和 Elasticsearch 数源 Dataworks的数据集成服务中4.步骤三:配置并运行数据同步任务配置一个数据同步的脚本,将数据集成系统同步成功的数据存储到 Easticsearch 中,将独事资源烟作为一个可以执行任务的资源,注册到 Dataworks 的数据集成服务中,这个资源将获取数据源的数据,并执行将数据写入 ELasticsearch 中的任务(该任务将由数据集成系统统一下发)5.步骤四:验证数据同步结果在 Kibana 控制台中,查看同步成功的数据,并按条件查询数2.数据监控Steps:1.使用 Kibana 的 discover,view, dashboard 和其它对象来查看这些数据。2通过导入预先准备好的 Kibana 对象,可以统一显示直播数据。

开发者学堂课程【《实时数仓入门课程》：Hologres 数据导入/导出实践】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/807/detail/13891Hologres 数据导入/导出实践内容简介:一、Hologres 生态二、Hologres 实时读写接口介绍三、Hologres 实时读写场景介绍四、Demo 演示五、常见问题和未来展望 一、Hologres 生态Dataworks 数据集成支持输入l Mysql Binlogl SQLServer CDCl Oracle CDCl PolarDBl Kafkal Datahub 二、Hologres 实时读写接口介绍（1）Hologres 实时读写实现原理（2）Fixed Planl Insert into table values ()l Insert into table values ()on conflict do updatel Select * from table where pk = XXXl Delete from table where pk = XXXl Log Stuctured Merge Teel(LSM)l Append Onlyl 全异步框架，协程(Coroutine) （3）Holo-client基于Jdbc实现,对读写holo最佳实践的封装，可以减轻数据集成开发工作量 数据写入l 攒批，基于 jdbc reWriteBatchedlInserts 的 实现原理l 数据合并，相同主键的 INSERT/DELETE 在一个批次中会合并减少请求量l 自动提交，支持基于批行数、批字节大小和最长提交间隔自动提交数据点查l 提供异步点查接口l QPS 高时自动转入攒批模式数据 Copyl 提供并发 Copyln 的简易接口异常处理l 对 holo 返回异常归类，正确在 holo 升级、扩容等场景下重试等待实例恢复三、Hologres 实时读写场景介绍（1）实时写入场景l 行存&列存都支持l 支持根据主键去重 (Exactly once)l 支持整行数据局部更新l 导入即可见，毫秒级延迟l 单 Core 2W+ RPS (TPCH PartSupp 表)l 性能随资源线性扩展（2）实时宽表 Merge 场景（3)实时维表 Join 场景l 建议使用行存表l Flinkl 替换 HBase（4）Hologres Binlog 场景l 实时消费 Hologres 单表的 Change logl 支持Flink 的 CDC Source，能实现表的实时镜像同步 l Flink+Hologres，实现 ODS 到 DWD 表的实时 ETL 四、Demo 演示l Flink 实时读写 Hologres Demo五、常见问题及未来展望（1）Flink Hologres Connector 常见问题Q:作业启动失败，无法连接 HologresA: Hologres 实例需要与 Flink 集群在同- Region ，且使用 VPC Endpoint Q:实时写入结果表数据不符合预期A:通常是由回撤引起,需要正确设置 ignoreDelete 参数 Q:实时写入性能慢A:当前高 QPS 场景的列存表局部更新开销较大，建议换成整行更新或者行存写入 Q:维表查询性能较差,且 Hologres 实例 CPU 负载高A:通常是由于使用了列存表作为维表，建议切换至行存表 Q:实时消费 Binlog 报错A:通常是由于表没有开启 Binlog 导致,需要重建表 （2）未来展望l Flink One -To- Many 维表 Joinl 基于JDBC实时消费 Hologres Binlogl Dataworks 数据集成实时消费 Hologres Binlogl 无连接限制的 SQL 读写相关链接l https://github.com/aliyun/alibabacloud-hologres-connectorsl https://github.com/hologres/holo-client

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：MaxCompute 管家详解】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/55/detail/1050MaxCompute 管家详解  目录：一、背景速览二、功能介绍三、案例讲解四、新功能预告一、背景速览●MaxCompute 管家是什么?●为用户提供作业信息查看、资源消耗查看（涵盖CU资源和存储资源）、项目查看及调整、配额组增删改查等涉及日常。MaxCompute 运维能力的管理平台●支持哪些区域?●全球共计18个区域，细节如右图展示●支持哪些用户?●购买了数加并购买 MaxCompute "包年包月"的用户（后期也会支持购买MaxCompute " 按量付费"的用户）●是否支持英文版?●是，页面右上角切换语言即可背景速览●登录入口一●管理控制台背景速览●登录入口二●数加控制台二、功能介绍---核心模块>项目>配额>作业功能介绍--项目>基础信息·可查看当前用户具备的预付费 project 的相关信息（包括∶项目名称、所属dataworks 工作空间、账号、配额组、已用存储、project默认预付费quota组调整）;功能介绍-- 配额●配额组共有4个参数配置，概念如下∶●预留 CU 最小配额●单个 quota 组分配资源的下限●预留 CU 最大配额●单个 quota 组分配资源的上限●非预留 CU 最大配额●单个 quota 组可使用弹性资源的上限●配额组标签●标签主要是用于指定作业的配额组，如果您的包年包月资源组设置多个二级Quota组，可以在提交作业的时候，指定作业运行的 Quota 组，可以与 project 所属Quota 组不同。这样设置，能够更加灵活的设置和使用您的计算资源。具体使用请参考官网 Quota Tag。功能介绍 -- 配额●CU 资源使用消耗趋势图（最近1小时、最近6小时、最近12小时、最近1天、最近1周）●预留型 CU 资源使用消耗;●非预留型 CU 资源使用消耗;功能介绍-作业●基础信息●可查看当前用户指定配额组下所有作业情况（包括∶InstancelD、账号、项目名称、cpu使用占比（%）、内存使用占比（%）、提交时间、等待时长、运行时长、运行状态）;（每2分钟采集1次）配额规则●预留 CU 最大配额●配置规则∶单个子组的最大 CU 需小于等于默认资源组的最大 CU  ●预留 CU 最小配额●配置规则∶所有子组的最小 CU 之和须小于等于默认资源组的最小 CU  ●非预留 CU 最大配额配置规则∶所有子组的弹性最大 CU 之和须小于等于默认资源组的弹性最大 CU●配额组标签●命名规则∶ 配额组标签只允许使用字母、数字、下划线，不同配额组对应标签不要重名，否则作业指定此重名标签，将会随机调度到其中一个配额组;●调度规则∶如果提交作业时设置的 Quota Tag 和某个配额组属性中的标签相等，这个作业就会被优先调度到这个配额组中，否则会被调度到所属 Project 指定的配额组中，详细信息请参见官网 Quota Tag 描述;​三、案例讲解资源分配1  ●拿到资源如何配置?>共有预留计算资源 60CU，非预留计算资源 30CU ，由两个部门使用，可以按照如下方式分配∶>【资源组独享】>【预留最大CU，预留最小 CU，非预留最大 CU】∶A组【30，30，10】、B组【20，20，10】>这么划分意味着当A组哪怕没有资源使用时，B组资源最多也只能用到20（由最大CU 限制）+10（由弹性最大 CU限制）的资源;>【资源组共享】>【预留最大CU，预留最小 CU，非预留最大 CU】∶ A组【60，20，10】、B组【60，30，10】>这么划分意味着当 A 组和 B 组资源均紧张时，A 组可以用到20+10的资源，B组可以用到30+10的资源。当 A 组没有作业时，B 组最多可以用到60+10的资源;反之当B组没有资源时，A 组可以用到60+10的资源>存在一种情况，刚开始 B 组没有作业，A 组分配了60+10的资源，当B组作业大量提交时，需要等待调度器通知 A 组释放出20的资源后，B组再开始分配资源;资源分配2  ●作业慢或资源不足怎么办?>优化作业代码∶>可通过快照作业的资源使用情况得到top消耗的作业、并尝试进行优化，可参考官网最佳实践来做些调整●更换调度策略∶>若单个配额组资源不足，但其他配额组有足够空闲资源时，建议使用quota tag，可调度到闲置配额组内进行资源周转，或者调整内部配额组之间的资源上下限，增加资源使用的灵活性，或者通过切换project对应的quota组的方式进行重组式管理，前提是取决于业务情况●扩容∶>若整体资源不足，且其他待跑任务无重保诉求，建议走非预留扩容;>若整体资源不足，且有重保任务持续新增时，建议走预留型扩容并已独享型模式配置或后付费采买;​四、新功能预告●资源概览页  >展示用户对应的"包年包月"付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势;●历史作业快照>支持按时间搜索历史作业快照，便于对历史作业的资源使用情况的追述;●终止作业>支持作业 owner 小批量终止作业，同时支持终止作业历史追述●分时配额>支持用户对不同配额组进行分时段的动态配额调整，便于用户对周期性任务调度的有效管理;其他>使用手册>官网→>大数据计算服务 ·MaxCompute->文档&SDK->MaxCompute 管家

开发者学堂课程【DataWorks 使用教程：Function Studio 介绍及使用指导】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/107/detail/1860Function Studio 介绍及使用指导内容简介：1． Why Function Studio2． Function Studio 功能介绍3． Function Studio 使用案例4． FAQ 1、Why Function Studio为什么要用到 IDE,去解决本地开发和繁琐的配置的问题，为了解决繁琐 udf 的开发流程.产品介绍Function Studio 是一种基于云的集成开发环境 (ⅣE)，您只需要一个浏览器，即可编写、运行和调试代码。它包括一个代码编辑器、调试程序和终端。Funch Sludio 预封装了适用于 Java、Python 编程语言的基本工具，您无需安装文件或配置开发计算机，即可开始新的项目。Function Studio 基于云，因此您可以从办公室、家中或任何地方使用已连接Internet 的计算机完成项目。借助 Function Studio，您可以与团队快速共享开发环境，从而能够将程序配对，并实时跟踪彼此的输入。 产品优势：免安装，免环境配置，随处可用，多人协同编辑，一键提交。2、Function Studio 功能介绍工程管理：一键工程创建，详细模板代码，代码托管存储，自定义模板工。 基于语言服务的编辑特性：语法高亮，自动补全，语法错误将车，智能修复建议，智能关联符号修改，符号定义符号引用查找，代码片段生成，类/接口方法自动生成。版本管理：初始化&关联远程仓库，Git 基本操作，分支创建&切换 在线调试：开箱即用，无需安装：丰富的断点类型支持：丰富的操作类型支持，多调试场景支持，本地、远程调试。 支持的断点类型：1. 行断点，2. 函数断点，3. 变量断点，4. 单步断点； 支持的操作类型：1. 进入函数，函数返回，2. 表达式计算3. 断点条件4. 复杂对象的变量赋值等； 支持的调试：1. 急速启动，资源按需分配不浪费，2. 释放本地资源占用，3. Hotcode 热部署; 多功能终端：开发者也可以直接触达运行环境，支持任意的 bash 命令，包括具有交互的命令例如vim 等。 协同编辑：多人同一时间编辑同一工程同一文件，同时支持 8 人在线协作，代码 review (计划中)，聊天、视频（计划中）。一键发布&源码溯源：UDF 编码找不到了支持开发：UDF ,  MapReduce,  UDAF,  UDTF.三、Function Studio 使用案例案例场景：开发一个 UDF 并注册到 DataWorks需求描述：输入一个字符串，将这个字符串末尾加“TEST“，并将字符串中所有大写字符转化为小写字母。 首先，需要创建一个工程工程名和描述同时选用相应的 UDF 的模板，在这里选用UDF.Java Project。工程创建后打开目录，src 下面是由平台生成的模板示例，包括 UDF,MapReduce,UDAF,UDTF. 每个点击后可以看到相应的 udf 文件和 udf test 的文件Wherehouse 下面是一些 mooc 数据存储，我们根据需求建立一个文件去实现 udf,新建之后会有生成模板的代码，自动会继承 udf,我们作为开发者，只要去实现invalue 的方法里面的代码； debug 和热部署：可以通过智能代码进行代码修复，如果代码有错误会在左边目录中出现错误的红色标识，为了在后期 debug 中能够在控制台清晰的看到输出，需要在语句中加入输出语句将语句输出来在写测试类，在进行 debug 之前是要配置好，也要选择一个main 函数的入口，选择 test 入口，解压和端口不用进行改动，第一次在使用 debug 时会慢，需要分配机器和启动，但后续使用是会很快，程序运行起来后可以在控制台上看到变量信息和数据发现已经输出来了，也可以用鼠标放到变量上来观看变量的值。按运行之后可以看到在输出控制台上会把当前的变量的值打印出来；代码版本管理：在进行代码的数据管理，从远处复制一个数据库，再进行关联，关联 gate 之后，左侧会有一个 gate 管理入口，在进行代码修改之后可以在版本管理之后会显示出来，可以对版本修改进行撤回、放弃、赞成，可以做出一个版本分支，创建好之后会在左下角看见，先把分支推送带远端，远端的分支存在之后我们可以进行 init 的操作，在左侧进行代码的暂存，在进行 commit 成功之后，可以将代码复制到远端；生成模板：用户可以在菜单栏的模板入口填入生成的模板名称描述，模板创建之后可以在模板管理中查看，可以进行编辑管理和更新，在新建工程的时候就可以选择模板，在模板基础上生成代码，生成的代码符合预期后，可以将代码提交到 DataWorks 开发环境，选择一个目标的流程，我们选择写 test 的 udf，函数名可以自定义，可以将代码进行打包，打包到DataWorks 开发环境上去，这里会返回一个链接，复制链接到 udf 所属函数的详情页面，在页面上会有入口“前往 FunctionStudio 的编辑代码”，点击之后直接跳转到代码，用户可以修改变更在重新提交，打开 DataWorks 中测试 udf，在开发里面建一个 sql,将 udf 换成刚刚新开发的 udf，保存之后运行，运行之后符合预期，此次演示结束。 五、FAQ问1：Function Studio 何时上公共云?答：Function Sudio 会在 12. 11 号对 DataWorksV2.0 用户开放公测，本次只上上海 region，上海 region 的新用户可以直接使用。老用户还未升级到 Dava WorksV2.0 的，可以进入钉钉群【数加·DataWorls 交流D解】(群号为11718465)中请开通。 问2：Function Studio 的入口在哪里?答：Function Sudio 开放公测后。会在新版 Dara Works 的公共头有一个入口，点击即可进入 FunctionStudio 体验 问3：Function Studio 只能 写 UDF 吗?答：Function Sadio 的产品定位就是为了解决 Data Works 用户本地写 UDF 的痛点，我们有一款功能更强大的 WEB IDE—App Studio 集成了．所有功能的基础上，支持前后端应用开发，支持前端可视化搭建，计划上公共云时间为 2019年3月份，敬请期待。 问4：Function Studio 提交到 DataWorks 的 UDF 在生产环境调用不到答：Function Sundio 的 UDF 只是提交到了 Date Wonks 的开发环境，生产环境要调用还需要在 Dava Wonts 里进行发布。