mongodb源端原始数据如下（数据无实际场景）： 同步一层子属性 例1：同步id： { "name": "id", "type": "string" }例2：同步services： { "name": "services", "type": "object" }, 同步复杂类型的子属性： 同步services下的子属性optional： { "name": "services.optional", "type": "document.string" },注意：array类型无法取到array下的具体数据，需要作为整体同步          type值需要小写。 多个字段合并成一个json串： 使用MongoDBReader插件读出数据时，支持将MongoDB里document中多个字段合并成一个json串；举例来说将Mongo中的字段导入到ODPS，有字段如下(下文均省略了value使用key来代替整个字段)的三个document，其中 a b 是所有doc均有的公共字段, x_n是不固定字段：   doc1：a b x_1 x_2   doc2:  a b x_2 x_3 x_4   doc3:  a b x_5需要一一对应的字段在配置文件里明确指出,需要合并的字段则需另取名称（不可与document中已存在字段同名），并指定类型为 "combine" ,如："column": [{ "name": "a", "type": "string",},{  "name": "b",  "type": "string",},{    "name": "doc","type": "combine", }]最终导出到ODPS效果为： odps_column1 odps_column2 odps_column3 a b {x_1,x_2} a b {x_1,x_2,x_3} a b {x_5} DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

数据湖的定义： wikipedia中对于数据湖的定义是：“A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such as reporting, visualization, advanced analytics and machine learning.”可见数据湖是一个通用的数据存储，通用到可以存储任意类型的数据。 数据湖要考虑的首要问题： 从定义看，一块u盘即符合数据湖的定义。u盘可以是数据湖，oss可以是数据湖，hdfs、盘古也可以是数据湖。它们均严格的符合数据湖的定义。作为企业的数据湖技术选型第一个需要考虑的问题就是：采用什么样的存储介质或存储系统作为自己的数据湖解决方案。众所周知，不同的存储介质或存储系统有不同的优势和劣势。比如：有的存储系统随机读取的响应时间更好、有的系统批量读取的吞吐量更好、有的系统存储成本更低、有的系统扩展性更好、有的系统结构化数据组织得更高效...相应的，这些提到的各个指标中有些恰恰是有些存储所不擅长的，如何享有所有存储系统的优势、规避所有存储系统的劣势变成了云上数据湖服务要考虑的首要问题。 要解决这个矛盾的问题，在理论上是不可能一劳永逸的。聪明的做法是对上提供一个逻辑上的存储解决方案，然后让需要不同访问特点的数据灵活地在各种底层存储系统中迁移。通过便捷的数据迁移（、以及数据格式转化）的能力， 来充分发挥出各个存储系统的优势。结论：成熟的数据湖一定是一个逻辑上的存储系统，它的底层是多个各种类型的存储系统所组成。 数据湖要解决的三大问题： 元数据管理、数据集成、数据开发是数据湖需要解决的三大问题，阿里云的DataWorks作为一个通用的大数据平台，除了很好的解决了数仓场景的各类问题，也同样解决了数据湖场景中的核心痛点。 元数据管理： 用户的湖上数据需要有个统一集中的管理能力，这就成了数据湖的第一个核心能力。dataworks的数据治理能力便是用来解决数据湖中的各类存储系统的元数据管理的。目前它管理了云上11中数据源的元数据。涵盖OSS、EMR、MaxCompute、Hologres、mysql、PostgreSQL、SQL Server、Oracle、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0 等云上主要数据源类型的元数据管理。功能上涵盖元数据采集、存储检索、在线元数据服务、数据预览、分类打标、数据血缘、数据探查、影响分析、资源优化等能力。 技术的宏观架构如图： 产品形态如图： 数据集成： 数据湖中的数据管理起来之后，就会面临数据在各个存储系统中迁移和转化的能力。为此dataworks的数据集成能力可以做到40种类常见数据源的导入导出及格式转化的能力，同时覆盖了离线和实时两大同步场景，以及可以解决对外对接时的复杂网络场景。 数据集成核心能力： 离线同步功能： 实时同步功能： 数据开发： 解决了数据湖的存储管理和数据迁移问题后，接下来就是如何让数据湖中的数据更好的赋能业务。这就需要引入各类计算引擎，计算平台事业部拥有丰富的各类计算引擎，有开源体系的spark、presto、hive、flink，还有自研的MaxCompute、Hologres，这里的挑战在于如何方便的发挥各类引擎的长处，让湖中的数据能够被各类引擎访问和计算。为此dataworks提供了便捷的数据迁移方式（方便数据在各类引擎中流转穿梭）、提供一站式的数据开发环境，从即席查询到周期的etl开发，dataworks提供了各个计算引擎的统一计算任务的开发和运维能力。 数据开发产品： 至此、dataworks在解决了数据湖底层的存储系统差异的难题后，提供了完备的湖上元数据管理、数据治理、数据迁移转换、数据计算的全流程能力。让阿里云上的数据湖更好的给客户发挥出业务价值。 更多数据湖技术相关的文章请点击：阿里云重磅发布云原生数据湖体系 更多数据湖相关信息交流请加入阿里巴巴数据湖技术钉钉群

前言  日常工作中，每时每刻都在产生大量重要的数据，数据质量问题也随之而来。如何用最少的人力、最快的速度，自动完成数据质量校验，对于企业节省成本、上层决策应用等起到关键作用。DataWorks的数据质量模块，为您提供全链路的数据质量方案，让数据监控更加简单、高效。   数据质量最基本、也最关键的功能，就是配置监控规则。目前，数据质量支持MaxCompute和EMR两种离线数据源，以及DataHub实时数据源。未来，会陆续支持更多种类的引擎/数据源。本期首先为您介绍离线数据源的监控规则配置方法。 如何配置离线数据的监控规则 1. 选择“引擎/数据源”-->"引擎/数据源实例"-->需要监控的表，点击配置监控规则。 2. 创建分区表达式，目的是定位最新数据，避免全表扫描。系统自带分区表达式的含义如下： $[yyyymmdd] 调度日期 $[yyyymmdd-1] 业务日期 $[yyyymmdd-N] 前N天 $[yyyymm01-1] 每月1日 $[yyyymm01-Nm] N月前1日 $[yyyymmld-1] 每月最后一天 $[yyyymmld-Nm] N月前最后一天 $[yyyymmddhh24miss] 调度时间 $[hh24miss-1/24] 一个小时前 $[hh24miss-30/24/60] 半个小时前 若为非分区表，则表达式如下：NOTAPARTITIONTABLE 3. 选择某一分区表达式，点击“创建规则”蓝色按钮，出现创建监控规则的右侧拉窗。监控规则分为模板规则和自定义规则两种。 （1）模板规则：数据质量支持43种表级和字段级的内置模板以及9种动态阈值模板，同时还支持用户自建的规则模板库。注：动态阈值和规则模板库，在后续的高级功能中会为大家详细介绍，敬请期待。本期模板规则是在动态阈值选择“否”的前提下进行演示。填写说明如下： 规则名称 填写规则名称 强弱 强规则阻塞下游，弱规则仅报警 动态阈值 是否使用动态阈值，进行智能判断 规则来源 选择使用43种内置模版或自建的规则模板库 规则字段 选择表级或字段级规则。 规则模版 选择具体的规则模板。规则模板会根据规则字段的不同而变化 比较方式 波动率型模板：绝对值、上升、下降固定值型模板：大于、大于等于、等于、不等于、小于等于、小于 校验阈值 波动率型模板：橙色阈值、红色阈值固定值模板：期望值 注：强弱规则的橙色报警均不会阻塞下游，必须小于红色阀值，精确到百分比小数点后两位。强规则的红色报警会触发阻塞，必须大于橙色阀值，精确到百分比小数点后两位。 （2）自定义规则：支持用户输入自定义SQL创建监控规则填写说明如下： 规则名称 填写规则名称 强弱 强规则阻塞下游，弱规则仅报警 规则字段 选择自定义SQL 采样方式 选择自定义SQL Set Flag 输入SQL的前置set语句 自定义SQL 只接收查询语句；可使用分区表达式变量；可关联其他表；可使用UDF 校验类型 分为数值型、波动率型、动态阈值型。选择不同检验类型，比较方式和阈值形式会进行相应变化 描述 输入对规则的描述，会出现在报警信息中 4. 规则内容设置完毕后，点击批量保存，规则即创建成功。 添加规则订阅管理 在监控配置首页，选择某一分区表达式，点击“订阅管理”按钮，可为该分区表达式下的监控规则添加配置订阅信息。订阅方式主要包括邮件、短信、钉钉群（支持@all）三种方式，接受对象范围为该项目下的所有成员。 规则试跑 规则试跑的目的有3种：测试监控规则配置的是否正确；测试订阅发送渠道是否正确；手动运行监控规则。在监控配置首页，选择某一分区表达式，点击“试跑”按钮 监控规则如何关联调度 监控规则和订阅都已经配置完毕、并试跑成功，那如果启动正式的规则校验呢？数据质量采用的是将规则与调度节点关联起来的方式。当该节点开始任务调度时，所关联的所有规则会同时进行校验。关联调度节点的方式有两种： 1.在数据质量直接进行关联在某一分区表达式下选择“关联调度”按钮，进行调度节点的绑定2.在运维中心进行关联在运维中心--周期任务中，找到希望关联的节点，右键该节点，选择“配置质量监控”在出现的弹窗中，选择引擎、实例、表名、分区表达式，进行监控规则配置。注意分区表达式不要填错了哦！ 查询任务执行结果 节点任务执行后，规则校验也随之被执行。规则校验的结果可以在数据质量的“任务查询”页面中进行查看。每条规则的详细情况可以点击“详情”进行查看。好啦，本期数据质量“百问百答”就介绍到这里，下一期会为大家介绍实时数据的监控规则配置方法。DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

本月DataWorks产品月刊为您带来 产品活动： 1.首月特惠！DataWorks专业版原价5000元现仅需199元；独享数据集成/调度资源组首月5折 重要发布： 1.实时同步功能上线2.DataWorks Open API开始公测 产品功能更新： 1.迁移助手支持Oozie和azkaban的任务上云2.EMR on DataWorks支持安全模式3.DataWorks独享资源组支持资源水位监控功能4.数据发现元数据采集功能支持十种类型数据源5.数据地图新版表详情页和血缘发布DataWorks百问百答45-57更新 【产品活动】 1. 首月特惠！DataWorks专业版原价5000元现仅需199元>>立即前往>>2. 首月特惠！独享数据集成/独享调度资源组首月5折>>立即前往>> 【重要发布】 1、实时同步功能上线 DataWorks实时同步功能上线了，功能免费且任意版本均可使用，无DataWorks版本限制。搭配独享数据集成资源组首月5折：https://common-buy.aliyun.com/?commodityCode=dide_resource_pre产品文档：https://help.aliyun.com/document_detail/181912.html 2、DataWorks Open API开始公测 DataWorks Open API于2020年7月16日正式开启公测，支持DataWorks企业版和旗舰版，可用地区包括 华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）、华北3（张家口）和中国（香港）产品文档：https://help.aliyun.com/document_detail/175553.html 【产品功能更新】 1、迁移助手支持Oozie和azkaban的任务上云 迁移助手现在支持从开源引擎导出的任务至DataWorks啦，支持包括Azkaban、Oozie和标准格式，可上传本地或着OSS文件产品文档：https://help.aliyun.com/document_detail/181295.html 2、EMR on DataWorks支持安全模式 目前所有region均已发布了支持对接EMR Ranger，即：“安全模式”，戳下方文档了解详细操作说明产品文档：https://help.aliyun.com/document_detail/181412.html 3、DataWorks独享资源组支持资源水位监控功能 DataWorks独享资源组可用于调度和同步，可方便地进行扩缩容操作，能有效解决任务默认使用的共享资源组上因资源紧张引起排队、数据产出延迟问题。独享资源组近期新增支持资源水位监控功能：1、提供详细的资源使用水位趋势展示2、提供任务运行和排队情况供查看，辅助精细化地资源组扩缩容3、展现当前正在运行任务，有效掌控资源具体消耗情况产品文档：https://help.aliyun.com/document_detail/175557.html 4、数据发现元数据采集功能支持十种类型数据源： 数据地图的数据发现功能，现已支持E-MapReduce Hive、OSS、Hologres、ADB、PostgreSQL、MySQL、SQLSever和Oracle等十种数据类型的元数据采集，提供数据目录的自动构建、全局检索和表详情和数据血缘的查看的能力。（数据血缘仅E-MapReduce Hive、Hologres等部分类型支持）产品文档：https://help.aliyun.com/document_detail/163501.html 5、数据地图新版表详情页和血缘发布： 数据地图近期发布了新版本表详情页，对页面布局展示和功能进行了优化。在数据血缘部分，新增了全新的支持多层自动展开等功能的展示方式，同时增加了异构数据源之间的血缘关系的展示支持（比如RDS到MaxCompute间的血缘关系）。产品文档：https://help.aliyun.com/document_detail/119489.html 【DataWorks百问百答更新】 DataWorks百问百答45：如何设置数据分析项目？DataWorks百问百答46：数据质量的“规则” VS 运维中心的“规则”，有什么不同和关联之处呢？DataWorks百问百答47：如何配置操作Python UDF函数？DataWorks百问百答48：什么是“周月调度空跑实例”和“实时生成的过期实例” ？DataWorks百问百答49：如何下线节点？DataWorks百问百答50：MongoDB的Object字段如何同步到ODPS？DataWorks百问百答51：如何用独享资源组跑ADB、DLA节点？DataWorks百问百答52：如何做无效表治理？DataWorks百问百答53：如何配置使用赋值节点+分支节点？DataWorks百问百答54：设置了数据质量校验，但是未触发校验怎么办？DataWorks百问百答55：如何使用DataWorks运行日志runlog排查问题？DataWorks百问百答56：数据集成同步中的增量同步功能如何配置？DataWorks百问百答57：如何排查独享数据集成资源组网络问题？ 【产品文档更新】 GDB Reader专有网络VPC的数据源连通独享数据集成资源组新增API：CreateProjectMember新增API：RemoveProjectMemberFromRole新增API：ListProjectRoles新增API：DeleteProjectMember新增API：AddProjectMemberToRole数据服务升级版本 【往期系列】 DataWorks 2020-07 产品月刊DataWorks 2020-06 产品月刊DataWorks 2020-05 产品月刊DataWorks 2020-04 产品月刊DataWorks 2020-03 产品月刊DataWorks 2020-02 产品月刊DataWorks 2020-01 产品月刊DataWorks 2019-12 产品月刊更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】，为您提供最新的产品直播、产品活动及技术支持点击查看

问题：在运维中心设置了告警以后，没有收到告警的短信/邮件，如何解决答案：这种情况通常是因为报警接收人未正确设置账号的手机和邮箱信息。此时系统会向基本接收管理中产品的欠费、停服、即将释放等相关信息中的消息接收人发送告警信息，从而导致报警接收人收不到告警短信/邮件的情况发生。解决方法： 点击页面右上角，选择「用户信息」 进入个人信息页面，查看邮箱和手机号信息是否正确。可以根据提示进行相应的信息补充或修改。 提醒：子账号的邮箱、手机号等信息需要主账号来修改。 DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

问题： 当您搭建了一套业务流程，对于其中的某些节点，如果想让它们暂时不参与到工作流的整体运行中该怎么做呢？ 开发环境 在DataStudio中，双击目标节点，打开“调度配置”，在“时间属性”中，将该节点的调度方式切换为“空跑调度”。空跑调度指的是，该节点仍按照调度周期的时间配置进行调度运行，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。值得注意的是，空跑的节点被发布至生产环境仍然会产生实例，因此不会影响下游节点的运行。 生产环境 进入运维中心，在“周期任务”中的节点列表中选中目标节点，点击列表下方的“暂停（冻结）”；或者在DAG图中，右键进行“暂停（冻结）”。节点任务设置暂停后，正常生成实例，但当前任务生成的实例及下游依赖实例均不调度。节点任务设置恢复后，当前任务生成的实例及下游依赖实例正常调度。如果您只想暂停当前运行实例，也可以进入“周期实例”中选择目标节点的实例进行暂停和解冻。这里需要对任务暂停和实例暂停进行区分说明：一个节点任务在调度运行时会随着时间的增长产生多个实例，在任务中冻结，是对该任务所有即将产生的实例都冻结，是在未来一段时期内暂停运行；在实例中冻结，是仅暂停当前这个实例，即在当下时间段内暂停运行。 总结 对于“弃之可惜”的节点，推荐您使用第一种方法，即在开发环境中设置好空跑节点，再发布至生产环境进行运维；因为空跑节点只是采取了“跳过”措施，并不会影响下游节点的运行。如果您在运维中心中设置任务或实例的冻结，均会阻碍下游任务的正常执行。请根据您的实际业务情况灵活选择处理方式。 DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

关于鉴权 在DataWorks数据服务中，当您已创建且发布了一个API、并准备调用该API时，或许曾遇到这样的问题：API调用提示用户没有有效的应用。这是因为您在调用地址中没有传递鉴权信息，或是在传递的鉴权信息中包含了某些特殊字符。下面将为您介绍数据服务的鉴权概念与鉴权方式。 鉴权概念 数据服务已经与API网关产品一键打通，API网关提供了多种针对客户端请求的安全认证方式。其中，数据服务使用的是阿里云APP认证方式，包括简单认证与签名认证两种类型。 鉴权方式 1.简单认证（AppCode）简单认证方式直接使用API网关颁发的AppCode进行身份认证，调用者将AppCode放到请求头中，或者放到请求的Query参数中进行身份认证，实现快速调用API的能力。您可以在“数据服务-服务管理-API调用”中查看和复制AppCode。 2.签名认证／复杂认证（AppKey&AppSecret）相比与简单认证，签名认证需要经过复杂的签名算法，您调用API时，需要拼接签名字符串，并将签名计算后的字符串放在请求的Header传入，网关会通过对称计算签名来验证请求者的身份。您可以在“数据服务-服务管理-API调用”中查看和复制AppKey与AppSecret。 关于API调用 在DataWorks数据服务中，API的调用方式有两种：HTTP调用与SDK调用。您可以在不同调用场景下灵活选择不同方式。 API调用方式 1.HTTP调用当您在数据服务中发布了某个API后，您可以进入API的详情页面获取API的调用地址。然后使用 http(s)://${address}?appCode=xxx的方式即可调用。 2.SDK调用您首先需要在项目中的.pom文件中导入数据服务API的依赖，并将参数补充完整，内容如下： <dependency> <groupId>com.alibaba.dataworks</groupId> <artifactId>data-service-client</artifactId> <version>xxx</version> </dependency> 接下来，在项目中调用数据服务的接口，之后在项目中调用API地址即可。 DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

前言    上一节数据质量内容中，为大家介绍了如何配置离线数据的质量监控规则。针对离线数据，数据质量内置了43种规则模版，这些模版看似相似，但又各有侧重，它们分别代表什么含义呢？今天带大家看看其中的奥秘。 内置离线规则模版说明    开始前，先介绍几个基本概念： 样本：当体采集的具体样本值。如规则是“SQL任务表行数，1天波动检测”，其所指的样本就是当天分区的表行数。 基准值：历史样本的对比值。如规则是“SQL任务表行数，1天波动检测”，其所指的基准值就是前一天分区产生的表行数。如规则是“SQL任务表行数，7天平均值波动检测”，其所指的基准值是前7天的表行数的平均值。    目前DQC中仅支持两种校验，一种是波动值校验，另一种是固定值比较，如下所示： 校验方法 校验逻辑 波动值校验 1、如果校验值的绝对值小于或等于橙色阈值，返回正常。2、如果校验值的绝对值不满足第一种情况，且小于或等于红色阈值，返回橙色报警。3、如果校验值不满足第二种情况，返回红色报警。 固定值比较 1、根据校验的表达式，计算 opt expect，返回布尔值，opt支持>,<,=,>=,<=,!=。2、根据上式计算结果，如果为true，返回正常，否则返回红色报警。 字段级模版规则 编号 模板名称 说明 1 字段平均值，相比1天、1周、1个月前波动率 取该字段的平均值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 2 字段汇总值，相比1天、1周、1个月前波动率 取该字段的sum值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 3 字段最小值，相比1天、1周、1个月前波动率 取该字段的最小值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 4 字段最大值，相比1天、1周、1个月前波动率 取该字段的最大值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 5 字段唯一值个数 去重之后的count数与一个期望数字进行比较，即固定值校验。 6 字段唯一值个数，相比1天、1周、1个月前波动率 去重之后的count数，同1天，1周，1个月作比较，即固定值校验 7 表行数，相比1天、1周、1个月前波动率 同1天、一周、一月前采集的表行数作比较，对比波动率。 8 字段空值个数 去该字段的空值数与固定值比较。 9 字段空值个数 / 总行数 空值个数与行总数，计算得到一个比率，与一个固定值做比较，注意：该固定值是一个小数。 10 字段重复值个数 / 总行数 重复值个数与总行数的比率与一个固定值做比较。 11 字段重复值个数 总行数减去去重之后的个数就是字段重复值个数，重复值个数与固定值比较。 12 字段唯一值个数 / 总行数 唯一值个数与总行数的比率与一个固定值做比较。 13 字段平均值，相比1天前波动率 取该字段的平均值，上一次周期比较，计算波动率，然后与阈值比较。 14 字段汇总值，相比1天前波动率 取该字段的sum值， 上一次周期比较，计算波动率，然后与阈值比较。 15 字段最小值，相比1天前波动率 取该字段的最小值，与1天前比较，计算波动率，然后与阈值比较。 16 字段最大值，相比1天前波动率 取该字段的最大值，前一天比较，计算波动率，然后与阈值比较。 17 字段汇总值，相比上一周期波动率 取该字段的sum值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 18 字段最小值，相比上一周期波动率 取该字段的最小值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 19 字段最大值，相比上一周期波动率 取该字段的最大值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 20 字段分组，各离散点count值 字段分组，各离散点count值 21 字段分组，各离散点count值，相比1天、1周、1个月前波动率 字段分组，各离散点count值，相比1天、1周、1个月前波动率 22 字段分组，离散点总数 字段分组，离散点总数 23 字段分组，离散点总数，相比1天前波动率 字段分组，离散点总数，相比1天前波动率 表级模版规则 编号 模板名称 说明 1 相比上一周期，表大小不变(字节) 相比上一周期，表大小不变(字节) 2 相比上一周期，表大小变化(字节) 相比上一周期，表大小变化(字节) 3 相比上一周期，表行数变化 相比上一周期，表行数变化 4 相比上一周期，表行数不变 相比上一周期，表行数不变 5 表大小，相比上一周期差值(字节) 表大小，相比上一周期差值(字节) 6 表行数，相比上一周期差值 基准值为上一周期产生的分区的表行数，对比当天采集的表行数，对比差值。 7 表行数 表行数 8 表空间大小(字节) 表空间大小(字节) 9 表行数，相比1天前差值 基准值为昨天产生的分区的表行数，对比当天采集的表行数，对比差值。 10 表空间大小，相比1天前差值(字节) 表空间大小，相比1天前差值(字节) 11 表空间大小，相比1天前波动率 该条模板是监控表大小的波动情况，样本对此值是与昨天额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 12 表空间大小，相比1周前波动率 该条模板是监控表大小的波动情况，样本对此值是与一周前额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 13 表空间大小，相比1个月前波动率 该条模板是监控表大小的波动情况，样本对此值是与一月前额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 14 表行数，相比最近7天平均值波动率 基准值是最近7天的表行数的平均值。 15 表行数，相比最近30天平均值波动率 基准值是最近30天的表行数的平均值。 16 表行数，相比1天前波动率 基准值为昨天产生的分区的表行数，对比当天采集的表行数，对比波动率。 17 表行数，相比1周前波动率 基准值为一周前产生的分区的表行数，对比当天采集的表行数，对比波动率。 18 表行数，相比1个月前波动率 基准值为一月前产生的分区的表行数，对比当天采集的表行数，对比波动率。 19 表行数，相比1天、1周、1个月前、本月1号波动率 同1天、一周、一月前、本月1号采集的表行数作比较，对比波动率。 20 表行数，相比上一周期波动率 基准值为上周产生的分区的表行数，对比当天采集的表行数，对比波动率。 DataWorks百问百答历史记录 请点击这里查看>> 更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】

Step By Step 1、配置数据源 + 测试连通性 1.1 Table Store（OTS）参数获取 1.2、AccessKey、AccessSecret获取阿里云常见参数获取位置 1.3 Dataworks数据集成配置OTS数据源 1.4 Maxcompute数据源配置 2、源数据准备及目标表创建 2.1 OTS 源数据表 2.2 odps数据表创建 CREATE TABLE otstoodps (id INT,name STRING); 3、创建数据集成任务(OTS数据源当前仅支持脚本模式) 3.1 脚本Sample { "type": "job", "steps": [ { "stepType": "ots", "parameter": { "datasource": "otsdemo", "column": [ { "name": "id" }, { "name": "name" } ], "range": { "end": [ { "type": "INF_MAX" } ], "begin": [ { "type": "INF_MIN" } ] }, "table": "otsreader2" }, "name": "Reader", "category": "reader" }, { "stepType": "odps", "parameter": { "partition": "", "truncate": true, "datasource": "odps_first", "column": [ "id", "name" ], "emptyAsNull": false, "table": "otstoodps" }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "" }, "speed": { "concurrent": 2, "throttle": false } } } 3.2 注意事项 a、ots Reader 表示将主键名也放在column中;b、reader column的顺序和writer column的顺序要一致。 4、测试运行 + 调度配置 4.1 测试运行 4.2 目标表结果查看 4.3 调度配置(测试运行成功后，可以配置周期调度，将任务提交到运维中心周期运行) 参考链接 Table Store（OTS） ReaderMaxCompute Writer

需求场景：通过DataWorks简单模式项目使用MaxCompute，项目设置MaxCompute访问身份为“个人账号”，当成员子账号为开发角色时，对MaxCompute Project默认可删除所有表的权限。然而业务需求有些表非常重要，不允许开发角色进行删除同时要求杜绝误删，假设这些表名都是以tb_开头。 操作步骤：1、在客户端创建role ，这里我创建的角色名为test，链接和命令如下：https://help.aliyun.com/document_detail/27927.html?spm=a2c4g.11186623.6.926.51d647bcbndTpj create role + role_name 2、通过policy 方式授权project_test项目下,禁止删除 tb_* 开头的所有表，权限赋予test角色。链接和命令如下:https://help.aliyun.com/document_detail/162576.html?spm=a2c4g.11174283.6.936.3d36590e82MdUv grant drop on table tb_* to role test privilegeproperties("policy" = "true", "allow"="false"); 3、将test角色赋予子账号。链接和命令如下：https://help.aliyun.com/document_detail/27935.html?spm=a2c4g.11186623.6.932.1bee77ccDP44gr grant test to + 子账号 4、通过dataworks设置子账号为开发角色。(1)、登录到Dataworks首页，后点击右上方的小扳手进入工作空间配置页面。(2)、进入页面后点击成员管理进行子账号角色配置。(3)、在MaxCompute客户端执行下面的命令，将test角色权限授予子账号，格式如下：grant test to + 子账号名(4)、在MaxCompute客户端登录子账号，进行权限的查看，命令如下:show grants for + 子账号名(5)、子账号删除tb开头表的测试如图： 结论：通过policy可以用roles的方式进行权限控制。 参数说明:• privilegeproperties中的{"policy" = "true"}表示当前为Policy授权。• privilegeproperties中的{"allow"="[true|false]"}表示本次授权为白名单形式授权。黑名单形式授权为 {"deny"=" [true|false]"}。• revoke只有allow、objectName和rolename三个参数对应时才会生效。 注意点:1、如果不知道账号名，可以通过 whoami 命令查看2、添加的用户名username既可以是云账号（即在阿里云官网上注册过的有效邮箱地址），也可以是执行此命令的云账号的某个RAM子账号。