一、关于Dataphin（智能数据建设与治理）
Dataphin是瓴羊旗下的智能数据建设与治理平台，是阿里巴巴多年内部实践及方法论的产品化输出，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产。
产品优势：
1、 计算引擎兼容更多选择；
2、 数据构建资产化导向；
3、 数据治理驱动价值释放
二、新版本重点特性详解及应用场景示例
特性1：全新上线Notebook交互式数据分析笔记本
应用场景：
01、企业中运营同学由于公司的规章制度，可能无法加入开发项目，但经常有查询数据并分析的需求，需要一个可以快速便捷查数的地方。
02、数据分析师虽然可能在开发项目里有查询数据的权限，但是也希望一些历史查询结果可以被保存下来，如果还能在其中穿插一些背景介绍、分析观点与结论文字就更好了，这样就可以直接把分析思路、数据与结论分享给老板看了！
03、数据开发同学平时工作中会查询一些表的字段信息和数据内容，以便进行数据开发工作，也希望可以保存这些结果并复用。另外，数据开发同学也时常会写一些复杂的SQL，在调试的时候存在太多的临时表和中间表的代码会让代码难以调试，也希望可以将每一步的开发内容都自动保存成一张临时表，方便开发时的调试。
功能概览:
01、灵活管理及分享
分析平台弱化了Dataphin原有的项目概念，租户中每个用户都可进入分析平台创建任务，编写SQL代码。在目录树部分，用户仅可见“我”创建的任务，以及他人分享给“我”的任务。旨在帮助用户从个人视角出发，更高效、专注地管理自己的数据分析结果。
可将自己的Notebook分享给他人查看，实时同步自己的查询结果及分析结论。被分享者仅可查看，不可编辑，保证自己创建的Notebook不会被随意修改。也可取消分享，收回被分享者的查看权限。
02、灵活选择计算引擎
在分析平台中，我们可以先写代码，再选择计算引擎。用户可以选择自己拥有即席查询权限且绑定了离线计算引擎的Dev/Basic项目运行代码。
此外，超级管理员或系统管理员也可以在系统设置中为分析平台绑定一个专用的计算引擎，为无法加入开发项目的成员提供一个可以运行查询语句的计算源。在一个任务中，计算引擎可切换，如选择了一个计算源后发现等待运行的时间较长，可灵活切换计算源提高查询速度。
03、支持Markdown单元与SQL单元
Notebook支持添加Markdown单元与SQL单元，两种单元配合使用，可以形成一篇完整的数据分析文档。例如，您可以在SQL单元前为查询语句添加背景与注释，也可以在SQL单元后添加您对结果数据的分析结论。
每个SQL查询的结果将会被自动存为一张临时表，可直接复制为Select语句，便于后续查询使用。
04、支持Notebook参数配置
Notebook支持非账号密码类的全局变量与本地变量。打开参数弹窗，自动获取Notebook中的所有参数，在运行前配置一次即可生效，无需每次运行前手动赋值。
特性2：补数据任务满足各类自定义需求
应用场景：
01、之前，某企业隔几天会下发收入分摊数据，每天需要更新最近两个自然月的数据，需要每天手动操作。现在可以配置一个日调度的补数据任务，每天定时补业务日期为最近两个自然月的数据即可。
02、某企业需要每个月不定期手动上传数据表，上传数据后需要手动刷新该表及其上下游链路的数据。现在可以将该组任务配置为空跑调度的周期任务并为配置好上下游依赖关系，再配置一个手动运行的补数据任务将节点范围保存起来，设置空跑调度的任务补数据时正常跑，每次只需要配置业务日期运行一次补数据任务即可。
03、某企业为不影响周期任务的正常运行，经常在凌晨进行补数据，需要凌晨人工操作。现在设置补数据运行时间为2:00即可。
功能概览:
01、新增补数据任务：
- 支持将单次补数据保存为补数据任务，保存补数据节点范围及运行规则
- 支持补数据任务定时调度，自动定期回刷历史数据
- 支持手动运行补数据任务
02、支持补数据自定义运行时间
特性 3：研发建表过程中开展事中治理
应用场景：
01、创建表资产的人，往往最了解该资产。研发事中治理，使得建表人(研发者)可以在建表阶段设置表字段的标准，质量约束和安全分类分级。
功能概览:
01、建表时可以设置字段标准，字段约束(唯一/非空)，数据分类(自动基于分类获取数据分级)
02、在字段名称中可输入字段的说明，系统基于说明推荐合适的字段名称，并将输入的说明与标准做相似度匹配，给出相似度最高的 5 个标准。
03、编辑已创建的表，给字段设置标准时，系统将基于“字段名称”和“字段说明”智能推荐标准。
04、设置“字段约束” 唯一 或 非空，将自动在质量系统中生成相应的质量规则。
特性 4：组合业务限定提升复用度
应用场景：
01、一个服饰企业的 T 恤可能存在的业务限定有“小码”、 “中码” 、“大码”；有 “动漫风”、 “卡通风”等，还有派生指标，如最近 1 天「纯棉、动漫风、修身、小码」销售金额，其中包含四种基础业务限定，4 个基础业务限定可以组合出很多复杂的业务限定。如果每一个复杂业务限定都要需要从零开始独立定义，则:
- 每一个复杂业务限定的计算逻辑表达式非常长，不好理解
- 同一个基础业务限定的定义在不同复杂业务限定中可能会不一致
- 可维护性差，每次修改定义需要修改多处
功能概览:
01、组合业务限定可以使用与/或/非 三种逻辑运算符组合已有的业务限定生成高阶衍生的业务限定
02、可以通过预览计算逻辑 SQL，确认组合业务限定的计算逻辑是否符合预期
特性 5：SQL 编辑器优化升级，带来极大体验优化提升
应用场景：
01、编写 SQL 代码，需要查看某个表的表结构信息
02、SQL 有语法错误，期望可以第一时间发现
03、不知道系统函数的使用方法，对传参不了解
04、需要 set 某个参数，但记不住该参数的全名，也不清楚参数的取值范围
- ...
功能概览:
01、智能提示性能优化，提示更快，推荐更准确。
02、鼠标放置在 SQL 中表名称上时，展示表结构
03、快捷运行按钮
04、即时错误提示和错误面板
05、set 参数提示
06、函数提示
06、“@”快捷方式呼出字段多选
特性 6：支持自定义标签属性
应用场景：
01、某证券企业在开发标签时需要定义标签业务属性、技术属性，其中业务属性除标签名称、描述还包含业务场景、需求提出部门、需求提出人等，技术属性除标签code、技术负责人外还包含数据来源、度量单位等。
功能概览：
01、支持在规划模块定义标签属性，配置属性值字段类型以及取值范围等信息，并对标签属性进行管理
02、启用的标签属性在新建标签时中支持配置属性值，发布后支持编辑以及查看
特性 7：行为标签过滤条件、行为关系关联字段可搜索
应用场景：
01、开发者在配置行为标签添加筛选条件、或配置行为关系设置行为属性关联的物理表字段时，在可选标签或表字段数量较大的情况下，可通过关键字搜索方式选中目标标签或字段，大大降低配置成本
功能概览：
01、新建行为统计标签时，统计对象或筛选条件均支持进行关键字搜索，行为偏好标签同样支持
02、新建行为关系时，配置行为属性、行为属性、行为对象属性关联字段均支持关键字搜索
特性 8：离线视图、离线标签、实体、实体ID支持跨租户发布
应用场景：
01、某企业客户存在测试租户以及生产租户时，上线前开发者在测试租户中对标签进行开发调试达到可上线状态后，期望快速发布到生产租户进行上线应用。
功能概览：
支持用户选择“离线视图”、“离线标签（指标映射、规则组合）”、“实体”、“实体ID”选择全量、增量、指定对象模式进行跨租户发布。
特性 9：离线集成整库迁移新增同步模式，及目标表重名校验功能
应用场景：
01、整库迁移目前仅支持将数据写入新建的目标表中，如果目标库已经存在同名表，原先在整库迁移中提供了自动删除数据源中同名表的功能。
如果没有勾选该功能，点击生成管道后若发现有重名表，就会报错无法生成管道任务，需要重新配置整库迁移。
如果勾选了删除同名表，点击生成管道后会自动删除目标数据库中的重名表再重新新建一张表。
但是由于在删除表操作前，界面上看不到即将被删除的表，用户对于什么表将被删除毫无感知，有可能会导致目标库中已有的重要表被删除。
功能概览：
新增校验表名功能。选择需要同步的数据表之后，点击校验表名，即校验目标数据库的开发和生产环境中是否存在同名的目标表，如存在，校验不通过。此时可采取两种措施：第一，如确认目标库中已有的重名表可以删除，则勾选自动删除数据源中同名表后再点击生成管道；第二，如目标库中已有的重名表不可被删除，则需要配置表名转换，通过替换表名字符或增加目标表名前后缀，生成不重名的目标表。
目标表重名校验是一个小而美的功能，它将原先因存在重复表名导致的报错前置到任务配置过程中，免去了生成管道时报错后的再次配置工作，优化提升了配置流程。另外，它让用户可以充分感知到存在哪些重名表，用户可以先判断这些表的重要性，判断是否是可删除的，再做出相应的后续配置操作，防止目标库中重要的表被误删从而导致严重的后果。
应用场景：
02、原先的整库迁移默认生成每日调度的周期任务，但对于仅需要同步一次全量数据的场景来说，需要手动将所有任务下线，操作较为繁琐。
另外，还有增全量同步的场景下，需要一次全量加每日增量的同步方式。
功能概览：
同步方式改为每日同步、单次同步、每日同步+单次同步。还新增了MaxCompute作为来源数据源类型以满足用户需要将数据在MaxCompute项目间同步的场景。
特性 10：实时任务运维功能完善
应用场景：
01、Flink 在运行过程中会产生大量的日志信息，包括启动信息、任务执行信息、运行异常信息等。当问题出现时，需要从这些日志信息中定位和分析问题，但是在使用过程中存在日志量大，日志信息分散、停止并再次启动后会导致历史日志丢失等问题，从而增加了问题定位的难度。
功能概览：
对开源flink引擎下实时任务的日志进行了完善梳理，支持查看启动日志、运行日志（Job Manager和Task Manager）、异常信息和异常历史大大增强了日志的可读性，有效降低实时计算人员排查问题的难度。
应用场景：
02、现有的实时任务监控告警中支持报警原因：失败频率超过n次/分钟，但失败频率其实是通过restart次数计算的，而dataphin的实时任务运行失败后不断自动重启的过程中状态一直是 运行中，重启次数达到上限后作业状态变为失败。restarts这个指标记录了作业自动重启的次数，这个指标越高，说明该作业遇到了越多的故障情况，也可能意味着作业的可靠性存在问题。因此目前作业从运行中状态变为失败状态后无法触发监控报警，需要人工发现，造成不便。
功能概览：
支持实时任务配置运行失败后告警
特性 11：新增隐私计算平台，保障数据可用不可见
应用场景：
01、在一些营销场景中，企业希望可以指定人群，进行特定场景营销。例如，某银行期望在某电商平台，对【特定非活跃老客】用户进行老客营销，需要求两边客户交集，但两边客户ID不透出，此处可用ID安排匹配功能完成。
功能概览：
在弱匿名化的前提下进行ID安全匹配。用于在不泄漏数据参与多方原始数据的前提下，得出共有ID集，非共有ID不会透出。
应用场景：
02、在一些查询场景，数据查询方不想向数据服务方透露要查询的内容。例如某企业期望通过第三方数商，对企业用户画像进行标签增补，但不想把用户信息透露给第三方数商，就可以用隐匿信息查询的功能。
功能概览：
隐私信息查询，是指查询方隐藏被查询对象关键词或客户ID信息，数据服务方提供匹配的查询结果却无法获知具体对应哪个查询对象。
应用场景：
03、电商平台在媒体平台进行了营销广告投放，投放结束后，电商平台期望能联合两边的数据，进行全链路的营销活动复盘分析，就可以借助联合分析功能实现。
功能概览：
在原始数据不可见的前提下，提供SQL模式对多方数据进行联合分析。
应用场景：
04、某银行和某电商平台，分别拥有一部分客户数据，拥有的客户特征不一样，银行拥有客户的金融信用数据，电商拥有客户的电商消费数据，期望联合两方数据训练精准营销模型，则可使用联合建模。
功能概览：
在原始数据不出域的前提下，通过交换各个参与方的算法训练的中间结果梯度、参数信息，或完全在密文条件下进行计算，从而发挥参与多方数据样本更丰富、更全面的优势，得出更优模型。
特性 12：数据安全支持行业化的多级数据分类
应用场景：
01、证券行业的客户，在构建自己公司的数据安全分类体系的时候，需要参考并遵守国标的证券期货业数据分类分级指引。指引中对于数据分类的要求如下：
可以看到完整的数据分类体系，有多级的业务+数据分类的划分，每一级分类又可以细分为多级子分类。因此为了能更好的按照国标建设企业的数据分类体系，就需要用到多级数据分类体系的能力。
功能概览：
01、行业数据分类能力，可以按照业务分类层级逐级查看数据分类，并可以新建、编辑和删除数据分类。也可以通过数据分类页面查看当前识别到的有效字段数，并快速配置脱敏规则。
02、数据分类的优先级，即当多个分类同时打标同一个字段时，仲裁的优先级，1为最高优先级。
03、Dataphin内置了通用的数据分类模型，包含了大部分常见的个人信息的识别方式和敏感等级，方便客户开箱即用，快速构建敏感数据保护体系。
04、对于有明确特征的一类数据，可以抽象成识别特征进行统一的管理。这样在后续创建数据分类的时候可以多次引用，通过自动识别快速打标敏感数据。
05、数据分类的应用场景
数据识别结果：即字段的最终打标结果，用户可以在该页面确认打标结果是否准确，也可以手动上传或者修改打标结果。
数据脱敏保护：可以在脱敏规则页面，给数据分类配置动态脱敏规则，实现数据开发过程中的敏感数据保护；也可以配置默认脱敏策略，对高敏数据一键配置脱敏。
资产目录查看：可以在资产目录查看到表中字段的分类分级信息
权限申请、审批和审计：可以在权限申请、审批和审计流程中查看表的分类分级，防止高敏感数据被意外申请；同时也可以在权限审批策略配置中，禁止申请高敏感数据的权限，从而更好的保护敏感数据
特性 13：数据质量支持按照业务视图进行查看
应用场景：
01、在实际的业务管控中，质量报告作为表的重要参考信息，一般是全局共享的。但是表的质量校验配置和校验详情，一般需要按照一定的权限范围进行管控，如按照项目或者个人，只有项目成员或者表的负责人可以配置监控和查看敏感数据的监控详情。
本期数据质量模块，支持按照全局、项目、个人三个视角进行质量规则的配置、校验详情的查看、整改工作的处理。
功能概览：
01、质量校验记录支持按照不同业务视图查看校验详情。
全局视图：仅超级管理员和质量管理员可使用，可以查看系统中全部的质量规则的校验记录
项目视角：项目成员可以使用，可以查看本项目下的质量规则的校验记录。不选择具体项目时，默认展示已加入的所有项目的校验记录。
个人视角：支持查看自己是质量负责人的所有质量规则的校验记录。管理员还可以切换并查看不同成员负责的内容。
02、质量规则支持按照不同视角进行查看和规则配置
03、质量治理工作台支持按照不同视角推进整改工作
特性 14：数据质量支持复杂分区校验
应用场景：
01、在多数按日期进行分区的场景下， 质量校验一般仅校验最新的分区，如ds=${yyyyMMdd}。但是在一些特殊场景下， 校验分区会有不同。
如：我只是浙江地区的负责人，只想看浙江地区的客户信息是否完整，则可以使用：province="浙江" and ds=${yyyyMMdd}；
需要在每周日对本周的整体销售数据进行校验，则可以使用：ds>yyyyMMdd−7andds<=yyyyMMdd−7andds<={yyyyMMdd-7} and ds<={yyyyMMdd}；
功能概览：
分区表达式支持非日期参数、多级条件等写法，支持更加复杂的业务场景的质量校验
特性 15：通过资产专题实现分类管理
应用场景 ：
01、从资产运营视角出发，按照资产的业务使用场景对资产进行分类并创建对应的资产专题和专题目录，根据资产可用性设置专题公开范围，解决数据资产分散难管理、视角不集中难搜索等问题。此外，支持为资产专题进行点赞、收藏，可快捷查看所有“我收藏的”资产，提升资产专题活跃度。
02、运营管理员可创建“精选”专题，用于管理符合企业数据资产建设架构要求、质量高、可直接申请消费的核心资产，减少相关业务人员因缺少资产价值评估依据找数难得问题，打通资产消费链路。
功能概览：
01、新建及管理专题：
基本信息：包括专题名称及描述（可用于专题检索）、专题管理员（可编辑删除专题）、公开范围（控制专题查看权限）、专题目录组织形式及专题封面
专题目录：每个专题下可自定义创建最多五级专题目录，支持移动目录层级、重命名等操作，实现对专题内资产的分类管理。
专题资产管理：可手动批量添加资产对象到专题，并配置在该专题下的归属目录。一个资产对象可以归属多个专题，但在每个专题下仅能归属一个目录。
02、 专题广场：
在专题广场，支持按照专题分组查看所有有查看权限的资产专题，并按照专题名称、描述搜索相关的资产专题，支持查看专题概览，可点赞、收藏专题，可快捷查看所有“我收藏的”专题，支持查看专题创建流程引导，快速上手完成资产专题的创建。
03、 数据表列表升级：支持按照资产专题和资产标签快速定位查找资产对象，支持在资产列表，通过悬停对应图标的方式快速查看资产概要信息
特性 16：数据标准与质量联动，补全监控链路
应用场景 ：
01、在数据标准的梳理和定义过程中，往往有一部分产出物是数据标准与核心资产（字段、指标）的映射关系。针对已经线下梳理好的映射关系，支持通过 Excel 的方式手动批量导入，快速完成映射关系的定义。
02、创建完成数据标准属性及相关的监控配置后，从数据标准管理的视角出发，针对已经确认的映射关系直接添加质量监控规则作为是否符合数据标准的评判依据，并在“落标评估明细”中统一查看所有监控规则的评估通过率及评估详情。
功能概览：
01、支持通过Excel 批量导已映射关系并查看导入记录；支持查看每条映射关系的来源明细（映射规则生成、研发过程关联、手动批量导入）；支持手动解除映射关系
02、支持在已映射关系列表，针对映射关系中的资产对象批量添加其相关的数据标准已配置的质量监控并添加调度方式；此类规则将影响落标评估明细中的落标评估率，以补全数据标准监控链路。注意，标准侧配置的质量监控在质量模块的规则列表和质量报告可见可查，但不支持编辑删除，仅支持在标准侧编辑，从而实现标准的强约束。
03、落标评估明细升级：根据映射关系上已配置的所有监控规则（包括元数据监控和在已映射关系列表创建的内容质量监控）的执行结果计算落标通过率；针对没有完全落标的，可以查看评估详情，以便进行整改。
特性 17：数据服务支持注册外部 API
应用场景：
01、企业一些算法服务，无法仅通过编写SQL完成开发，就需要企业开发人员通过编写代码来开发API，将开发好的API注册到dataphin平台的数据服务，实现对企业所有API的统一管理和监控。
例如：网约车行业的一些算法服务（例如获取最优线路），需要通过python语法，在指定的机器学习框架（如TensorFlow）下开发好算法模型，最后再封装成算法服务对外调用。像这种算法服务无法通过简单的SQL实现的，需要企业的开发人员完成算法模型开发并封装成算法服务后才能使用的，则可以把算法服务直接注册到dataphin平台的数据服务，由数据服务统一管理和监控算法服务的调用。
02、客户现有系统已有一些接口，想通过dataphin的服务运维监控功能和鉴权功能，把这些API进行管起来，在调用注册API时，向dataphin发起请求，dataphin再从原接口进行请求数据，实现对已有接口的监控。
例如：企业的一些系统有对外开放的OpenApi，企业希望对这些OpenApi的调用进行运维监控。那么可以将这些OpenApi注册到数据服务，利用数据服务原有的运维监控功能实现OpenApi的限流、告警、调用统计、调用日志查看等功能。
功能概览：
01、选择API的创建方式为“注册API”，配置注册API的
02、配置注册API的基本信息和后端服务配置。先到【管理中心】->【数据源管理】->【新建数据源】数据源的类型选择：半结构化存储->API，可以在这里仅配置后端服务的根路径/域名，以及鉴权信息，然后在服务path配置具体的调用路径，系统会组合成完整的转发调用路径。
03、配置注册API的参数信息，支持定义请求参数的位置和默认值。
返回参数取值路径：支持通过编写类似正则表达式的语法来指定提取后端服务返回的Json文档内容，满足各种取数场景。
特性 18：API开发支持多版本管理，保障下游调用不受影响
应用场景 ：
01、一般下游应用调用API时是写死了API_ID，如果API的数据源或者查询条件发生变更后，可以通过多版本的方式开发、测试好后，再将新版本发布到线上，覆盖原来的版本，下游应用端不用调整调用配置。
02、在测试环境，支持API多个版本的共存，可以进行ABtest，对不同版本的API进行测试，然后根据测试的结果，将最终确定的版本发布到线上应用。
03、版本回退，发布过到线上的版本都会在版本管理有记录。当新版本修改数据源或者计算逻辑并发布到线上后，发现新版本调用出现数据问题后，可以基于之前的版本，新增一个版本发布到线上，覆盖原来的版本实现版本回退。
例如：当前线上版本调用的是1.0版本，后来需要调整取数的计算逻辑后，新增了1.1版本，并把1.1版本发布到线上，1.1版本调用一段时间后，发现数据有问题，需要切回到1.0版本，则可以基于1.0版本新增2.0版本直接发布到线上（不直接使用1.0版本回退覆盖是考虑每个版本使用时段都能跟踪追溯）来实现版本回退。
功能概览：
01、新增API后，点击API的版本管理，可以查看API的版本列表。
02、当存在多个非草稿态版本时，支持进行版本对比，配置信息不一致的会高亮。
03、当存在多个非草稿态版本时，支持切换测试不同版本的API
注：如果已有发布到线上版本，为确保不影响线上API的正常调用。新版本配置的参数信息会与原线上版本对比，若新增版本增加了必填请求参数、删减了请求/返回参数、修改了请求参数的参数类型均不允许、保存、提交和发布，避免该版本发布到线上后影响API的正常调用。
特性 19：支持不停服升级配置
应用场景：
01、在系统升级期间其他子域不能正常使用，为保障线上API的正常调用。客户可在系统升级前，用超级管理员的角色，开启升级模式，开启后API依赖的所有子域数据会进行缓存处理，保障线上API的正常调用，完成升级后及时关闭升级模式即可。PS：在开启升级模式后，API发布、授权、申请都不能生效。
功能概览：
在开启升级模式前，可以指定升级时长，避免开启后忘记关闭。
特性 20：支持按应用维度统计API的调用情况，满足客户多场景的结算需求
应用场景：
01、客户日常结算中，存在需要按应用的维度统计在时间范围内调用API的次数以及各API调用的次数分布，满足客户多种结算场景。
PS：支持网关：私有网关、公有网关（专享实例+开启sls）
功能概览：
点击对应应用的调用分析，可以下钻查看应用调用不同API的统计情况
