Dataphin V3.10
重点特性的应用场景示例
特性1：支持ArgoDB计算引擎
- 应用场景01：
如果您已经有了星环的ArgoDB，您可以通过Dataphin纳管这些资产，并可同时纳管其他的大数据平台，并进行一站式的大数据集成、研发、盘点、治理和标签化工作。
特性2：支持数据源的跨租户发布
- 应用场景02：
在生产开发物理隔离的环境下，数据源可在目标环境重建并修改为目标环境的配置，比如在发布到生产环境时，可将业务数据库的地址变更为线上的数据库或者备库。
特性3：下载水印及权限审批保安全
- 应用场景03：
数据下载后脱离平台后即无法管控数据的再次分享及使用，因此需要 ① 可管控的数据下载，可根据项目开启或关闭数据下载，是否需要审批以及审批流程；② 下载的文件可设置水印用于警示和提醒用户注意数据安全。
特性4：资源组按需分配
- 应用场景04：
支持按照租户、项目、任务粒度分配资源，可使不同业务部门所使用的资源解耦，从而实现各业务部门按需结算等应用场景。比如可给核心集成任务配置“集成专用资源组”，其他非核心任务使用项目默认资源组，保证核心业务库的集成任务按时运行。
同时支持临时批量运维操作，当每月初都需要回刷上个月的订单数据以更新退款信息，可以创建一个“订单数据回刷专用资源组”，并在补数据时指定使用该资源组，从而保证周期实例的资源消耗不受补数据实例的影响。
特性5：「个人数据中心」一键转交数据资产
- 应用场景05：
某员工即将离职，需要将自己负责的表统一转交给交接人员，可以在个人数据中心一键转交所有数据表负责人。
当项目管理员需要检查某张核心表的负责人转交详情做审计，可以通过单张数据表的负责人转交记录进行查看。
特性6：基于标准系统属性快速配置质量监控
- 应用场景06：
Dataphin 提供多条内置内容质量监控的公共系统属性，如：引用“值域”属性，属性的取值方式配置为“范围值-范围区间”，那么在创建数据标准时，填写完成值域属性就会自动生成 1 条“字段值域监控”的质量规则，规则配置和填写的区间值一致，校验配置为“异常行数<=0”，无需额外手动配置。
特性7：映射关系支持手动干预
- 应用场景07：
数据标准创建完成后，需要指定其关联的资产对象才能发挥应用价值。Dataphin 提供多种映射关系的查看视角，包括按数据表汇总及全部展开，可满足不同的查看分析诉求。
针对不合理的映射关系，直接执行“置为无效映射”操作；如果您需要移除某些无效映射关系重新加入落标监控评估，可以执行“解除无效映射”操作。
特性8：质量整改及治理实现闭环
- 应用场景08：
质量校验时发现的质量问题，会出现在治理工作台中，等待负责人处理。通过治理工作台，可以实现以下治理操作：发起治理、忽略本次异常、添加白名单、重新校验、通知负责人进行具体的问题治理；或者查看问题的历史操作记录，了解历史问题和治理方案。
在治理工作台中发起治理后，可以在治理流程列表中看到和自己相关的治理流程，完成治理后，治理人可以发起验收，提交整个治理流程到验收人处理。
- 应用场景09：
在质量规则配置时，可以选择开启异常归档，开启异常归档后，可以将质量校验过程中的异常数据，存储到指定位置，用于后续的下载分析等用途。
可以在即席查询和代码任务中，针对异常归档表中的异常数据进行更灵活的分析，从而发现更复杂的数据质量问题。
特性9：降低标签类型开发门槛
- 应用场景10：
该版本将服务视图与实时视图类型整合，仅需根据数据来源选择加工方式即可实现实时视图快速构建。
例如，通过“下单事件”定义视图并开发“最近1天累计消费金额”实时标签，开发者可以选择“事件预加工”加工方式；
通过查询HBase中的交易数据定义实时视图并开发“最近7天下单数”标签，则可选用“HBase视图”来源表字段解析的方式进行实时视图构建；
通过三方开放平台采买数据定义实时视图开发标签时，则可通过解析“HTTP视图”返回参数定义实时视图。
- 应用场景11：
在前期业务规划时，通过csv文件整理的标签类目可以通过本地文件上传的方式一键生成资产市场标签、群组类目，实现类目快速创建，降低类目创建成本。
群组资产市场详情增加群组规模以及群组血缘，资产成员可以查看上架群组历史规模、上游数据来源以及下游数据应用情况。
特性10：数据服务API对接更便捷
- 应用场景12：
与企业合作的第三方技术人员需要调用在数据服务开发好的API时，由于第三方人员属于外部人员，往往没有权限登录到系统查看API的文档，需要企业的开发人员花大量的时间与第三方技术人员反复沟通确认。
API文档支持下载并且生成对应API的可执行代码后，企业的技术人员只需要将对应的API文档下载下来，第三方技术人员根据文档即可完成API的调用对接。
特性11：计算任务管理与维护提效
- 应用场景13：
计算任务列表将计算任务的主要属性作为列表项展示出来，无须打开任务即可同时看到一批任务的属性信息，并可以通过筛选条件，灵活方便的查找定位任务，并支持进行批量操作。
特性12：更完善的监控告警机制
- 应用场景14：
支持项目级监控告警，支持按照任务类型/调度类型配置项目级别的监控告警。对项目下监控范围内的所有对象均生效，符合条件的新增任务将自动配置对应监控。
支持逻辑表整表级别的监控告警，逻辑表中新增加的字段将自动配置监控告警。
- 应用场景15：
实时监控指标可以帮助用户及时了解Flink SQL作业的运行情况，包括作业的吞吐量、延迟、并发度、资源利用率等关键指标。Dataphin支持查看checkpoint、IO、watermark、CPU、memory、JVM六大类40余种监控指标。
这些指标可以帮助用户快速发现作业运行的问题，比如性能瓶颈、资源竞争等，及时进行优化和调整，以保证作业的高效稳定运行。
同时，实时监控指标还可以帮助用户进行容量规划和资源优化，以最大限度地提高作业的处理能力和质量。
04 总结与展望
本次发布的V3.10版本中，Dataphin新增了ArgoDB作为计算引擎；针对客户不同的管控诉求，提供了自定义审批模版、自定义下载和权限审批策略的管控能力；优化了自定义数据源的元数据获取和创建流程；在数据集成、实时研发、数据服务中都新增了多种数据源的适配；在资产治理中，也支持了质量整改、异常数据归档、标准关联质量。
在下一个版本中，我们将针对Dataphin的数据分析能力、数据隐私计算和安全流通、Impala引擎等相关能力进行升级，增强产品能力，持续提升用户体验。
