【产品动态】数据智能构建管理平台Dataphin V2.9.4.3版本发布

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出,一站式提供数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月,Dataphin发布V2.9.4.3版本,升级多项产品能力。

  • 平台能力上,拓展计算引擎丰富度和OpenAPI覆盖度
  • 数据集成模块,拓展支持的MySQL数据源版本和一键建表覆盖范围,以提升配置效率
  • 监控能力上,优化告警接收规则配置,提提升灵活性适配更多监控场景
  • 资产中心,优化逻辑表预览及敏感字段识别规则,完善资产链路
  • 数据服务拓展API分页查询能力,以拓展查询范围,提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1:计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配,以提升多引擎兼容能力;截至当前版本,Dataphin支持的计算引擎类型包括:MaxCompute、CDH5、CDH6、EMR。

image.png

特性2:MySQL数据源支持8.x版本

目前,8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上,新增支持MySQL 8.0版本,可以在数据同步、数据服务等模块基于该数据源进行配置,以提升业务数据覆盖度。

image.png

特性3:数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表,以简化配置流程,提升数据同步配置效率。截至当前版本,一键建表功能一共覆盖4种目标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL

image.png

特性4:任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前,针对所有选中的接收人,均需要配置相同的告警接收方式。升级至本版本后,针对不同的接收人类型,可以指定不同的接收方式,以根据实际情况实现区别告警。如:任务负责人需要了解自己所负责的任务运行概况,但不需要立即处理异常情况,可以选择短信告警;值班负责人需要及时发现异常并处理,可以选择电话作为强提醒;项目管理员需要定期统计告警概况,可以选择邮件告警以方便记录和统计。

image.png

image.png

特性5:资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能,针对有权限的字段,直接展示抽样的数据记录,若字段设置过脱敏规则,则仅展示脱敏后的数据;针对无权限的字段,提示“无权限”字样并提供快捷申请的跳转链接。结合该功能,Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路,提升了建模体验。

image.png

默认情况下,在资产安全模块配置了敏感数据识别规则后,次日开始每日定时进行扫描。本次在每日定时扫描的基础上,新增支持用户手动触发敏感数据识别任务的运行,以实现新增规则立即生效,以及临时变更场景下的记录及时更新,提升敏感数据识别覆盖场景。

image.png

特性6:数据服务支持基于Impala数据源创建的API分页查询,以拓展查询范围,提升查询稳定性

历史版本中,考虑到查询性能,基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果,无法满足大数据量查询场景,影响下游业务使用。本次针对基于Impala数据源创建的API,提供分页查询能力,支持通过limit或offset语句设置分页条件,以保证服务连接稳定性和相应效率,支持大数据量查询的场景。


4 总结与展望

本次发布的V2.9.4.3版本中,Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级;在下一个版本中,我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能,敬请期待!



相关产品:智能数据构建与管理Dataphin




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
3月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
152 8
|
5月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
367 0
|
2月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
|
4月前
|
SQL 安全 BI
Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系
Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。
449 0
|
7月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
7月前
|
数据采集 数据可视化 大数据
揭秘Dataphin:一站式企业级数据治理平台的全景体验!
Dataphin是阿里巴巴推出的全生命周期数据治理平台,基于OneData方法论,覆盖数据采集、管理到消费的全流程。它支持多种计算平台,提供灵活可扩展的能力,助力企业构建高效的数据中台。其强大的自动化与可视化功能,显著提升数据治理效率和质量,适用于大规模数据处理场景。未来可加强AI预测能力,为企业带来更多智能决策支持。
253 0
|
11月前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
1001 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
581 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin