【产品动态】数据智能构建管理平台Dataphin V2.9.4.3版本发布

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出,一站式提供数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月,Dataphin发布V2.9.4.3版本,升级多项产品能力。

  • 平台能力上,拓展计算引擎丰富度和OpenAPI覆盖度
  • 数据集成模块,拓展支持的MySQL数据源版本和一键建表覆盖范围,以提升配置效率
  • 监控能力上,优化告警接收规则配置,提提升灵活性适配更多监控场景
  • 资产中心,优化逻辑表预览及敏感字段识别规则,完善资产链路
  • 数据服务拓展API分页查询能力,以拓展查询范围,提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1:计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配,以提升多引擎兼容能力;截至当前版本,Dataphin支持的计算引擎类型包括:MaxCompute、CDH5、CDH6、EMR。

image.png

特性2:MySQL数据源支持8.x版本

目前,8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上,新增支持MySQL 8.0版本,可以在数据同步、数据服务等模块基于该数据源进行配置,以提升业务数据覆盖度。

image.png

特性3:数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表,以简化配置流程,提升数据同步配置效率。截至当前版本,一键建表功能一共覆盖4种目标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL

image.png

特性4:任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前,针对所有选中的接收人,均需要配置相同的告警接收方式。升级至本版本后,针对不同的接收人类型,可以指定不同的接收方式,以根据实际情况实现区别告警。如:任务负责人需要了解自己所负责的任务运行概况,但不需要立即处理异常情况,可以选择短信告警;值班负责人需要及时发现异常并处理,可以选择电话作为强提醒;项目管理员需要定期统计告警概况,可以选择邮件告警以方便记录和统计。

image.png

image.png

特性5:资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能,针对有权限的字段,直接展示抽样的数据记录,若字段设置过脱敏规则,则仅展示脱敏后的数据;针对无权限的字段,提示“无权限”字样并提供快捷申请的跳转链接。结合该功能,Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路,提升了建模体验。

image.png

默认情况下,在资产安全模块配置了敏感数据识别规则后,次日开始每日定时进行扫描。本次在每日定时扫描的基础上,新增支持用户手动触发敏感数据识别任务的运行,以实现新增规则立即生效,以及临时变更场景下的记录及时更新,提升敏感数据识别覆盖场景。

image.png

特性6:数据服务支持基于Impala数据源创建的API分页查询,以拓展查询范围,提升查询稳定性

历史版本中,考虑到查询性能,基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果,无法满足大数据量查询场景,影响下游业务使用。本次针对基于Impala数据源创建的API,提供分页查询能力,支持通过limit或offset语句设置分页条件,以保证服务连接稳定性和相应效率,支持大数据量查询的场景。


4 总结与展望

本次发布的V2.9.4.3版本中,Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级;在下一个版本中,我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能,敬请期待!



相关产品:智能数据构建与管理Dataphin




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
10天前
欢迎使用Dataphin,开启您的智能数据治理之旅!
为您提供Dataphin快速上手操作指南,一起轻松构建数据 祝好, 瓴羊Dataphin团队
137 67
|
1月前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
369 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
3月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
791 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
3月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
177 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
3月前
Dataphin功能Tips系列(29)-计算任务版本对比/版本回滚
开发人员小张先前编写的一个脚本,在进行了修订之后,发现逻辑出现了偏差,但他已经不记得前一版本的具体内容了。在这种情况下,应该怎样通过版本对比来看出两版脚本之间的差别,并且回滚到之前的版本呢?
|
6月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7920 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
6月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
2074 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
6月前
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。
|
6月前
|
数据采集 存储 Oracle
高效元数据采集与管理 -- Dataphin新功能助力数据驱动业务增长
Dataphin作为领先的数据开发与治理一体化平台,全新推出元数据采集与管理功能,可支持多种采集源,并能对采集到的元数据对象进行统一管理和运营,同时可对接丰富的下游应用,为企业在数据管理各个环节提供强有力的支持。
216 2
|
6月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用合集之如何从Dataphin使用界面查看版本
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin