【产品动态】数据智能构建管理平台Dataphin V2.9.4.3版本发布

简介: Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出,一站式提供数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月,Dataphin发布V2.9.4.3版本,升级多项产品能力。

  • 平台能力上,拓展计算引擎丰富度和OpenAPI覆盖度
  • 数据集成模块,拓展支持的MySQL数据源版本和一键建表覆盖范围,以提升配置效率
  • 监控能力上,优化告警接收规则配置,提提升灵活性适配更多监控场景
  • 资产中心,优化逻辑表预览及敏感字段识别规则,完善资产链路
  • 数据服务拓展API分页查询能力,以拓展查询范围,提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1:计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配,以提升多引擎兼容能力;截至当前版本,Dataphin支持的计算引擎类型包括:MaxCompute、CDH5、CDH6、EMR。

image.png

特性2:MySQL数据源支持8.x版本

目前,8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上,新增支持MySQL 8.0版本,可以在数据同步、数据服务等模块基于该数据源进行配置,以提升业务数据覆盖度。

image.png

特性3:数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表,以简化配置流程,提升数据同步配置效率。截至当前版本,一键建表功能一共覆盖4种目标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL

image.png

特性4:任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前,针对所有选中的接收人,均需要配置相同的告警接收方式。升级至本版本后,针对不同的接收人类型,可以指定不同的接收方式,以根据实际情况实现区别告警。如:任务负责人需要了解自己所负责的任务运行概况,但不需要立即处理异常情况,可以选择短信告警;值班负责人需要及时发现异常并处理,可以选择电话作为强提醒;项目管理员需要定期统计告警概况,可以选择邮件告警以方便记录和统计。

image.png

image.png

特性5:资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能,针对有权限的字段,直接展示抽样的数据记录,若字段设置过脱敏规则,则仅展示脱敏后的数据;针对无权限的字段,提示“无权限”字样并提供快捷申请的跳转链接。结合该功能,Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路,提升了建模体验。

image.png

默认情况下,在资产安全模块配置了敏感数据识别规则后,次日开始每日定时进行扫描。本次在每日定时扫描的基础上,新增支持用户手动触发敏感数据识别任务的运行,以实现新增规则立即生效,以及临时变更场景下的记录及时更新,提升敏感数据识别覆盖场景。

image.png

特性6:数据服务支持基于Impala数据源创建的API分页查询,以拓展查询范围,提升查询稳定性

历史版本中,考虑到查询性能,基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果,无法满足大数据量查询场景,影响下游业务使用。本次针对基于Impala数据源创建的API,提供分页查询能力,支持通过limit或offset语句设置分页条件,以保证服务连接稳定性和相应效率,支持大数据量查询的场景。


4 总结与展望

本次发布的V2.9.4.3版本中,Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级;在下一个版本中,我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能,敬请期待!



相关产品:智能数据构建与管理Dataphin




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
SQL 人工智能 分布式计算
【产品升级】Dataphin V5.3 全新上线:四大能力升级,数据管理更统一、更智能!
V5.3版本,Dataphin推出众多重磅功能:例如,全新的智能应用:X-数据标准、X-数据安全以及智能应用反馈看板;更前沿的数据研发能力:利用SelectDB/Doris/StarRocks查询加速Hive和MaxCompute的离线引擎、全面支持Paimon格式的数据湖构建;资产运营和数据服务持续提效。
796 0
|
11月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
308 8
|
12月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
795 0
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
637 0
|
10月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
379 0
|
11月前
|
SQL 数据管理 API
【产品升级】Dataphin V5.2 全新上线:四大能力升级,数据管理更统一、更智能!
Dataphin是阿里巴巴推出的数据建设与治理平台,提供全链路数据服务,助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”,引入X-数据管家、X-ETL等智能应用,提升数据运营效率。开发平台全面升级,支持多云复杂环境,强化API行级权限管控,保障数据安全。新版还适配国际化多时区场景,助力企业高效协同,释放数据价值。
672 9
|
10月前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
325 0
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
1312 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
288 8
|
12月前
|
SQL 安全 BI
Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系
Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。
1110 0

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin