【产品动态】数据智能构建管理平台Dataphin V2.9.4.3版本发布

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介: Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出,一站式提供数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月,Dataphin发布V2.9.4.3版本,升级多项产品能力。

  • 平台能力上,拓展计算引擎丰富度和OpenAPI覆盖度
  • 数据集成模块,拓展支持的MySQL数据源版本和一键建表覆盖范围,以提升配置效率
  • 监控能力上,优化告警接收规则配置,提提升灵活性适配更多监控场景
  • 资产中心,优化逻辑表预览及敏感字段识别规则,完善资产链路
  • 数据服务拓展API分页查询能力,以拓展查询范围,提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1:计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配,以提升多引擎兼容能力;截至当前版本,Dataphin支持的计算引擎类型包括:MaxCompute、CDH5、CDH6、EMR。

image.png

特性2:MySQL数据源支持8.x版本

目前,8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上,新增支持MySQL 8.0版本,可以在数据同步、数据服务等模块基于该数据源进行配置,以提升业务数据覆盖度。

image.png

特性3:数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表,以简化配置流程,提升数据同步配置效率。截至当前版本,一键建表功能一共覆盖4种目标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL

image.png

特性4:任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前,针对所有选中的接收人,均需要配置相同的告警接收方式。升级至本版本后,针对不同的接收人类型,可以指定不同的接收方式,以根据实际情况实现区别告警。如:任务负责人需要了解自己所负责的任务运行概况,但不需要立即处理异常情况,可以选择短信告警;值班负责人需要及时发现异常并处理,可以选择电话作为强提醒;项目管理员需要定期统计告警概况,可以选择邮件告警以方便记录和统计。

image.png

image.png

特性5:资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能,针对有权限的字段,直接展示抽样的数据记录,若字段设置过脱敏规则,则仅展示脱敏后的数据;针对无权限的字段,提示“无权限”字样并提供快捷申请的跳转链接。结合该功能,Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路,提升了建模体验。

image.png

默认情况下,在资产安全模块配置了敏感数据识别规则后,次日开始每日定时进行扫描。本次在每日定时扫描的基础上,新增支持用户手动触发敏感数据识别任务的运行,以实现新增规则立即生效,以及临时变更场景下的记录及时更新,提升敏感数据识别覆盖场景。

image.png

特性6:数据服务支持基于Impala数据源创建的API分页查询,以拓展查询范围,提升查询稳定性

历史版本中,考虑到查询性能,基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果,无法满足大数据量查询场景,影响下游业务使用。本次针对基于Impala数据源创建的API,提供分页查询能力,支持通过limit或offset语句设置分页条件,以保证服务连接稳定性和相应效率,支持大数据量查询的场景。


4 总结与展望

本次发布的V2.9.4.3版本中,Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级;在下一个版本中,我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能,敬请期待!



相关产品:智能数据构建与管理Dataphin




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
调度
Dataphin功能Tips系列(7)-维表版本策略
在创建普通维度逻辑表和事实逻辑表关联维度时,如何配置维表版本策略?
183 2
Dataphin功能Tips系列(7)-维表版本策略
|
6月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
9天前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
576 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
1月前
Dataphin功能Tips系列(29)-计算任务版本对比/版本回滚
开发人员小张先前编写的一个脚本,在进行了修订之后,发现逻辑出现了偏差,但他已经不记得前一版本的具体内容了。在这种情况下,应该怎样通过版本对比来看出两版脚本之间的差别,并且回滚到之前的版本呢?
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
4月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7764 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
4月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
1927 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
169 1
|
5月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin