【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介: 自Dataphin产品上线以来,经历3年的迭代打磨,在2021年5月15日发布新版本,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index



Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力,包括产品、技术和方法论等,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。



版本新特性概况

自Dataphin产品上线以来,经历3年的迭代打磨,本次2.9.4.2版本在2021年5月15日发布,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验

lALPDeC21OWmKxfNBNDNBKI_1186_1232.png



功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说,Dataphin支持从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;支持Blink任务实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres可以用作批流一体的统一存储服务,实时查询实时写入,无冗余数据搬迁工作,大幅提升研发效率。



功能场景a. 数据源引入



功能场景b. 离线数据集成



功能场景c. 流批一体

  • 定义Hologres元表,指定数据源及来源表


  • 定义流批虚拟镜像表,指定镜像表映射的批流分别写入的物理表,由于Hologres同时支持离线与实时读写,因此两边物理表可以均为Hologres表


  • 创建Blink流批一体任务,指定批流参数配置及任务配置,代码逻辑一致,一套代码实现两种调度时效


  • Dataphin流批一体架构图



2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试,采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式,仅兼容支持blink-3.6及以上版本。



升级前Blink任务不支持本地调试,无法在草稿态时验证作业开发的数据正确性,需要提交到运维后启动运维的测试实例进行验证,提交任务之前无法验证。



升级后在提交Blink任务之前可以进行本地数据采样,并在Console中输出任务运行结果,可以即时检查代码逻辑是否正确、输出结果是否符合预期等,验证正确再进行任务提交,有效保障了任务质量及开发效率。并且我们支持三种采样方式!自动抽样数据来源表数据、上传本地csv文件(提供样例可下载),或者直接在采样的面板中进行数据输入,灵活且方便。




3、运维列表展示对象拓展

运维列表每页展示对象拓展至100个,默认展示20/页,可切换20/40/60/80/100个/页;运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点,提升运维效率


4、数据服务模块支持新离线数据源

数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,加强API数据服务出口的权限管控强度,限制API开发者本人对API的广泛应用权限,需设置专人进行权限审批,API应用安全及权限管控效力大幅增强。




版本小结

本次5月发布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。

在下一期的迭代中,计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能,敬请期待!



我想了解更多:https://dp.alibaba.com/consult




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
JSON 缓存 运维
Dataphin数据服务API开启IP白名单调用鉴权
Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能,为数据业务化提供了坚实的支撑。在应用调用API的时候,Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中,也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
223 0
|
16天前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
591 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
1月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
140 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
4月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7789 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin
  • 下一篇
    无影云桌面