【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介: 自Dataphin产品上线以来,经历3年的迭代打磨,在2021年5月15日发布新版本,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index



Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力,包括产品、技术和方法论等,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。



版本新特性概况

自Dataphin产品上线以来,经历3年的迭代打磨,本次2.9.4.2版本在2021年5月15日发布,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验

lALPDeC21OWmKxfNBNDNBKI_1186_1232.png



功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说,Dataphin支持从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;支持Blink任务实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres可以用作批流一体的统一存储服务,实时查询实时写入,无冗余数据搬迁工作,大幅提升研发效率。



功能场景a. 数据源引入



功能场景b. 离线数据集成



功能场景c. 流批一体

  • 定义Hologres元表,指定数据源及来源表


  • 定义流批虚拟镜像表,指定镜像表映射的批流分别写入的物理表,由于Hologres同时支持离线与实时读写,因此两边物理表可以均为Hologres表


  • 创建Blink流批一体任务,指定批流参数配置及任务配置,代码逻辑一致,一套代码实现两种调度时效


  • Dataphin流批一体架构图



2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试,采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式,仅兼容支持blink-3.6及以上版本。



升级前Blink任务不支持本地调试,无法在草稿态时验证作业开发的数据正确性,需要提交到运维后启动运维的测试实例进行验证,提交任务之前无法验证。



升级后在提交Blink任务之前可以进行本地数据采样,并在Console中输出任务运行结果,可以即时检查代码逻辑是否正确、输出结果是否符合预期等,验证正确再进行任务提交,有效保障了任务质量及开发效率。并且我们支持三种采样方式!自动抽样数据来源表数据、上传本地csv文件(提供样例可下载),或者直接在采样的面板中进行数据输入,灵活且方便。




3、运维列表展示对象拓展

运维列表每页展示对象拓展至100个,默认展示20/页,可切换20/40/60/80/100个/页;运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点,提升运维效率


4、数据服务模块支持新离线数据源

数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,加强API数据服务出口的权限管控强度,限制API开发者本人对API的广泛应用权限,需设置专人进行权限审批,API应用安全及权限管控效力大幅增强。




版本小结

本次5月发布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。

在下一期的迭代中,计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能,敬请期待!



我想了解更多:https://dp.alibaba.com/consult




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
5月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
JSON 缓存 运维
Dataphin数据服务API开启IP白名单调用鉴权
Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能,为数据业务化提供了坚实的支撑。在应用调用API的时候,Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中,也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
187 0
|
26天前
|
消息中间件 Kafka
|
3月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7577 9
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
3月前
|
SQL 运维 安全
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
1654 2
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
2月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
115 1
|
3月前
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin
  • 下一篇
    无影云桌面