【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 自Dataphin产品上线以来,经历3年的迭代打磨,在2021年5月15日发布新版本,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index



Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力,包括产品、技术和方法论等,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。



版本新特性概况

自Dataphin产品上线以来,经历3年的迭代打磨,本次2.9.4.2版本在2021年5月15日发布,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验

lALPDeC21OWmKxfNBNDNBKI_1186_1232.png



功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说,Dataphin支持从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;支持Blink任务实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres可以用作批流一体的统一存储服务,实时查询实时写入,无冗余数据搬迁工作,大幅提升研发效率。



功能场景a. 数据源引入



功能场景b. 离线数据集成



功能场景c. 流批一体

  • 定义Hologres元表,指定数据源及来源表


  • 定义流批虚拟镜像表,指定镜像表映射的批流分别写入的物理表,由于Hologres同时支持离线与实时读写,因此两边物理表可以均为Hologres表


  • 创建Blink流批一体任务,指定批流参数配置及任务配置,代码逻辑一致,一套代码实现两种调度时效


  • Dataphin流批一体架构图



2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试,采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式,仅兼容支持blink-3.6及以上版本。



升级前Blink任务不支持本地调试,无法在草稿态时验证作业开发的数据正确性,需要提交到运维后启动运维的测试实例进行验证,提交任务之前无法验证。



升级后在提交Blink任务之前可以进行本地数据采样,并在Console中输出任务运行结果,可以即时检查代码逻辑是否正确、输出结果是否符合预期等,验证正确再进行任务提交,有效保障了任务质量及开发效率。并且我们支持三种采样方式!自动抽样数据来源表数据、上传本地csv文件(提供样例可下载),或者直接在采样的面板中进行数据输入,灵活且方便。




3、运维列表展示对象拓展

运维列表每页展示对象拓展至100个,默认展示20/页,可切换20/40/60/80/100个/页;运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点,提升运维效率


4、数据服务模块支持新离线数据源

数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,加强API数据服务出口的权限管控强度,限制API开发者本人对API的广泛应用权限,需设置专人进行权限审批,API应用安全及权限管控效力大幅增强。




版本小结

本次5月发布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。

在下一期的迭代中,计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能,敬请期待!



我想了解更多:https://dp.alibaba.com/consult




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
30天前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
|
5月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
377 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
2月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
3月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
226 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
2月前
|
数据采集 数据可视化 大数据
揭秘Dataphin:一站式企业级数据治理平台的全景体验!
Dataphin是阿里巴巴推出的全生命周期数据治理平台,基于OneData方法论,覆盖数据采集、管理到消费的全流程。它支持多种计算平台,提供灵活可扩展的能力,助力企业构建高效的数据中台。其强大的自动化与可视化功能,显著提升数据治理效率和质量,适用于大规模数据处理场景。未来可加强AI预测能力,为企业带来更多智能决策支持。
84 0
|
5月前
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
596 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
3月前
|
数据处理 调度
|
6月前
|
数据采集 自然语言处理 供应链
央国企“严选”的瓴羊,如何让数据“供得出、流得动、用得好”?|【瓴羊Dataphin在信通院2024数据资产管理大会】
在产业变革新浪潮下,数据资产管理步入“繁花时代”,瓴羊高级解决方案专家黄彦之出席2024数据资产管理大会并分享了瓴羊基于12年阿里最佳数据实践,通过Dataphin等产品助力央国企数智化转型的路径与方法。大会发布《数据治理产业图谱3.0》,瓴羊Dataphin入选BUCM板块代表产品,彰显其领先经验。
326 18
|
6月前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
691 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
7月前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
498 4
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin