快速完成智能数据构建,Dataphin公共云版本全面解读

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上,Dataphin作为一款大数据智能构建与管理的产品,其核心功能是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动业务创新。

Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上,Dataphin作为一款大数据智能构建与管理的产品,其核心功能是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动业务创新。

基于公测期间用户关注的诸多问题,Dataphin团队在阿里云上启动了首场Dataphin公共云产品直播。针对性地解读了这一版本在性能和使用上的亮点。

1、Dataphin可以解决什么问题?

近年来大数据领域最热门的词非“数据中台”莫属,很多数据服务商都转型为“数据中台”的搭建者。然而与“数据中台”的构建密切相关的产品Dataphin现已正式上线阿里云公共云环境。致力于帮助更多企业完成智能数据构建与管理的期望。

“数据中台”在媒体报道中,俨然成为了一个新的风口,那么“数据中台”也像之前的“物联网”、“O2O”一样只是概念吗?其实“数据中台”是一个经过实践验证后被提出的能力,阿里巴巴早在2015年就已确定数据中台为战略方向。今天终于可完整的携带方法论、技术、产品对集团外进行能力输出。

阿里巴巴的数据中台是滋生于业务的,实实在在解决着业务中的痛点,对于正在进行数字化转型的企业来说,不同的岗位角色有着不同的困惑。

image

在数据使用上遇到一些现实问题,大致可以从业务视角和技术视角两方面来看:

首先是业务角度,由于数据标准不统一,命名不规范,口径不一致,导致不同业务方对于同一个业务的认知有所不同;又因为由于团队之间的壁垒,导致每个团队能够使用的数据非常有限,数据孤岛化严重;而从数据加工处理的流程来看,各业务之间相互调用,逐步形成网状依赖,加剧了数据重复建设以及管理失效的现状;

其次是技术角度,烟囱式的开发导致开发周期长、效率低下,研发资源浪费,技术标准的差异则带来维护成本奇高,同时数据垂直开发,导致生产链路复杂且长,重复计算多,数据产出时效性差;

image

综合整个大数据技术及应用发展历史,数据构建与管理要落地企业长效发展过程中,最大的挑战可以抽象为以下四类:

  • 业务理解上,“数据指标不一致”;举个简单的例子,就是一家企业的CEO,订立销售目标是1个亿,结果他的5个业务负责人根据各自的算法所得的业绩数据都超过2千万,所有业务leader的任务都完成了,唯独CEO的业绩却没有完成!听起来可能是个玩笑,但是口径不一致的问题经常会出现我们的业务中;
  • 需求支持上,“研发难”;一般地,一个需求提出到响应给到业务方,一般要一周时间,这还不算业务方拿到需求发现与实际业务中感知有所差异,不断地与开发者进行对齐的时间;
  • 财务账单上,“资源消耗高,财务成本重”;举个简单的例子,我们写个复杂的查询,如果没有注意到全表扫描和主键唯一校验问题,就有可能扫描一张数十亿行的数据,就有可能执行超长的时间,消耗大量的资源;
  • 数据价值透出上,则需要快速响应、敏捷开发;举个简单的例子,模型做的非常好了,但是模型师不爱写文档,或者文档太久没有更新,对于一个应用开发者或者服务开发者而言,他需要不断地去看模型的代码,去探查数据验证自己的理解和判断,直到找出所需要的数据。同样,另外一个业务开发者也需要在不同的应用中使用这份数据,如果幸运地知道别人已经开发过了,可以做到一定程度的复用,但是如果不知道这个服务的存在,这位开发者还要重新来过一遍;

image

2、同类市场上,Dataphin的特点与优势在哪里?

Dataphin的原创性核心能力:

第一:“数据规范定义”。百分百消除二义性,所谓二义性就是两个同名的指标名称但是计算口径却是不同的,Dataphin通过规范定义与自动化建模的方式消除了这种二义性的存在;这一能力打破的是概念设计与逻辑设计之间的鸿沟;

第二:“设计即开发”。简单地说就是,实现了可视化配置后的代码自动生成,这一能力打破的是逻辑设计与物理设计之间的差异;

第三:“数据资产化管理”。数据构建完成后,需要系统化地管理与运营,让数据资产得以高质量、低成本、安全产出,更重要的是高效流通,快速价值化;

第四:“主题式查询”。简单地讲就是,面向数据使用者的不再是物理模型中分散的数据表,而是以主题组织的模型;对于使用者而言,将省去大量的沟通、理解成本。

image

3、中型企业、轻量级用户是否适合使用Dataphin吗?

我们经常会用到这张图,形象化地描述,如果你是一家小型企业,现在开始规范化建设你的数据,将来自然生长为一个大型规范的数据中心;如果您是一家大型企业,还没有建设数据中台,提前规划,提前储备,一步到位建设数据中台。公共云版本正是在中小企业成长过程中既满足用户的需求,同时又相比独立部署价更加经济的选择。

image

查看产品:智能数据构建与管理 Dataphin
一图快速了解:发布核心、场景、优势、接入、更多!
直播回顾:Dataphin公共云重磅发布
点击了解:“阿里云新品发布会频道”
立即订阅:阿里云新品发布会·周刊

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
10天前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
156 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
1月前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
130 3
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
691 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
1月前
|
安全 Java 数据库连接
Dataphin的数据共享的应用场景和方案
不同的业务场景对数据访问和使用有着各自独特的需求,从简单的数据下载到复杂的跨系统集成,选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等,并分析它们各自的适用场景、优势及限制,以帮助企业更好地根据自身需求做出合理的选择。
101 0
|
2月前
Dataphin功能Tips系列(29)-计算任务版本对比/版本回滚
开发人员小张先前编写的一个脚本,在进行了修订之后,发现逻辑出现了偏差,但他已经不记得前一版本的具体内容了。在这种情况下,应该怎样通过版本对比来看出两版脚本之间的差别,并且回滚到之前的版本呢?
|
2月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
5月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7869 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
5月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
2033 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
223 1
|
7月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。

热门文章

最新文章