阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设

简介: 阿里云智能数据构建与管理 Dataphin,近日重磅上线公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。

阿里云智能数据构建与管理 Dataphin (下简称“Dataphin”)近日重磅上线公共云,开启智能研发版本的公共云公测!
在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
经过半年时间准备,Dataphin已于2019年4月23日正式登陆阿里云公共云,以满足更广泛的客户需求。下图为Dataphin在企业数据中台的定位:

test


Dataphin,亦称智能数据构建与管理平台——旨在基于阿里巴巴中台实践中沉淀的核心方法论和技术体系,提供从数据采,建,管,用的全链路、一站式的大数据能力,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
那么Dataphin如何助力企业发掘大数据价值,完成企业数字化转型?下面让我们深度了解一下Dataphin 的前世今生。

1. Dataphin源自阿里巴巴多年的大数据实战沉淀

Dataphin是多年来阿里巴巴大数据建设的实战沉淀,重点解决了阿里巴巴集团内部数据建设过程中遇到的多种问题,比如:

(1)数据不统一:标准规范难、命名不统一、定义不统一、计算逻辑不统一,对业务响应慢;
(2)数据未打通:孤岛现象严重、缺乏融通,价值挖掘不够;
(3)维护困难:源系统或业务变更与数据不同步,数据质量难保障;
(4)时效性差:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据批量计算晚、实时性不够且范围窄、即时查询返回结果慢……
面对上述问题,阿里巴巴内部的大数据团队进行了探索、实践,将经验沉淀为方法论、工具,并从实际场景出发、不断迭代,逐渐形成了一套阿里巴巴大数据能力的框架。即三个One:OneData、OneID、OneService,进而推动阿里巴巴数据中台的建设。其中阿里巴巴大数据能力的框架,即落地成为今天的Dataphin。

2. Dataphin的核心能力

Dataphin的核心价值在于数据规范定义,完全消除数据的二义性,保证业务数据标准化、规范化生产,具体而言:
(1)提高数据研发效率,标准化构建数据仓库,系统自动生产代码和调度任务;
(2)发现并提升数据价值,可视化、全链路地追踪和分析数据资产;
(3)所见即所得地用数据,自动聚合的主题数据可极大简化查询和分析代码。

test

3. Dataphin的产品优势

(1)作为PaaS层工具产品,Dataphin可进行可视化数据建模、代码自动化生成、数据资产图谱自动化生成——通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。
(2)Dataphin拥有代码自动化生产的能力,新颖且具有通用性。历时8年实战打磨的OneData数据智能黑盒技术,通过智能计算与存储算法,轻松实现一站式数仓建设,产品端简单操作录入数据模型信息后,一键提交,即可获取稳定的、计算存储最优的数据生产代码与任务。
(3)Dataphin降低企业数仓建设的复杂度,建模研发设计与开发一体化完成,极大提高原有完全人工编写文档+代码的效率(可视化勾选填写后,代码和数据自动化生产),也降低企业数仓建设复杂度。同时数仓模型的知识得到沉淀,可保证后续的迭代更加系统化、自动化、可持续发展。

test

4.Dataphin的应用场景及案例

某餐饮集团,该集团与多数公司一样,具有线上线下多个客户触达渠道,业务扩张快,客户的门店数量及会员数量快速增长,传统的数据加工处理和管理能力已经无法匹配业务的发展。在此情景下,客户通过阿里云对企业的业务系统和数据平台进行升级,3个月不到的时间,基于Dataphin快速构建企业数据中台的数据,并基于Quick BI进一步实现对会员数据的分析和挖掘,最终实现业务上千人千面的个性化推荐。此过程中,实现了:

(1)多源异构的数据上云:多种渠道、多种类型的业务数据库中的数据,同步至云上,源数据得到最大化集中与丰富;
(2)数据规范定义和数仓研发:通过可视化、标准化配置会员等主题逻辑模型,自动化生成物理模型和代码脚本,保证数据规范性,同时提高数据研发效率;
(3)标签体系的快速构建:结合Quick BI,完成标签设计、生产、分析、展现,偏好类标签自助构建和消费;
(4)数据资产管理和元数据查询:基于标准化构建沉淀的高质量数据资产,如会员主题数据,可视化地分析和管理数据资产,快速便捷地查询元数据详情及使用数据。

test

5. Dataphin适合什么样的客户?

前面介绍了Dataphin的前世今生后,那么它适合于什么样的企业呢?
对企业来说,Dataphin是企业数据中台构建的核心组成部分,帮助企业完成大数据的智能构建及管理,助力企业实现大数据的采集集成、加工处理、资产管理及数据服务对接于大数据应用及业务前台流程,是整个企业数据资产化及价值化实现的平台和引擎。
因此Dataphin适合所有希望用数据智能驱动业务的客户,既包括IT侧有数据湖,数据仓库,消费者数据平台(CDP)等系统建设需求的客户,更包括希望通过系统化搭建数据中台体系全方位助力业务的客户。目前已经应用于零售、传媒、地产、金融等行业。
Dataphin已上线阿里云官网,支持公共云客户订购使用。未来,Dataphin将持续不断将阿里中台体系的最佳实践转化为产品能力,快速迭代升级,坚持致力于协助各行各业的企业完成数字化转型,开启数据智能的新时代。

了解更多产品详情,请点击:https://www.aliyun.com/product/dataphin

阿里云新品发布会,获取更多前沿发布:
阿里云新品发布·周刊:持续曝光中

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
11天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
3天前
|
弹性计算 运维 Serverless
阿里云Elasticsearch Serverless助力大型企业咨询公司大幅提升效能
阿里云Elasticsearch Serverless服务,提升了某大型企业咨询公司的数据查询速度和准确性,在实现成本可控的同时,帮助提高了企业效能并加强了客户服务能力。
|
4天前
|
监控 数据处理 索引
整合LlamaIndex与LangChain构建高级的查询处理系统
该文阐述了如何结合LlamaIndex和LangChain构建一个扩展性和定制性强的代理RAG应用。LlamaIndex擅长智能搜索,LangChain提供跨平台兼容性。代理RAG允许大型语言模型访问多个查询引擎,增强决策能力和多样化回答。文章通过示例代码展示了如何设置LLM、嵌入模型、LlamaIndex索引及查询引擎,并将它们转换为LangChain兼容的工具,实现高效、精准的问题解答。通过多代理协作,系统能处理复杂查询,提高答案质量和相关性。
22 0
|
5天前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
53 1
|
11天前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
11天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
存储 弹性计算 运维
阿里云Elasticsearch Serverless助力医疗科技企业实现业务提效和加速创新
通过采用阿里云Elasticsearch Serverless服务,某医疗科技企业解决了大规模智能床垫数据存储和分析的挑战。Serverless架构帮助客户降低50%以上的成本,实现资源弹性伸缩,免去运维负担,提高业务弹性和稳定性,企业能更专注于产品创新和用户体验优化。
|
4天前
|
存储 分布式计算 Serverless
阿里云 EMR Serverless Spark 版开启免费公测
EMR Serverless Spark 版免费公测已开启,预计于2024年06月25日结束。公测阶段面向所有用户开放,您可以免费试用。
49 4
|
6天前
|
存储 弹性计算 数据库
阿里云oss备份网站数据的详细步骤
该教程指导如何使用阿里云OSS备份网站数据。首先,注册阿里云账号并购买40GB的OSS存储空间。创建Bucket,选择与服务器相同的区域和私有权限。安装阿里云OSS插件,获取AccessKey信息。在宝塔面板中设置计划任务进行网站或数据库备份,选择内网域名以节省流量。备份完成后,通过文件管理器检查OSS中是否有备份文件。下载备份文件需点击文件名,然后打开文件URL。
|
8天前
|
存储 人工智能 运维

热门文章

最新文章