阿里大数据能力集大成者Dataphin开启公共云公测

本文涉及的产品
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
智能数据建设与治理Dataphin,200数据处理单元
简介: 日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云公共云,开启智能研发版本的公共云公测!

小编有话说:日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。

智能数据构建与管理Dataphin是企业在建设数据中台中必不可少的核心组成部分,是阿里巴巴大数据能力的集大成产品。Dataphin主要面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力。

历经半年筹备期,今年4月Dataphin正式登陆阿里云公共云。在此之前,Dataphin以独立部署方式输出并服务线下客户,助力了多家行业大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。

1、Dataphin:源自阿里巴巴多年大数据实战沉淀

image.png

Dataphin是多年来阿里巴巴大数据建设的实战沉淀,重点解决了阿里巴巴集团内部数据建设过程中遇到的多种问题,比如:

(1)数据不统一:标准规范难、命名不统一、定义不统一、计算逻辑不统一,对业务响应慢;

(2)数据未打通:孤岛现象严重、缺乏融通,价值挖掘不够;
(3)维护困难:源系统或业务变更与数据不同步,数据质量难保障;
(4)时效性差:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据批量计算晚、实时性不够且范围窄、即时查询返回结果慢等。

针对上述问题,阿里巴巴内部大数据团队—阿里数据进行了探索、实践,将经验沉淀为方法论、工具,并从实际场景出发、不断迭代,逐渐形成了一套阿里巴巴大数据能力的框架,进而推动阿里巴巴数据中台的建设。其中阿里巴巴大数据能力的框架,则落地成为了今天的Dataphin。

2、Dataphin核心价值:保证业务数据标准化、规范化生产

Dataphin的核心价值在于数据规范定义,完全消除数据的二义性,保证业务数据标准化、规范化生产,具体而言:
(1)提高数据研发效率,标准化构建数据仓库,系统自动生产代码和调度任务;
(2)发现并提升数据价值,可视化、全链路地追踪和分析数据资产;
(3)所见即所得地用数据,自动聚合的主题数据可极大简化查询和分析代码。

image.png

3、Dataphin:助力企业智能数据构建与管理

作为PaaS层工具产品,Dataphin可以进行可视化数据建模、代码自动化生成、数据资产图谱自动化生成——通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。作为阿里大数据能力的集大成者——Dataphin也继承了阿里数据领先的技术优势:

(1)代码自动化生产的能力,新颖且具有通用性。

阿里数据团队历时8年实战打磨的OneData数据智能黑盒技术,通过智能计算与存储算法,轻松实现一站式数仓建设,产品端简单操作录入数据模型信息后,一键提交,即可获取稳定的、计算存储最优的数据生产代码与任务。

(2)降低企业数仓建设的复杂度。

Dataphin可以有效帮助降低数仓建设复杂度。通过Dataphin,数据建模研发设计与开发都能一体化完成,极大提高原有完全人工编写文档+代码的效率(可视化勾选填写后,代码和数据自动化生产),也降低企业数仓建设复杂度。同时数仓模型的知识得到沉淀,可保证后续的迭代更加系统化、自动化、可持续发展。

image.png

4、海底捞:基于Dataphin构建数据中台,实现业务数字化重构

去年,行业领先的连锁餐饮企业海底捞借助阿里研发的数据中台和业务中台重构CRM系统,成功实现了业务数字化重构。与多数公司一样,海底捞具有线上线下多个客户触达渠道。伴随着自身业务扩张快,客户的门店数量及会员数量快速增长,传统的数据加工处理和管理能力已经无法满足海底捞的业务发展需求。

在基于Dataphin快速构建企业数据中台的数据,并通过Quick BI进一步实现对会员数据的分析和挖掘,海底捞最终实现业务上千人千面的个性化推荐。而这一体系化的业务数字化重构,只用了不到3个月的时间。

在构建海底捞自身的数据中台过程中,Dataphin助力海底捞实现了:

(1)多源异构的数据上云:多种渠道、多种类型的业务数据库中的数据,同步至云上,源数据得到最大化集中与丰富;
(2)数据规范定义和数仓研发:通过可视化、标准化配置会员等主题逻辑模型,自动化生成物理模型和代码脚本,保证数据规范性,同时提高数据研发效率;
(3)标签体系的快速构建:结合Quick BI,完成标签设计、生产、分析、展现,偏好类标签自助构建和消费;
(4)数据资产管理和元数据查询:基于标准化构建沉淀的高质量数据资产,如会员主题数据,可视化地分析和管理数据资产,快速便捷地查询元数据详情及使用数据。(点击阅读原文,了解更多媒体报道海底捞超级APP背后的技术合作)

对企业来说,Dataphin是企业数据中台构建的核心组成部分。它可以满足希望用数据智能驱动业务的需求,既包括IT侧有数据湖,数据仓库,消费者数据平台(CDP)等系统建设,更包括通过系统化搭建数据中台体系全方位助力业务。

目前,Dataphin已经应用于零售、传媒、地产、金融等行业。现在,Dataphin已上线阿里云官网,支持公共云客户订购使用。未来,Dataphin将持续不断将阿里中台体系的最佳实践转化为产品能力,快速迭代升级,坚持致力于协助各行各业的企业完成数字化转型,开启数据智能的新时代。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
人工智能 数据管理 Serverless
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
434 2
|
3月前
|
人工智能 运维 Cloud Native
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
184 2
|
2月前
|
存储 分布式计算 关系型数据库
Dataphin中如何使用Hologres外表查询MaxCompute
Hologres支持通过创建外部表来加速MaxCompute数据的查询,此方法用户直接在Hologres环境中访问和分析存储在MaxCompute中的数据,从而提高查询效率并简化数据处理流程。本文将介绍在 Dataphin 产品中如何实现这一操作。
127 1
|
1月前
|
人工智能 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态。分布式计算框架 MaxFrame 支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据,100%兼容 Pandas 且自动分布式,与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。
183 7
|
3月前
|
人工智能 数据管理 大数据
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
84 2
|
2月前
|
存储 分布式计算 专有云
MaxCompute产品使用问题之阿里公有云的数据如何迁移到阿里专有云
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
41 10
|
3月前
|
人工智能 运维 数据管理
阿里云数据库走向Serverless与AI驱动的一站式数据平台
阿里云数据库走向Serverless与AI驱动的一站式数据平台
309 2
|
3月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。

相关产品

  • 智能数据建设与治理 Dataphin