阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 阿里云智能数据构建与管理(下简称“Dataphin”)近日重磅上线公共云,开启智能研发版本的公共云公测!

在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
经过半年时间准备,Dataphin已于2019年4月23日正式登陆阿里云公共云,以满足更广泛的客户需求。下图为Dataphin在企业数据中台的定位:

test


Dataphin,亦称智能数据构建与管理平台——旨在基于阿里巴巴中台实践中沉淀的核心方法论和技术体系,提供从数据采,建,管,用的全链路、一站式的大数据能力,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
那么Dataphin如何助力企业发掘大数据价值,完成企业数字化转型?下面让我们深度了解一下Dataphin 的前世今生。

1. Dataphin源自阿里巴巴多年的大数据实战沉淀

Dataphin是多年来阿里巴巴大数据建设的实战沉淀,重点解决了阿里巴巴集团内部数据建设过程中遇到的多种问题,比如:

(1)数据不统一:标准规范难、命名不统一、定义不统一、计算逻辑不统一,对业务响应慢;
(2)数据未打通:孤岛现象严重、缺乏融通,价值挖掘不够;
(3)维护困难:源系统或业务变更与数据不同步,数据质量难保障;
(4)时效性差:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据批量计算晚、实时性不够且范围窄、即时查询返回结果慢……
面对上述问题,阿里巴巴内部的大数据团队进行了探索、实践,将经验沉淀为方法论、工具,并从实际场景出发、不断迭代,逐渐形成了一套阿里巴巴大数据能力的框架。即三个One:OneData、OneID、OneService,进而推动阿里巴巴数据中台的建设。其中阿里巴巴大数据能力的框架,即落地成为今天的Dataphin。

2. Dataphin的核心能力

Dataphin的核心价值在于数据规范定义,完全消除数据的二义性,保证业务数据标准化、规范化生产,具体而言:
(1)提高数据研发效率,标准化构建数据仓库,系统自动生产代码和调度任务;
(2)发现并提升数据价值,可视化、全链路地追踪和分析数据资产;
(3)所见即所得地用数据,自动聚合的主题数据可极大简化查询和分析代码。

test

3. Dataphin的产品优势

(1)作为PaaS层工具产品,Dataphin可进行可视化数据建模、代码自动化生成、数据资产图谱自动化生成——通过可视化配置方式建设数据模型,提交后系统自动化生成代码,同时有一个直观的可视化资产图谱揭示数据关系、便于确定数据使用方式。
(2)Dataphin拥有代码自动化生产的能力,新颖且具有通用性。历时8年实战打磨的OneData数据智能黑盒技术,通过智能计算与存储算法,轻松实现一站式数仓建设,产品端简单操作录入数据模型信息后,一键提交,即可获取稳定的、计算存储最优的数据生产代码与任务。
(3)Dataphin降低企业数仓建设的复杂度,建模研发设计与开发一体化完成,极大提高原有完全人工编写文档+代码的效率(可视化勾选填写后,代码和数据自动化生产),也降低企业数仓建设复杂度。同时数仓模型的知识得到沉淀,可保证后续的迭代更加系统化、自动化、可持续发展。

test

4.Dataphin的应用场景及案例

某餐饮集团,该集团与多数公司一样,具有线上线下多个客户触达渠道,业务扩张快,客户的门店数量及会员数量快速增长,传统的数据加工处理和管理能力已经无法匹配业务的发展。在此情景下,客户通过阿里云对企业的业务系统和数据平台进行升级,3个月不到的时间,基于Dataphin快速构建企业数据中台的数据,并基于Quick BI进一步实现对会员数据的分析和挖掘,最终实现业务上千人千面的个性化推荐。此过程中,实现了:

(1)多源异构的数据上云:多种渠道、多种类型的业务数据库中的数据,同步至云上,源数据得到最大化集中与丰富;
(2)数据规范定义和数仓研发:通过可视化、标准化配置会员等主题逻辑模型,自动化生成物理模型和代码脚本,保证数据规范性,同时提高数据研发效率;
(3)标签体系的快速构建:结合Quick BI,完成标签设计、生产、分析、展现,偏好类标签自助构建和消费;
(4)数据资产管理和元数据查询:基于标准化构建沉淀的高质量数据资产,如会员主题数据,可视化地分析和管理数据资产,快速便捷地查询元数据详情及使用数据。

test

5. Dataphin适合什么样的客户?

前面介绍了Dataphin的前世今生后,那么它适合于什么样的企业呢?
对企业来说,Dataphin是企业数据中台构建的核心组成部分,帮助企业完成大数据的智能构建及管理,助力企业实现大数据的采集集成、加工处理、资产管理及数据服务对接于大数据应用及业务前台流程,是整个企业数据资产化及价值化实现的平台和引擎。
因此Dataphin适合所有希望用数据智能驱动业务的客户,既包括IT侧有数据湖,数据仓库,消费者数据平台(CDP)等系统建设需求的客户,更包括希望通过系统化搭建数据中台体系全方位助力业务的客户。目前已经应用于零售、传媒、地产、金融等行业。
Dataphin已上线阿里云官网,支持公共云客户订购使用。未来,Dataphin将持续不断将阿里中台体系的最佳实践转化为产品能力,快速迭代升级,坚持致力于协助各行各业的企业完成数字化转型,开启数据智能的新时代。

了解更多产品详情,请点击:https://www.aliyun.com/product/dataphin

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
587 2
|
10天前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
156 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
7天前
|
弹性计算 自然语言处理 数据库
通过阿里云Milvus和LangChain快速构建LLM问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
38 3
|
1月前
|
JSON 数据可视化 NoSQL
基于LLM Graph Transformer的知识图谱构建技术研究:LangChain框架下转换机制实践
本文介绍了LangChain的LLM Graph Transformer框架,探讨了文本到图谱转换的双模式实现机制。基于工具的模式利用结构化输出和函数调用,简化了提示工程并支持属性提取;基于提示的模式则为不支持工具调用的模型提供了备选方案。通过精确定义图谱模式(包括节点类型、关系类型及其约束),显著提升了提取结果的一致性和可靠性。LLM Graph Transformer为非结构化数据的结构化表示提供了可靠的技术方案,支持RAG应用和复杂查询处理。
129 2
基于LLM Graph Transformer的知识图谱构建技术研究:LangChain框架下转换机制实践
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
691 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
3月前
|
人工智能 自然语言处理 API
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
我们小时候都玩过乐高积木。通过堆砌各种颜色和形状的积木,我们可以构建出城堡、飞机、甚至整个城市。现在,想象一下如果有一个数字世界的乐高,我们可以用这样的“积木”来构建智能程序,这些程序能够阅读、理解和撰写文本,甚至与我们对话。这就是大型语言模型(LLM)能够做到的,比如 GPT-4,它就像是一套庞大的乐高积木套装,等待我们来发掘和搭建。
127 1
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
223 1
|
4月前
|
机器学习/深度学习 自然语言处理 算法
LangChain 构建问题之智能体协同中的决策机制的实现如何解决
LangChain 构建问题之智能体协同中的决策机制的实现如何解决
49 1
|
4月前
|
自然语言处理
LangChain 构建问题之实例化一个聊天模型如何解决
LangChain 构建问题之实例化一个聊天模型如何解决
33 1
|
4月前
|
人工智能 自然语言处理 前端开发
LangChain 构建问题之MetaGPT 和 ChatDev 的支持功能差异如何解决
LangChain 构建问题之MetaGPT 和 ChatDev 的支持功能差异如何解决
80 0