为什么说阿里巴巴本身是云上数据中台的最佳实践

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
智能商业分析 Quick BI,专业版 50license 1个月
简介: 数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品部门里面一个老大,带大家来一探究竟。

作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品部门里面一个老大,带大家来一探究竟。

刚一开头,老大就陷入沉思,沉重的说:“数据技术及产品部门在阿里巴巴集团其实已走过16个年头,掌管着全集团的数据资产,那么多年的积累,帮助阿里建立起了一套完整的数据体系,对业务有全面的支撑。”整个数据中台从基础设施,基础数据技术起步,到数据资产管理;从内部的数据挖掘到体系规范、标准、流程和体系制定;外部产出从数据可视化技术到数据应用,使得内部的小二从方方面面都感受到数据中台的真实存在。

数据技术及产品部门历史

说到数据中台不能不说阿里的底层基础架构的扎实程度,数据中台基于阿里云的基础设施,使用了Maxcompute大数据平台、Analysis database、HBase、ECS等基础组件,基于这些基础组件之上,数据技术及产品部门的智慧工程师们开发了数据资产,它管理着全域大数据,统一的数据建设、管理、服务,服务阿里外部千万用户和内部业务给全集团小二们方便使用全集团的数据,当然这些都有严格的安全和权限管理哦,只有有需要的小二才可以看到和使用哦!

数据技术及产品部门汇集了各种数据,因此数据官们开发了各种各样的数据技术帮助业务部门实现快速而准确的数据,大家耳熟能详的oneID技术、反作弊技术、牛逼的双十一实时计算大屏技术等都是数据技术及产品部门小二们开发的哦,非常赞的科技!这些牛逼的技术帮助阿里实现了各种场景的对外和对内的数据应用,数据挖掘技术产出帮助阿里小二们更好的对业务作出判断,实现更好的营销,对外赋能生意参谋产品,使得商家对天猫和淘宝小店的业主们了解自己的生意,生意参谋通过生意背后一盘数据的数据产品服务。基于全渠道数据融合、全链路数据产品集成,为商家提供数据披露、分析、诊断、建议、优化、预测等一站式数据产品服务。目前,生意参谋服务的商家已经超过2000万,月服务商家超过600万;在月成交额30万元以上的商家中,逾90%在使用生意参谋,这可是一个非常高的比例喔!
image

生意参谋截图

得益于阿里巴巴生态和业务体系,阿里数据沉淀了包括电商交易、搜索、物流、支付、广告、风控、移动、视频等种类多样的高质量数据,因此产生了各种数据应用为不同的部门和外部客户提供各种数据服务,采访领导讲,这些应用实在太多了,有为公司高管决策服务的数据挖掘分析产品;有为品牌厂商提供人群分析的品牌银行数据服务;有为集团服务的OneID查询,通过算法和深度挖掘实现的人群画像服务;为其他部门Web或App端开发规范和数据采集的数据埋点和采集系统;甚至还有为阿里云的用户实现敏捷报表开发的QuickBI产品…,哎呀呀,什么生意参谋、quickBI,Dataphin、FBI、可视化埋点、品牌银行、企业参谋,数据质量,数据资产…巴拉巴拉几十个名字,一大串数据产品名字,小编快记不过来,临了领导还提醒小编要保密哦。不过最后小编看到一个叫阿里数据的产品,印象深刻,这可真是一个宝贝,让小编有”一机在手,全盘掌握”的感觉。

很多人都以为数据技术及产品部门是一个ETL或数据处理部门,其实数据技术及产品部门大部分人都是码农哦,他们用最新的技术打造最好用的数据,大家都知道开源的流处理Flink吧,它是流处理技术的后期之秀哦,现在看几乎已经要打败sparkstreaming,storm等前辈,之所以被码农们普遍接受,很重要一点就是阿里的工程师在flink上实现了SQL编程,贡献给社区,让流计算开发变得简单、易用。这些阿里贡献给社区的还有很多,比如DataX,Hadoop等,另一块大家看的眼馋的是数据可视化技术、阿里利用最新的Web端技术、2D、3D的自由发挥,大规模的数据量绘制,借助图形化手段,清晰有效的出阿达数据意义,这块在阿里双十一零点那刻发挥的淋漓尽致。
image

双11全球狂欢节数据屏

数据技术及产品部门不仅数据应用和数据产品做得好,阿里还非常重视体系,组织和标准化的建设,你要知道阿里巴巴是一个10万人的大经济体,阿里的数据服务涵盖所有部门,因此标准、数据规范、采、建、管、控、用的流程非常重要,需要有一个体系,一整套标准来保障阿里数据运行和业务发展,这套标准体系可是阿里的宝贝,不轻易对外的。

数据技术及产品部门除了产品做的好、数据质量高外,也不是一个封闭固步自封的小团体,他还非常重视数据生态圈建设,以开放、分享、赋能为己任,以开放、分享的心态,将阿里在大数据上沉淀多年的经验和能力,赋予阿里外部千万用户和内部业务,帮助商家、中小创业者、传统企业等共同发展、繁荣,与很多院校建立了联系,部分成果开源社区,让大家来分享大家的成功,如果大家想也建设一套数据中台,可以看一下Dataphin、QuickBI、企业参谋、可视化埋点采集系统,这些都是数据技术及产品部门通过阿里云输出的标准产品,海底捞,飞鹤、南方航空、大润发等一大波企业已经在用了哦!

除了基础、技术、产品、数据、标准外,数据技术及产品部门形成一套数据中台方法论体系,OneData数据中台是其中一个高度概括,它解决了IT部门数据开发的高人力成本、数据错误、浪费资源、杂乱无章、效率低下等这些经常出现的问题,OneData都能轻松解决,说到这里,小编觉得其实外面说的大数据平台落地难,实施难其实最缺乏的就是阿里的OneData数据中台啊!

总之,数据技术及产品部门依托于丰富的数据资产和强大的技术能力和对数据分析、挖掘能力,充分应用到实际业务中。通过算法,深度挖掘人群画像等,并沉淀出一系列优质数据,为阿里的业务创新应用提供数据决策基础和依据。为阿里发挥大数据的价值奠定坚实基础。

结尾: [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
· Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
1月前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
18天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了一种结合知识图谱与大型语言模型(LLM)的GraphRAG系统,利用PolarDB、通义千问及LangChain实现。知识图谱通过结构化信息、语义理解和推理等功能,增强了信息检索与自然语言处理效果。PolarDB具备图引擎与向量检索能力,适配知识图谱存储与查询。通义千问处理自然语言,LangChain则整合模型与应用。实战步骤包括环境准备、数据库配置与数据导入,并通过实例展示了图谱与向量联合检索的优越性,提升了问答系统的准确性和实用性。
|
存储 缓存 监控
电商 SaaS 全渠道实时数据中台最佳实践
聚水潭数据专家张成玉,聚水潭高级数据工程师应圣楚,在 FFA 2022 行业案例专场的分享。
电商 SaaS 全渠道实时数据中台最佳实践
|
分布式计算 MaxCompute
《图书行业基于MaxCompute构建数据中台的最佳实践》电子版地址
图书行业基于MaxCompute构建数据中台的最佳实践
141 0
《图书行业基于MaxCompute构建数据中台的最佳实践》电子版地址
|
数据采集 机器学习/深度学习 运维
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
1216 0
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
|
存储 数据采集 人工智能
数据中台的智能进化—阿里巴巴十二年数据平台发展历程
从2016年诞生起,“中台”概念就一路火热至今,对互联网与金融行业数字化转型产生了极为深远的影响。 作为“中台”概念的提出者和先行者,阿里巴巴用12年的实践探索了中台能力建设和数据应用。在不断升级和重构的过程中,阿里巴巴的中台建设经历了从分散的数据分析到数据中台化能力整合,再到全局数据智能化的时代。
9053 7
数据中台的智能进化—阿里巴巴十二年数据平台发展历程
|
存储 分布式计算 监控
每年节约数亿元大数据成本,阿里巴巴数据中台成本治理怎么做的?
大数据环境下,数据的存储和计算成本一直居高不下,是每一个企业数字化转型过程中的都会遇到的难题。阿里巴巴作为业内领先的数据智能公司,也遇到过类似的问题,但是凭借着领先的方法论和产品,阿里巴巴每年能够节约数亿元的存储和计算成本。本篇,我们就来聊聊阿里巴巴的资源优化方法论和Dataphin的资源治理和优化能力。
每年节约数亿元大数据成本,阿里巴巴数据中台成本治理怎么做的?
|
存储 分布式计算 运维
钱大妈数据中台建设最佳实践
钱大妈数据中台建设最佳实践
7884 1
钱大妈数据中台建设最佳实践
|
新零售 供应链 安全
《阿里巴巴数据中台实践》论坛亮相2021云栖大会,6个内部案例首次公开分享
在2021年10月22日云栖大会的《阿里巴巴数据中台实践》论坛现场,6位资深阿里巴巴专家首次公开分享了其在阿里内部进行数据中台价值交付的成功经验,可供企业在进行数据中台构建及应用的进程中借鉴应用。
《阿里巴巴数据中台实践》论坛亮相2021云栖大会,6个内部案例首次公开分享