可闭环、可沉淀、可持续的企业级数据赋能体系

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
智能商业分析 Quick BI,专业版 50license 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 友盟+首席产品官林鸣晖围绕业务数据化,数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据赋能体系进行分享,基于智能数据采集(U-SDC),用户数据平台(U-CDP),数据开放平台(U-DOP)探讨如何建立企业的数据银行。

简介: 对于所有企业来说,数据决定了基于算力、算法等能做出哪些场景和应用。在本次首席技术官大数据专享会上,友盟+首席产品官林鸣晖围绕业务数据化,数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据赋能体系进行分享,基于智能数据采集(U-SDC),用户数据平台(U-CDP),数据开放平台(U-DOP)探讨如何建立企业的数据银行。

一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景

1.数据“四化”

如何让属于企业自己的不同触点的数据快速形成一个闭环,沉淀串联这些零散的数据能够快速应用去赋能业务?这涉及到四个关键词,一是业务数据化,企业所有触点是否为真,是否被打通。第二是数据资产化,能否可以像管理资产一样很好地管理数据。第三是资产应用化,企业的资产能否有效应用?如何借助数据资产赋能业务,最后是应用价值化。所有的应用最终一定是为增长、为获客而服务,必须要有价值。在这背后最重要的是场景必须可闭环,数据必须可沉淀,最终数据中台、数据能源才是可持续的。

2.构建可闭环、可沉淀的数据赋能体系的意义与价值

下图展示了一套可闭环、可沉淀、可持续的企业级数据赋能体系是如何构建的。下图友盟+会推出一个面向企业的数据银行。数据银行和业务是一种什么样的协作关系?开发者数据银行会基于云基础设施,如MaxComput等,不断帮助企业采集各种场景、触点的数据,做相应的数据治理、提纯、模型加工、形成各种应用服务,基于UMID打通能力,多账号归一,多端归一,支持不同的终端数据打通(移动客户端、服务端、客户端不同的平台), 帮助开发者完成全场景、全触点的数据资产沉淀及应用的管理。

image

关于跨端用户运营会涉及两个问题,首先,公司每一次在媒体外投的数据是否已经回流?回流后是否能够对数据进行第二次应用?第二,通过你的营销是否将用户沉淀至用户池,跨端的用户是否有效运营起来了?其实除了营销,企业会有很多用户触点,如头条号、微博、抖音号等,用户资产的数据必须打通后才能发挥真正的价值,如果你在做你的搜索推荐,那么除了先进的模型算法之外,你的公司是否有数据底座,是否在收集回流归一各个触点的用户行为数据,并喂养给你的搜索引擎让它越来越智能;比如:此前投过广告的数据下次进行搜索时,你就应该推荐客户之前看过相关广告的内容。

二、开发者数据银行

每一家公司都需要构建属于自己的数据银行。比如在阿里巴巴的生态体系内,阿里在双11当天有上百万商家卖货,很多品牌商家都在阿里构建数据银行。同样,友盟+在数据智能服务领域已深耕九年,凭借服务百万家互联网企业的经验,面向开发者推出开发者数据银行,与MaxCompute形成一套核心解决方案服务用户。数据银行需要解决几个问题:第一,数据银行解决数据资产的管理和应用的问题,可以用采、建、管、用四个字来表达。首先是业务数据化和数据资产化,如何采集数据,并快速将端的数据形成数据资产。其次是资产应用,形成多种消息的推送,营销的拉新,包括App的推送,各种运营推荐,都是在数据银行上能够提供的服务。

数据银行包括三类产品,从三个角度帮助用户解决问题。如下图所示,第一个产品是智能数据采集(U-SDC),第二个用户数据平台(U-CDP),帮助企业沉淀数据资产,高效服务业务部门、运营团队、市场等团队。第三个是数据开放平台(U-DOP),将采集到的数据通过友盟云之上与业务数据进行融合、分析,更全面的洞察用户,更场景化的应用数据。

image

1、智能数据采集(U-SDC)

无论AI或者智能引擎产品,本质是数据生产和采集。采集是数据质量的根本,数据采集的效率质量和效益都至关重要。数据采集工作需要关注是否全面掌控了公司的数据埋点?是否清楚某个场景应如何埋点?埋点后会产生什么样的数据?所埋的点是否正确有效?埋点是个长期运行的动作,需要不断验证埋点是否健康,最后一点回归到根本性的问题,如果埋点是错的,那么叠加的AI智能等所有内容也都会是错的。

image

管理埋点:埋点在大数据领域属于脏活累活,很多人不愿意做。常见的情况往往到了产品上线,需要使用数据的时候开始催促埋点。所以一家公司的埋点是否有人搞清楚?是否清楚这么多的埋点中哪些埋点正确,哪些异常?很多企业是不清楚的,这是一个残酷的现实。这是一个非常实际的问题,如果公司长期不清楚自己的埋点问题,便是在错误的数据上长期持续经营业务,越走越错。

image

埋点智能方案推荐:某家视频行业领域的公司的有两个团队,分别负责直播不同频道的业务,两个团队都会定义一些公司的埋点规范。但是数据规范性在两个团队不一致,如视频播放开始,A团队定义埋点全局参数叫Play,代表播放开始事件,B团队将其定义为Start。两个团队并不知道两个数据定义都不一致。案例中的问题看似不严重,但后续会发现公司数据不可持续,此时不论利用什么工具都不能解决问题。对于公司数据的管理一定要基于对业务场景的深刻理解,对业务场景进行标准、规范的定义。友盟+通过更多标准化的场景,包括为不同行业提供标准的埋点方案推荐来解决用户问题。友盟+聚合了非常多比较优秀的企业的实践,告诉用户如何埋点,埋点后能够解决哪些场景问题,同时会提供各种各样埋点智能推荐,针对技术团队沉淀公司基于场景的埋点解决方案的知识图谱。

image

智能埋点与智能验证:开发做埋点是通过SDK代码,上报数据,后台打印日志。但并不意味数据上报则完成了埋点。如开发者直接将一个启动的日志埋在登录页面,突然有一天发现登陆数高于页面访问数近一倍。原因是该点同时被埋到了退出页面的加载进程中。即开发者错将一个点埋到两个位置。友盟+希望能够提供各种智能验证工具,比如当埋点上报时,会为开发者提供一个服务,如果埋点命名为“启动”,会有一系列的智能检测该埋点上报时所在的页面截图是否为正确的业务场景位置。智能埋点及其验证测试是非常重要的,友盟+会通过视觉切图计算验证埋点的正确性,为技术团队大幅减轻工作成本和压力。

image

埋点健康度一键体检:当埋点全部完成,公司要做埋点健康度的验证,检查埋点是否符合规范,是否有异常点。埋点健康度是公司数据采集准确性的底座保证。数据团队和做客户端的开发团队经常会因为埋点问题产生矛盾。数据团队觉得数据有问题时一般归责为埋点问题,开发团队也会认为是数据团队配合问题。埋点的KPI就是先让埋点可视化,看到是由谁埋了哪个点,运行情况是否出现问题,是否按照规范埋点。如果埋点的规范度没有达到一定程度,团队是否应该承担责任?因此需要从管理角度、从组织层面以及产品能力层面解决公司埋点和采集的核心问题。

数据银行采集平台(U-SDC)会重点解决以上几个核心问题,使用户埋点可见、可控、可管,为用户埋点推荐合适的优秀方案,使用户埋点能够智能调试和验证,大幅降低埋点采集的成本,从而最终达成数据质量的根本性提升,使最终保存的数据资产有价值有质量。

image

2. 用户数据平台(U-CDP)

数据采集之后,最重要的是解决用户资产问题。首先,用户资产管理一定要解决的问题是可信和归一。数据做了很多触点,每个请求在访问APP,其中很多是作弊的或受欺诈的流量,如何保证设备是可信的?基于UMID打通能力,多账号归一,多端归一,支持不同的终端数据打通(移动客户端、服务端、客户端不同的平台)的流转换关系洞察,归一完成后形成自动的标签生产库,使得私域的标签生产保持高效,并且能够赋能到业务团队,快速做标签、洞察、圈人,并且最终形成对客户的运营动作。

image

是否清楚自己的用户资产:用户数据平台(U-CDP)支持多源数据如何在很短时间一键接入平台,如移动客户端、服务端、客户端等源头。U-CDP保证可信识别和多端归一,通过全域数据识别,帮助用户做数据归一和提纯,过滤垃圾,反作弊。识别打通后最终形成用户资产可视化,清楚公司触点来源,了解多少私域用户被沉淀下来。清楚上述问题再分析需要建哪些触点,需要增强哪些触点。最终沉淀下来的才真正是自己的私域数据资产。沉淀私域用户资产的一个前提是可运营,若不可运营、不可见,那么数据是无用的。

image

用户的标签管理库,配置即生产:业务团队总是对技术团队不满意,当运营团队要做一个活动,需要按照业务场景准备物料,准备活动的页面,还要再按照规则圈到一群想要触达的内存,然后对其进行运营。上述需求需要先和产品经理提需求,产品经理再去和算法、技术团队沟通然后写PRD,再等待几天将活动开发上线。往往流程特别长,完全无法满足运营团队快速迭代、快速试错、快速运营客户的诉求。而运营团队的需求并没有那么复杂,如运营团队只是想给最近30天访问过APP、看过小程序,同时这两天被广告命中的那部分人一个红包,但是很多企业面临技术排期。

运营团队感到不满,技术团队也缺少成就感,因为每天的工作基本是跑SQL等繁琐零碎的事情。企业需要思考的问题是如何高效解决上述生产场景。友盟+希望数据银行提供预置私域标签的生产,不需要技团队做过多事,只需要将埋点做好。所有产品要去支持运营,能够在平台上面快速配置,快速生产,赋能业务团队,预置私域标签,配置即生产。此外,友盟+数据银行会提供一个不同的能力,既全域标签。私域标签只对客户进行圈选和洞察,友盟+会额外加持全域标签,告知不同用户的兴趣方向,从更多的维度去洞察和圈选用户。友盟+未来计划与其它企业联合建立一个标签实验室,贡献双方不同的数据,通过融合计算得出更好的标签效果以服务不同企业。

image

预置分析模型,自定义报告结构:运营团队只需要预置分析模型,做交、并、差的各种组合,做各种洞察,洞察完成后保存自己的人群包,即可快速复用到每一个业务的运营和活动之中。自定义私域人群细分体系埋点完成后,在友盟云上采用MaxCompute数据仓库的方案,自动汇聚成一个人在多个端每一天的行为,自动形成用户的档案序列,自动配置完成。只要埋点是正确的,运营团队马上可以完成私域人群细分。友盟+希望把上述的轻量方案应用到解决实际生产中的各种各样支撑的问题。

image

多种组合模式,找到想找的人:如某装修建材公司,有一个Web网站,起初是通过Web网站以及QQ与客户联络。后面该公司又发展了APP和小程序的团队。客户可能同时出现在三处,问题时数据不互通,并且组织是分开运营的。其实本质问题是能否在APP端快速发现小程序的客户,再去客户端做投放,运营和回流。友盟+结合多种模式,无需等排期,帮助运营能找到合适的人。

image

多种通道触达、互动效果追踪:U-CDP支持多种通道,无论是短信、EDM、还是APP的消息等都可以对接,所有的运营效果都可以实时可见。友盟+CDP本质上是和技术团队一起赋能业务团队,解决业务团队的效率问题,并增强业务团队运营能力,并沉淀下来用户数据资产。

image

3.数据开放平台(U-DOP)

友盟+采集数据后将采集的数据与客户的数据进行融合,通过与MaxCompute进行云端的无缝对接,支持更大力度的开放返还。

image

一键数据包订阅返还:如下图所示,友盟云采集帮助客户快速采集移动客户端、服务端、客户端不同的平台等数据。如果客户自行加工单一的上述事情,处理时间会非常就且最终质量难以保证。基于UMID打通能力,多账号归一,多端归一,支持不同的终端数据打通,友盟+帮助客户做好加工,生成不同的数据包,只要客户使用SDK,数据包自动生成,自动将数据传送到MaxCompute中。然后可以借助DataWorks、DataV、QuickBI与客户的数据做数据融合,极大地降低成本。客户使用的不再是原始数据,而是经过友盟+加工处理过的数据。之后,用户就可以专注于业务产品的开发,业务场景的赋能,把精力放到业务创新而非原始的加工工作上。

image

友盟+和MaxCompute云上数据仓库无缝对接,不仅可以提升处理性能,还可以增强使用的简易和便利性。友盟+会为用户预置好所有模型包、模型表,并且打通数据,数据即开即用。

image

QuickBI智能数据分析展现:下图是一位客户做的友盟+和QuickBI智能数据分析展现。数据融合、返还后,结合MaxCompute+QuickBI,做业务人员自助分析,拖降式自助分析和在线表格的分析,与原来其它的割裂数据放到一起做大量工作,由此分析师团队的效率获得了极大的提升。

image

总结:无论企业有多么强大的容器、数据库和算法,或者要做多么智能的场景应用,一定要先回到四个关键词:第一是业务数据化,管理好采集和数据质量。第二是数据资产化,让管理层清楚的看到用户资产的具体情况,涉及多少个端,多少个触点,每天产生的数据,沉淀下多少用户。第三是资产应用化,沉淀下来的数据能够快速变成哪些应用去服务业务团队,使业务团队认为技术、数据是在促进帮助业务团队做创新,而不是业务团队等待资源去赋能。其中最根本的一套理念是必须让所有的触点和业务行为的环节能够产生场景和数据的闭环,让场景和闭环能够沉淀数据资产,只有这样才能使一个企业的数据中台可持续,数据赋能可持续,数据能源才会越用越厚,越用越好。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
27天前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
84 14
|
运维 Prometheus 监控
《2023云原生实战案例集》——01 汽车/制造——传音 基于ARMS构建全球一体化可观测平台,高效支撑业务创新
《2023云原生实战案例集》——01 汽车/制造——传音 基于ARMS构建全球一体化可观测平台,高效支撑业务创新
|
运维 供应链 负载均衡
《2023云原生实战案例集》——02 零售/电商/本地生活——震坤行 基于云原生高效提升应急供应链管理能力
《2023云原生实战案例集》——02 零售/电商/本地生活——震坤行 基于云原生高效提升应急供应链管理能力
|
Kubernetes 监控 Cloud Native
《2023云原生实战案例集》——02 零售/电商/本地生活——波司登 云原生架构升级,实现数字化业务创新
《2023云原生实战案例集》——02 零售/电商/本地生活——波司登 云原生架构升级,实现数字化业务创新
|
存储 开发框架 运维
数智洞察|云端融合时代的计算体系创新
数智洞察|云端融合时代的计算体系创新
201 0
|
运维 自然语言处理 安全
阿里云解决方案架构师张平:云原生数字化安全生产的体系建设
企业要做安全生产建设的话,核心分为两大部分:一部分是技术体系建设,一部分是服务体系建设。
阿里云解决方案架构师张平:云原生数字化安全生产的体系建设
|
人工智能 运维 监控
助力企业提升运维效率 蚂蚁数科发布业务智能可观测平台
蚂蚁数科发布业务智能可观测平台 可助力企业提升运维效率3倍以上
300 0
助力企业提升运维效率 蚂蚁数科发布业务智能可观测平台
|
分布式计算 DataWorks Cloud Native
阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新
云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。
阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新
|
存储 数据采集 运维
分析服务一体化理念解读
分析服务一体化理念解读
9366 0
分析服务一体化理念解读
|
弹性计算 运维 Cloud Native
数字化浪潮来临,如何实现业务敏捷交付和科技持续治理?揭秘蚂蚁 BizStack
2022年5月26日下午14:00-14:30,蚂蚁集团产品专家耿柳将通过直播为大家分享《探秘BizStack:一站式云原生开发和治理平台》,想了解更多有关BizStack 技术细节和最佳实践,这场线上直播不容错过!扫描二维码即可观看直播,不见不散~
385 0
数字化浪潮来临,如何实现业务敏捷交付和科技持续治理?揭秘蚂蚁 BizStack