行在说 | 云+端的整体技术架构才符合企业中台战略需要

简介: 因为中台它不仅仅是一个技术,其实更多的是一个业务,如果中台只讲技术,不讲业务,都是大忽悠。

5月23-24日,亚太地区最具商业价值的B2B交流平台,Smart Retail 2019智慧零售数字化转型峰会在上海召开。会议聚焦如何帮助零售商和品牌商通过数字化革命驱动销售收入、ROI增长以及消费者体验提升,超过300位来自大中小型零售商和品牌商的高层代表出席。

本次会议,奇点云创始人兼CEO张金银(行在)带来关于“企业中台战略”的演讲。从阿里大数据的进化之路,聚焦如何构建新时代下的中台技术架构,以奇点云服务的实战案例,探讨中台在企业服务的应用。

_

(行在Smart Retail演讲现场 )

以下是演讲全文:

各位现场的嘉宾上午好!

我是曾在阿里扎根12年的老技术人,04年以“数据仓库专家”的身份加入阿里,16年从阿里出来创立了奇点云。12年实际上是一个很长的职业生涯,我做的技术都是和人工智能、大数据相关。总结起来,我也就做了三件“重要”的事。为什么要定义为重要?因为这侧面可以看到阿里巴巴大数据的发展路径。

「第一件事,负责搭建阿里巴巴的第一个数据仓库。」

最早以前没有数据中台的概念,只有数仓的概念。04年淘宝刚成立,当时淘宝网站这样的业务系统是偏后台的,数据这块偏弱,因为没有成熟的数仓,没有成熟的大数据平台,阿里的同事熬了一个通宵从前端的业务系统里把马总想要的数据抽出来写成一个脚本,然后放到业务的数据库里,这个过程是十分煎熬和耗时。其实For业务系统的和For分析系统的是两回事。因为他的底层设计的架构不太一样,一个要保证高并发 一个要保证跑批的效率 ,于是04年的时候负责搭建阿里巴巴的第一个数据仓库,那时候就让阿里前台业务系统和后台数据系统分开,这样在跑报表的时候,不会影响淘宝网站、聚划算、天猫等业务系统的稳定性。

「第二件事,做了TCIF(淘宝消费者信息库)。」

这是一件很重要的事情,就是把阿里所有的消费者信息整合打通,现在TCIF是整个阿里巴巴数据应用的基础设施,例如广告、推荐、个性化,这些都是基于TCIF之上做的。

阿里从最早以前的单个业务发展到200多个BU ,每个BU就是一个子公司, 例如淘宝、天猫都叫一个BU ,阿里最早B2B,后来2C ,每个BU都有消费者的一些相关信息,以前各个BU都是烟囱式的建设,消费者的信息是不通的,后来我们就起个很大的项目就是TCIF,200多个BU的消费者信息能够打通、沉淀、融合在一起。

由于各个BU各自为战,而业务当时需要把这些分散的人的数据集中起来,进行人群画像。比如说数据的标签化,背后就有投入产出比的考量:通过标签,广告主可以非常方便快捷地去建立自己的人群包,实现精准营销,同时投放的ROI也是可见的、透明的,广告主可以自己去评估数据资产的使用情况。道理很明白,人群画像越清晰,服务就会越精准。

再说我们是怎么做的。

·首先,定义埋点规范,同一个人就用同一个标识,ID打通,也就是所谓的One ID;

·其次,还会碰上一家人使用一个登录帐号的问题,那么就需要建立同人的数据模型,通过一些方式,比如,IP网段是不是一样,来分辨出具体的那个人,建立AID(Alibaba ID);

·再次,每个人还有各种网络行为,要如何把这些行为结构化,装到各种框架里面?这个特别难,我们当时主要是跟人类学家合作,一起把行为的分类树做出来。这个分类树非常细,甚至能够把一个人的发质都结构化了。接下来,就需要通过算法模型,把所有的标签都贴回到人上面。

·最后,比如阿里妈妈的达摩盘就会把这些标签提供给广告主,让广告主能够通过标签去建立人群画像,进行人群细分,以及建立投放用的人群包。

「第三个事,在阿里云数加内部创业,负责基础平台的外化。」

这也算是一次创业,只不过是在阿里内部,将阿里整个大数据平台做了个外化,让阿里的客户也能很好使用。

2009年对阿里巴巴是一个很重要的时刻,因为确认了一个重大的愿景:未来,阿里这家公司是一个数据公司,也就是现在的阿里云。但当时马总召集大家开会宣布时,我们听的都很懵逼,因为觉得我们的电商业务如日中天,为什么是一家数据公司?

好在阿里执行力特别强,虽然不懂也会去执行,所以在09年成立了阿里云。

2015年数加创业小组在云栖小镇成立,因为淘宝商城和淘宝完全独立,除了会员数据之外,所有的系统都是独立的,包括商品、交易、积分、商品管理甚至还有论坛全部是独立的两套体系。在淘宝上注册一个账号,在淘宝商城上还需另外注册一个,面对消费者的体验很不友好。后来起了个叫五彩石的项目,五彩石的项目最重要的就是解决两个问题,把烟囱式的建设变成平台式的建设,统一由一个平台部门来建,然后大家连到上面就可以,一个能够支持前面的会员用一个账号去登录,另一个更重要的就是把会员的信息打通,还有一个最关键的就是让前面的业务创新,变得更加容易。

2014年到2015年,因为有两套技术体系并立,所以阿里内部做了一个决定就是将整个技术体系进行统一,所以启动了“登月”计划。现在MaxCompute开始对内支撑所有的业务,并且也开始对外提供服务。多集群扩展到超过万台,并且开始全球化的部署。

经历了阿里巴巴的大数据之路后,2016年底离职阿里,当时大数据和AI领域有很有大的机会,在云计算和大数据领域拥有非常深厚的技术积淀和实战积累,这么好的机会应该出来创业,毕竟没有创过业的人生是不完整的,所以就自己出来创立了奇点云,进入到自己大数据生涯的第三个阶段。

考察了很多实体经济后,我们认为在线下做大数据和AI,除了做“云”还必须做“端”,主要是想先解决“数据有无”,再解决“数据使用更优”的问题。所以头一年我们研发了很多智能端,弥补线下数据采集的空白。采用了视觉计算获取线下人货场数据,而且我认为,未来90%的数据都来自于视图声(视频、图像、声音)的非结构化数据,这些数据需要视觉计算技术、图像解析的引擎+视频解析的引擎+音频解析的引擎来转换成结构化数据。而奇点云的视觉算法,可通过智能终端自动化采集数据,并用视图声解析引擎将这些非结构化数据转换成高价值的结构化数据,让数据更全面。所以,所有视觉计算的AI公司都应该是大数据公司。

现在市场上号称做数据中台的服务商都只是给客户提供一个工具平台,但是并不能真正解决客户的痛点。我们坚信未来DT架构,就应该是两云一端。最底层包含人脸识别、智能IOT、互联网技术等,基于这些技术之上,支持客户去建设他的业务中台和数据中台,这样的话就能够让前面这一个“端”跑得更快。那这个端可以是任何一个可以和用户发生连接的触点,比如小程序、APP、 网站、门店pos、或者一个呼叫中心、甚至是每一个你面前的智能硬件。这是符合未来趋势的技术架构,能够很快的响应前端快速去创新,并且端上的数据能够沉淀到云上,然后能够去丰富这个云,云再把这些结果赋能到端上去,能够让这个端变得越来越智能。

举个例子,以前消费者去转账,他需要到银行去排队,现在他习惯了就在手机上转账 。但这两个发生的行为,实际上对整个技术的架构,要求是完全不一样的。银行转账,从技术的角度它的并发是可控。因为银行的窗口操办业务,一分钟处理多少笔交易是可控的,而在网上,在手机端、在APP上、在小程序上做转账,这个对我们来说就完全不可控。因为不知道有多少人同时会去做这件事情,所以你必须要把从传统的IOE的架构变成一个分布式的架构。

还有很多人会问中台和传统软件的关系,企业级管理系统比如ERP、CRM等,实际上它更多的是解决企业内部管理效率的问题,中台解决的是前台创新的问题,中台就是为了前台而生的,所以你一定要把这些中台建起来,这样才能够让你的前端业务更好的创新。

我讲两个奇点云曾经服务过的案例,有一个服饰行业内有名的企业找到我们,他有2000家门店,每个门店大概能容纳200个sku,而它工厂有2000个sku,那么问题来了, 我到底哪一家门店摆哪200款sku呢?这个从2000款怎么来挑呢?这实际上在我看来也是一个算法和技术的问题,我们就要把他的门店和他的货品以及进入这个门店周围的消费者做一个画像,把他的货品做个画像,然后把它做精准的去做匹配,就是能够直接帮他们的营收提升这个1—2个点,现在我们还是在不停的去优化这个模型。

另外的一个客户,是亲橙里一家线下服饰淘品牌,为了采集线下门店的数据,我们在这家店布置了多个智能硬件,比如无感的摄像头、奇点魔柜、奇点魔镜……这样会产生一个什么结果呢?就如我刚刚说的,智能硬件能够把店内所有数据像线上一样把它完全“画”出来,知道多少人来了这家店,知道多少人成为会员,然后多少人是新客,多少人是老客,然后这些人最终购买多少,所以整条链路都可以画出来,这样的数据呈现到商家面前,他们才知道应该在什么地方去改进,改进哪个环节。所以它就会变成一个闭环,变成一个可以优化的东西。

基于以上,企业中台战略我建议三步走:第一,战略共识,首先中台是高层应有的共识,这个很重要。这事一定是CEO的工程,而不是一个CTO或CIO工程;第二,组织变革,它的组织一定要变成一个“大中台,小前台”的结构,这样能够支撑前台的端更好的创新;第三、两云一端的技术架构改造,通过底层的技术支撑,我们一定要让中台建起来,并且让前台端能够通过智能硬件,做好数据的回流,做好数据的采集,这样能够端丰富云,云赋能端。因为中台它不仅仅是一个技术,其实更多的是一个业务,如果中台只讲技术,不讲业务,都是大忽悠。

最后,我强调一个观点,我觉得没有数字化和智能化的企业是没有未来的,消费者在变,商业在变,需要有一个足够支撑业务系统的技术架构(两云一端),这样你的企业才能跑的足够快。好,谢谢大家聆听。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【2月更文挑战第31天】 随着数字化转型的加速,云原生技术已经成为推动企业IT架构现代化的关键力量。本文深入探讨了云原生架构的核心组件、实施策略以及面临的主要挑战。通过分析容器化、微服务、DevOps和持续集成/持续部署(CI/CD)等关键技术,揭示了如何利用这些技术实现敏捷性、可扩展性和弹性。同时,文章还讨论了企业在采纳云原生实践中可能遇到的安全性、复杂性和文化适应性问题,并提供了解决这些问题的策略和建议。
|
2月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
30天前
|
运维 Cloud Native 持续交付
云原生架构的未来演进:打造灵活、高效的企业IT基础
随着数字化转型的不断深入,企业的IT基础设施正经历着从传统架构向云原生架构的根本转变。本文将探讨云原生技术的最新发展趋势,分析其在提高业务敏捷性、降低运维成本以及促进技术创新方面的关键作用。我们将重点讨论如何借助容器化、微服务、DevOps和持续交付等核心技术,构建一个能够适应快速变化市场需求的云原生生态系统。通过实际案例分析,揭示企业在迁移到云原生架构过程中面临的挑战与解决策略,为读者呈现一幅云原生技术赋能企业未来的蓝图。
|
11月前
|
安全 架构师
【企业架构】什么是 TOGAF? 企业架构方法论
【企业架构】什么是 TOGAF? 企业架构方法论
|
15天前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【4月更文挑战第10天】 随着数字化转型的不断深入,企业对信息技术基础设施的要求日益提高。云原生架构作为一种新兴的设计理念和技术集合,以其灵活性、可扩展性和容错性,正在成为推动企业技术革新的关键力量。本文将探讨云原生技术的核心组件、实施策略以及面临的主要挑战,并分析如何通过采纳云原生架构来优化业务流程和提升服务效率。
|
1月前
|
Cloud Native 安全 Devops
构建未来:云原生架构在现代企业中的应用与挑战
【2月更文挑战第30天】 随着数字化转型的深入,企业正迅速采纳云原生技术以适应不断变化的市场环境。本文探讨了云原生架构的关键组成部分,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,并分析了它们如何促进企业的敏捷性和可扩展性。同时,文章也识别了企业在采用云原生技术时面临的安全、文化和技术挑战,并提出了相应的解决策略,以帮助企业在云时代保持竞争力。
|
4月前
|
安全 网络架构
对转发路由器TR在企业云上网络架构规划中的使用体验测评
对转发路由器TR在企业云上网络架构规划中的使用体验测评
432 3
|
7月前
|
弹性计算 网络协议 数据库
弹性计算Clouder认证:企业级云上网络构建——课时8:企业网络架构最佳实践
弹性计算Clouder认证:企业级云上网络构建——课时8:企业网络架构最佳实践
104 0
|
9月前
|
Kubernetes Cloud Native 应用服务中间件
对比 5 个开源网关项目,这家 SaaS 企业如何统一网关架构
对比 5 个开源网关项目,这家 SaaS 企业如何统一网关架构
44389 10