数据中台导读

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 数据中台导读

迷思
现在中台很火,拥有很多定义:

  • 有些人觉得响应浪潮,有些其它的目的,比如,引流营销,融资等,把后端业务改造下形成独特“数据中台”。
  • 有些人觉得数据中台,就是像微服务,大数据平台,Devops平台等等,诸如此类的技术平台。
  • 有些人觉得更多得从组织架构入手,类似OKR,形成管理链路,自然形成产出链路。
    如果有兴趣的朋友网上搜索能看到五花八门的语义,这种情况不禁让我想起,“汉语拼音之父”周有光教授,当时被问“网络用语对汉语文化冲击,带来一些不规范的影响”,老先生觉得,这部分只是很小一部分,经年能留下,证明有价值,很多都随着时间消亡,不会影响整体,中台也是如此,现在有很多定义,随着不断向前推进,好的架构体系,能留下对企业产生价值,不好的也就很快消亡。

企业平台化
当今互联网时代,为了快速响应用户需求,运用一系列技术手段,管理手段,为了把快速迭代。

  • 用户行为分析平台,精准获客,运用模型建模,运用闭环体系,从需求-》研发-》测试-》上线-》需求,形成循环,需求与产生联系更加紧密,产出价值。
  • 产品迭代,比如像瀑布模型,迭代模型,敏捷模型等等,也是为了快速产出价值。
    业界诸如此类经验思想很多,但是核心的不变,都是在以客户为中心,科技引领,为行业产出更多的商业价值。

中台是在这种思潮下,产生的思想体系,为企业平台化推进发展,目的不断复用业务模型,快速产出业务价值,把数据资产形成标准,类似上述提到的闭环,形成新的体系,产出价值。

国内产业很强调快,比较割裂,技术人员也不知道业务需求为什么,有的测试人员也不知道业务,只是在功能测试,而中台团队,更加偏平,在更向独立团队,类似中心化产出,供给给其他团队是由,这样公共服务,有些问题:

  • 业务模型,缺失如何快速补充。
  • 业务的职责,绩效,如何核算。
  • 得需要梳理很多产品线,如何审批业务需求。
    还有一种是产品线分割开来,每个产品线都有中台架构,这是很多老牌互联网公司都会发生的情况,那么协调数据困难,都会重复一部分服务,资源浪费,这两种情况,都是业内常见的中台实现方式,各有各的好,各有各的问题,都不是“银弹”,工程就是如此,只是运用方案解决在一定期限的问题,适合自己企业发展情况就是最好的。

平台化的思想对中台化思想是一脉相乘,在往深想像不像某种程度Hadoop平台,都是某种层面的系统,供给场景使用,这就是为什么华为会做华为鸿蒙HarmonyOS,都得为了给特殊场景使用,不仅仅业务层面在垂直领域越走越远,技术科学领域走的会更快,这样才能支持,实际场景,基础架构就是如此。

基础架构分三个层次,落后于业务,平齐与业务,有先知先觉思想发展架构,让未来战略发展更好,这就是,为什么有的企业后来被技术债压得苦苦挣扎。

目的
在数据开发的领域也干了些年,见过很多数据产生不被认可,无论是人或者数据质量,数据治理等等,都会发生业务线的底层数据支撑有问题,花费大量精力,提供人力,物力去治理数据情况,效果不理想,而中台战略,很有可能是让数据发声的关键方式,想通过

看到,想到,梳理出中台落地方式,与大家交流,本专栏不会搞很多特殊业务情形下的中台方法论,更多是通过通用方法去落地实战。

原理篇:

  • 中台起源,如何产生,为了什么,价值所在,对架构,业务,都有什么样影响等等,有脉络在才能产生更多价值,悬空起楼,最后很容易失败,技术拼的是一脉相乘,基础科学就是如此,根在方法在商业价值就在。
  • 数据湖 VS 数据仓库 VS 数据中台,多种平台区别,如何协调,有冲突?为什么会出现这几个平台。
  • 数据中台是一把手工程吗?对组织架构冲击有多大,自顶向下开展呢?还是自底向上开展?
  • 与其他大厂曝光的中台思想,我所提供的建设思想层面的异同相同之处,道路怎么走?对整个体系影响程度,对数据架构的影响程度?
    实战篇:

  • 数据治理,到底怎么治理,跟服务治理,引擎治理,有什么联系?

  • 一些元数据层面的服务建设,为什么实战开篇就提他,不提组织架构管理层面问题,数据的乱因为它,数据的可规范也是因为它,生与死都在它,把它梳理好,就是把起步做好,我在这方面的一些心得与大家分享。
  • 大数据发展这么多年,有太多的引擎了,例如Storm,Spark,Beam,Flink等等,为什么开源这么多,与大数据的生命同根同源,阶段不一致,管理场景不一致,以后是否一致谁又说的好!
  • 有了这么多引擎,如果治理,跨部门,跨引擎,协作到达怎么输出链路,监控链路,日志等等,业务场景演变了很多技术架构解决方案,如何解决?
  • 数据的开发服务,对数据输出影响,对API管理,对交互等等有什么影响?如何落地?
  • 有了这么数据规范,那么数据质量的服务如果落地,落地后那么对整个数据产出如果使用,架构,业务等等主要事项。
  • 这么多服务,技术,业务层面如何连通,连通注意事项。
  • 案例,说了这么多方法论,实现方案,到底怎么去实现。
    总结:

  • 我希望通过这些篇幅把中台通用的一些方法论和落地服务整合到一块了,中台可以说是争议很大,可以说每个企业都有自己一套业务标准,平台化后落地集成自己的特色中台,但是对于大数据而言,业务数据化,数据业务化,必然会有通用大数据平台服务,这是不能否认的,架构是得在业务发展的前方,实现更好的生产,为了让数据人或价值发声,向前走一大步,数据中台的实践就在每个企业员工手中,可以让每个人都能梳理技术落地方案出来,这是我的目的。

学习指南

  • 在介绍整体篇幅,自己留下很多问题,朋友可以自我提问,如何解答带着问题去思考,带着问题去阅读,更加加容易理解,思考。
  • 希望多去知道一些大数据流程化的一些规范,这样读取更加容易理解。
  • 实战篇我是尽量都会拿开源服务,去解析,讲解,这样针对一些人员可以去自己搭建开发,实战,这样才能有实战的意义,不然讲了一堆理论,不接地气,对自己和企业都是无意义,互联网都是在做中学,这就是为什么很多需求方很虚的原因,真正顶尖的人物都是经历很多落地经验后,知道技术边界,才能更好梳理业务价值。
  • 可以根据我后续的文章梳理,业务,技术的脉络,提升自我认知。
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
7月前
|
SQL 存储 数据采集
数据中台建设方法论
数据中台建设方法论
|
分布式计算 Cloud Native 安全
数据中台(01)- 全面了解数据中台
数据中台(01)- 全面了解数据中台
3365 1
|
数据采集 供应链 数据可视化
数据中台实战(02)-什么企业适合建设数据中台?
数据中台实战(02)-什么企业适合建设数据中台?
125 0
|
人工智能 大数据 BI
政务数据中台解决方案
助力“数据赋能政务“,深入政务场景构建数字化管理工具,支撑政府决策科学化、社会治理精准化、公共服务高效化!
3733 0
政务数据中台解决方案
|
存储 数据采集 运维
数据中台是什么,它能解决什么问题
前言: 近几年来数据中台概念大火,市面上掀起了一波建业务中台、数据中台热潮,那么数据中台到底是什么?它的出现能解决什么问题呢?首先数据中台的概念最早由阿里提出,自从阿里提出了“大中台,小前台”概念之后,数据中台这个概念火了起来,不少企业,无论是互联网企业还是传统企业纷纷搭建起了自家的数据中台,究竟数据中台有什么魅力,能让企业如此重视?本文主要从数据中台是什么、怎么做数据中台和为什么要做数据中台三个方面对这个问题进行了分析。
数据中台是什么,它能解决什么问题
|
存储 SQL 数据可视化
浅谈数据中台
浅谈数据中台
440 0
浅谈数据中台
|
存储 Cloud Native 大数据
数据中台前世今生
中台被彻底炒火,就好像当初只要有存储的公司,就要整理出大数据环境体系一样,各个行业大厂去做类似中台建设的案例,有成功的,有规划建设一段时间,无法支撑的等等,诸如此类,那么这个概念是否只是一时噱头呢?中台的定义是什么?作用是什么? 在学习一种新的思想之前,必须把它的前因后果理清,无淤泥焉有荷花,这是血脉相连的关系,把一些不变的思想理解,才能应对那些变化的,这是学习架构通用思路,下面讲述下它发展过程。
252 0
数据中台前世今生
数据中台初探与应用实践(3)
数据中台初探与应用实践(3)
140 0
数据中台初探与应用实践(3)
|
存储 数据采集 数据可视化
数据中台战略对企业的意义
一、为什么要建设数据中台 因为在当今互联网时代,用户才是商业战场的中心,为了快速响应用户的需求,借助平台化的力量可以事半功倍。 不断快速响应、探索、挖掘、引领用户的需求,才是企业得以生存和持续发展的关键因素。 目前,数据体量、产业规模以及云计算高速发展所推动的基础设施成本都已不再是问题,大数据能否创造真实的商业价值和回报是大数据企业真正关心的核心问题。 过去,所有大数据企业都在做项目,并没有更多资源把能力沉淀成产品和平台。比如很多可共用的数据服务没有服务化、产品化,很多产品总是做重复的动作。
数据中台战略对企业的意义
数据中台初探与应用实践(2)
数据中台初探与应用实践(2)
201 0
数据中台初探与应用实践(2)