数据中台: 新技术、新建设、新融合

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 数据中台: 新技术、新建设、新融合


 数据时代的挑战不仅仅是数据量的爆发式增长,更重要的是如何治理好、利用好、管理好这些数据,有效提升业务数据应用能力。在敏捷金融、智慧金融的时代需求下,用户才是商业战场的中心,为了快速响应用户需求,借助数据中台的力量可以事半功倍。

传统数据仓库的主要应用场景是支持管理决策和业务分析,而数据中台是将数据服务化后提供给业务系统,将数据能力渗透至业务各环节,并解决不断增长的数据量、不同数据类型造成的工作负载和复杂性问题,满足高生产力和敏捷开发要求,实现可视化的数据治理与协作。

数据中台有效打破了“竖井式”的数据服务模式,可以实现多源数据“管、存、通、用”的一体化、集中化和服务化,通过数字化描述客户全生命周期,持续驱动多元数据创造价值,实现“看清现在、洞察未来、精准行动”的全方位数据赋能。结合最新实践, 本期对话邀约四位来自银证保机构的专家,共享对数据中台新内涵的理解和新发展的预期。

    娄恒:感谢大家做客本期“对话”。近两年,数据中台建设逐渐成为金融业落实数字化转型战略的重要抓手,随着新技术的不断成熟、新工程建设的持续深入, 数据中台在提升业技融合效能方面的作用逐步显现。首先请大家结合行业背景,简单介绍对数据中台新发展变化的理解和思考。

    赵理明:数据中台是企业在数字化转型发展进程中必须具备和匹配的新一代数字化能力平台,其最大的能力特点是将业务数据化、数据资产化、资产服务化、服务业务化,形成一个闭环,支撑企业数字化转型工程。

    谢晨:数据中台是管理、标准和工具系统的结合。管理包括数据治理、组织结构、人才队伍建设,标准包括数据标准、数据模型、数据指标,工具系统包括算力、存储、配套软硬件系统。数据中台就是将这三者完整结合,实现公司数据一站式管理、使用、交付的平台。

    刘训艳:数据中台是组织、平台和方法论三者的结合。其内涵一方面体现在技术上,是数据平台的基础支撑能力,另外一方面体现在业务上,是对业务整合的共享服务能力,特别是数据中台的业务属性,尤为重要。

    娄恒:数据中台的本质是一种智能化的数据聚合服务平台,通过聚合数据形成全局资产,进而为业务提供创新支撑。请各位结合实践,谈谈数据中台的实施对业务有哪些改变和创新,这些革新体现出数据中台的哪些赋能方向?

    刘训艳:今年是我行新一轮数字化战略规划的开局之年,数字化转型战略围绕线上化、数字化、智能化作为主线开展。数据中台是数字化转型战略落地的重要基础,价值主要体现在赋能经营管理、智能营销和智能风控等各业务领域。

目前在建设中的数据中台,对客户来说,增加了黏性,提升了体验。对管理层来说,能够通过行内“掌上行”系统,看清、看懂、看全全行经营管理指标推进情况。对于员工来说,数据中台的降本增效作用显著,一方面提高整体开发效率,另一方面通过数据资产的沉淀,利用大数据与AI 技术,对智能营销、风控、运营、审计、客服广泛赋能。

    谢晨:数据中台提供基础数据的保障, 有利于为企业客户提供综合金融服务。企业客户业务往来频繁、业务种类众多,如果没有数据中台把分散的、不可关联的数据统一起来,则很难对其进行综合分析, 进而提供综合服务。反之,有了数据中台, 可以针对企业客户的各种业务展开综合跟踪和评价,有利于金融机构更好地提供综合金融服务、达成数字化转型目标。

第二是风险管理方面,包括联合风控、统一头寸管理、统一额度管理等,这些数据是分散的,可以通过数据中台将其整合, 进而对用户风险做更为全面的全程画像。

第三,数据中台建设过程中,一定会有企业级的数据标准和数据模型,所有数据都要入库,倒逼上游系统进行全面信息化。对于之前一些并未完全实现信息化的小众系统和小众业务,其数据也要统一入库部署和管理,借此数据中台对其数据进行整合之机,顺势完成信息化工作。

 赵理明:现在银行业都在推动数字化转型,进一步细分转型的切入点会发现, 无论是在系统化、体系化层面提出数字化转型的银行,还是在某些局部领域突破的银行,大都优先聚焦于零售领域。数据中台怎么体现对业务价值的支撑?也是优先考虑零售领域。

新一代数据中台有实时计算能力,有自动性、规则性的触发,富滇银行的切入点是智能营销和智能风控。前者解决发展问题,后者解决质量管控问题,这是优先考虑的业务价值点,也更容易给高层一个更为直观的、体现数据中台价值的反馈。此外,数据中台是一个方法论和工具的结合,不单纯是一个技术平台,还面临组织、文化的重构问题。除了想好切入点、发挥最重要的价值外,更重要的是建立与数据中台匹配的组织中台运营机制。

 陈峰:数据中台不仅是一个工具,还是一个组织、一种文化、一组战略,驱动整个企业信息的共享,打破部门墙、子公司墙。太保是一家集团公司,下面有很多子公司,需要有数据中台支撑数据共享。数据中台将数据的管、建、用等一体化后, 数据共享效率将大幅提升,让数据从使用到发挥价值的过程变得更快,缩短数据价值链条。

    娄恒:近几年的行业实践,数据中台面临着来自内外部的很多不同声音,建与不建?有正面引导亦有负面情绪。怎么建?有不同流派亦有差异化实施路径。对此,各位在实践过程中,有怎样的认识和思考?

    陈峰:从数据仓库、大数据平台、数据湖到数据中台等等这一系列概念,正在不断演变,至今其明确内涵到底是什么?在不同的企业中仍会有差异化的认知,整个数据中台想要建设成什么样,需要什么样的组织配合和业务配合等等,也会有很多不同的声音,需要建立企业级的统一认知。

在数据中台建设过程中, 太保在2020 年提出了新的三年规划,此规划明确要建立四个中台:数据中台、AI 中台、技术中台和API 中台,数据中台是这几年的一项重点工作。这几个中台的在建过程中,又面临着集团和子公司之间如何协同的问题。所以从去年到今年,集团内付出了很大精力,宣传和统一想法、认知、思想、方法等一系列认识论和方法论层面的问题,这也是大家统一思想和统一认知的必经过程。

    赵理明:中台的核心思想是共享和复用,符合金融业数据应用的特点,建设数据中台符合金融业数字化转型“数据驱动业务”理念。在建设过程中需要考虑一个因素,不要把数据中台简单看成一个技术项目。数字化转型没有终点,数据中台建设理论上也没有终点。在这个长期工程中, 最难的可能是人的思维方式和组织匹配转型的问题。

    谢晨:满足三个条件的企业有必要建设数据中台。第一要有一定规模,第二要有一定深度和广度的数据资产,第三要有基于数据的经营管理和风险控制等场景。只要这三个条件基本满足,数据中台的建设是完全必要的。

如果说有一些不同的看法,可能会来自两方面:一个来自于公司的业务维度视角,一个来自于技术方面。业务方面的不同看法是:我不关注你们做的是数据中台还是数据仓库,但我发现数据质量差、数据缺失、提交速度慢。业务关注的这些问题,恰恰是通过数据中台即能更好地解决。技术方面的不同想法是:传统企业是数据大集中模式,即使采用了分布式技术架构, 但数据也是集中的。随着新技术发展,一些新的跨业跨界领域较难实现数据集中, 更多是不同机构采用多方安全计算、联邦学习等技术实现数据共享,然而这种模式与数据中台模式不是一种思维模式。实际

谢晨:满足三个条件的企业有必要建设数据中台。第一要有一定规模,第二要有一定深度和广度的数据资产,第三要有基于数据的经营管理和风险控制等场景。下一步,从数据到资产到业务运营再产生数据,形成一个比较好的双向闭环,这将是数据中台未来的典型应用。现在,业界已有此类体验,我相信将来会做得更好。从技术层面看,数据中台未来发展一定是与AI 紧密结合, 交互会更顺畅,历经从BI 到AI 的过程。这是解决两个维度的问题:一个是解决企业内部整个数据治理基础的一套方法论体系和一个平台,一个是解决机构之间的合规、安全的数据分享问题。

 刘训艳:近几年,对于数据中台的各种声音都有,我们也困惑过。比如,这个数据中台什么时候建好?把它当成一个项目;这个数据中台建在哪个平台上?把它当成一个系统或平台。业界对数据中台确实没有统一认识,不同企业、不同认知、不同发展阶段的理解程度、业务需求、市场诉求不一样,没有对错之分。数据中台未来还将持续智能化发展,这是一个很长的打磨完善过程。

 娄恒:数据中台不是一项技术,不是一个产品,也不是一个项目,而是广泛涉及管理、组织、业务、技术能力的融合, 旨在实现企业数据能力的整体提升。在此庞大工程中,各位在实践层面遇到过哪些难题?

 刘训艳:不仅仅是数据中台,包括数据应用系统的建设,与交易系统的敏捷和数据完整性的落地其实是一个矛盾和平衡。业务要完成各自领域的KPI 指标, 敏捷地建设业务交易系统,快速响应市场的变化,而数据中台需要基于整体的业务架构来规划和设计公共数据资产模型。

 第二,数据中台的建设需要领导层自顶向下的支持,这点尤为重要。如果只是在一个部门里做,则很难推动,中台工程面向众多诉求各异的业务部门,必须有一个整体的规划和设计,并得到各级领导支持。

    第三,银行业的数据平台建设都历经了一个漫长的过程,数据平台基本都是异构分布的,对于面向用户如何提供统一的服务,包括数据整合、服务整合等,我们一直在持续优化中。

    谢晨:第一个问题是数据关联。数据中台将整合全公司数据,但整合不代表能够互相关联,这是完全不同的两个阶段。数据集中但不关联,其实效能很差。我们也经历过这样的过程,发现问题后, 通过协调一系列技术安排,将这些数据建立关联。

    第二个问题是统计数据指标的制定是以业务部门还是技术部门为主?开始,我们按照各业务条线提出的统计数据指标, 制定各种指标标准,但后来发现,跨条线有很多冲突,相互之间会撞车。我们发现, 数据指标、指标标准应该是企业级的,通过数据团队的力量,将部门级需求上升归拢为企业级。这个工作不能靠别人,要靠技术部门自己做,需求来自于业务部门, 但需求整合工作必须在技术部门。

    第三个问题是新老系统衔接。每家企业的技术栈都有历史演化,如何把老系统平缓迁移,做一定历史投入的保护,与新的数据中台进行衔接,这是一个难点。而比系统衔接更难的,是历史数据的迁移工作。这些历史数据的标准、模型,都是基于传统架构下的数据库、数据仓库,如何迁移到数据中台,其中要做繁复的人机结合工作,难度较大。

    赵理明:一个高水准的数据中台具备几点特征:一是全域覆盖,辐射面广。二是避免重复开发,有效地降本增效。三是最重要的,做到简单易用,这是对业务条线价值的直观体现。四是数据中台架构的分层结构要清晰,横向主题、纵向分层的数据要准确。五是能及时推出数据产品。

    这些特征能够反映出数据中台建设的难点。一是整体架构设计。如何区别于传统数仓?如何让数据可抽象、可共享、可赋能?如何让数据和营销、风控等业务条线紧密衔接,而非传统的数据分析在后? 如何提升实时计算能力、自动化驱动能力,进而提高数据中台响应的时效性?解决这些问题,中台架构的设计工作非常关键且异常艰巨。二是如何对业务进行数据服务?业务部门需求各异,服务方式和标准很难统一。我们需要反复强调:整个组织是不是匹配中台的工具和方法论。

赵理明:数据中台是企业在数字化转型发展进程中必须具备和匹配的新一代数字化能力平台,其最大的能力特点是将业务数据化、数据资产化、资产服务化、服务业务化, 形成一个闭环,支撑企业数字化转型工程。数据中台是一个方法论和工具的结合,不单纯是一个技术平台,还面临组织、文化的重构问题。除了想好切入点、发挥最重要的价值外,更重要的是建立与数据中台匹配的组织中台运营机制。

刘训艳:数据中台是组织、平台和方法论三者的结合。其内涵一方面体现在技术上,是数据平台的基础支撑能力,另外一方面体现在业务上,是对业务整合的共享服务能力,特别是数据中台的业务属性,尤为重要。数据中台好不好,评价维度非常多。简单一句话总结:全行上下是不是所有人都能够快速、便捷、安全、准确地共享使用全行数据。这里的用数包括数据分析、数据建模、快速定制数据产品等。如能做到这个程度,我觉得数据中台就是成功的。


陈峰:太保自2020 年开始建数据中台,定了两大目标。一是做全域的数据入湖,二是希望把原有数据应用全部搬迁至新数据平台。

我们对全域数据入湖的目标做了梳理,整个集团有近300 个系统,涉及约100 万张表入湖,并保障数据有效性。数据入湖后的治理工作,包括数据的分类分级、不同层级的运营管理和支持等工作尤为重要。

针对原有数据应用的迁移问题,我们初期找了几个应用做试点,发现会比想象中困难得多,每一个应用的搬迁时间超出了预估的10 倍以上。复盘此过程,我们认为应用搬迁应该有所取舍,即不需要的不迁,迁移代价过大的探索通过重构方式进行优化。中台应该在不断优化的过程中建设,遇到难题时也应该多想一步是否有更加高效的替代手段。

此外,方法论的有效执行需匹配过硬的团队,故在中台建设过程中,团队建设也是重点。团队成员应熟悉中台的概念、目标、方法论及工具,才能保障既能建好又能运营好。

娄恒:高水准的数据中台的衡量标准是什么?

陈峰:高水准的数据中台有很多衡量指标,比如用户数、月活、数据资产丰富度等等,能够反映出中台的规模和价值。此外,中台数据对业务领域、过程的覆盖度和支撑度,也是很重要的衡量指标。

赵理明:数据中台的衡量标准有几个。一是能不能减少重复建设。二是能不能实现数据与业务的关系更前移、更紧密,也就是实现从管理数据到经营数据的升级。三是数据中台最终效果的呈现是业务价值,能否推出信贷、负债、风控、特色智能营销等场景的数字化体验产品。

  谢晨:对于数据中台的价值,我们关注几个方面。一是数据标准化程度,二是数据的有效覆盖度,三是数据的颗粒度如何。从部门考核到团队考核,再到个人考核,这就是颗粒度的不同。

另外,在数据层面我们特别关注中台的几个性能。一是实时性。以前的数据服务一般都是盘后服务或非实时服务,随着业务发展速度和客户体验需求的不断提升,服务、分析、风控等场景的实时性要求越来越高。二是扩展性。每家单位数据中台的规模是有限的,都希望在业务爆发时实现短期便捷、自动化地扩容,而不是从头到尾地做很多手工配置活动。三是安全性、冗余性。金融企业数据资产的价值密度较高,不允许有丢失或错误,要保证整个系统的安全性和冗余度。

  刘训艳:数据中台好不好,评价维度非常多。简单一句话总结:全行上下是不是所有人都能够快速、便捷、安全、准确地共享使用全行数据。这里的用数包括数据分析、数据建模、快速定制数据产品等。如能做到这个程度,我觉得数据中台就是成功的。

  娄恒:当前,我们可以看到,数据中台能够解决各业务系统数据孤岛、数据隔离、数据不一致等一系列问题,同时聚焦于数据价值提升、智能分析和工具化模块, 支持大数据应用层的调用,有效提升业务的数据应用能力。下一步,数据中台的发展方向是什么?

  刘训艳:第一是如何让数据价值化。盘点数据中台中的数据资产,衡量其价值, 并面向各业务部门提供服务计价。也就是说,数据中台一定要量化价值。第二是如何让数据智能化。海量数据集合,怎样快速便捷智能地检索并提供目录服务,这也是未来的一个方向。

  谢晨:下一步,从数据到资产到业务运营再产生数据,形成一个比较好的双向闭环,这将是数据中台未来的典型应用。现在,业界已有此类体验,我相信将来会做得更好。从技术层面看,数据中台未来发展一定是与AI 紧密结合,交互会更顺畅,历经从BI 到AI 的过程。

  赵理明:一是应用范畴将进一步扩大延展,需要从业务战略、组织架构、数据市场、技术演进及业务场景等方面综合考虑,构建更加有利于业务发展的数据能力体系;二是“数据+AI”融合的数据中台会成为一种发展趋势,包括数据的AI、AI 的数据。

  陈峰:数据中台最重要的两个方面是产品化和运营。将数据真正变成资产之后, 再将资产变成产品,让用户用起来。同时, 像做业务运营一样做数据运营,从数据团队的角度来看,这是最紧要完成的下一步工作。

陈峰:数据中台不仅是一个工具,还是一个组织、一种文化、一组战略,驱动整个企业信息的共享,打破部门墙、子公司墙。数据中台最重要的两个方面是产品化和运营。将数据真正变成资产之后,再将资产变成产品, 让用户用起来。同时,像做业务运营一样做数据运营, 从数据团队的角度来看,这是最紧要完成的下一步工作。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
存储 自然语言处理 搜索推荐
ChatGPT 文本Embedding融合Qdrant向量数据库:构建智能问答系统的技术探索
向量数据库结合ChatGPT带来了什么 1. **语义搜索:** 使用向量数据库进行语义搜索,可以更准确地找到与查询相关的信息。ChatGPT可以理解用户的自然语言查询,而向量数据库可以根据语义相似性返回匹配的向量数据。 2. **智能推荐:** 结合ChatGPT的智能理解和向量数据库的相似性搜索,可以实现更智能的推荐系统。系统可以根据用户的历史行为和语境,向用户推荐相似的向量数据,如文章、产品或其他内容。 3. **自然语言处理与向量表示结合:** ChatGPT可以将自然语言转换为向量表示,这样就可以在向量数据库中进行更高效的查询。这种集成使得自然语言处理和向量数据库可以相互补充等
539 0
|
存储 新零售 数据采集
新零售数据中台:如何将SKU和SPU粒度数据表融合到一张表
作为新零售行业从业者,最常见的问题就是以何种粒度在数据仓库存储订单交易数据表。常见的粒度有三类:(1)以商品SKU为粒度存储订单数;(2)以商品SPU为粒度存储订单数据;(3)以交易订单为粒度存储订单数据。其中,第3种方式以交易订单为粒度存储订单数据,更加适合交易明细数据表,对于数据仓库存储方式不是很合适。因此,本文重点阐述如何将SKU粒度数据表与SPU粒度数据表进行融合。
新零售数据中台:如何将SKU和SPU粒度数据表融合到一张表
|
6月前
|
Shell Android开发
Android系统 adb shell push/pull 禁止特定文件
Android系统 adb shell push/pull 禁止特定文件
537 1
|
6月前
|
Android开发 Python
Python封装ADB获取Android设备wifi地址的方法
Python封装ADB获取Android设备wifi地址的方法
148 0
|
开发工具 Android开发
Mac 安卓(Android) 配置adb路径
Mac 安卓(Android) 配置adb路径
814 0
|
3月前
|
Shell Linux 开发工具
"开发者的救星:揭秘如何用adb神器征服Android设备,开启高效调试之旅!"
【8月更文挑战第20天】Android Debug Bridge (adb) 是 Android 开发者必备工具,用于实现计算机与 Android 设备间通讯,执行调试及命令操作。adb 提供了丰富的命令行接口,覆盖从基础设备管理到复杂系统操作的需求。本文详细介绍 adb 的安装配置流程,并列举实用命令示例,包括设备连接管理、应用安装调试、文件系统访问等基础功能,以及端口转发、日志查看等高级技巧。此外,还提供了常见问题的故障排除指南,帮助开发者快速解决问题。掌握 adb 将极大提升 Android 开发效率,助力项目顺利推进。
84 0
|
6月前
|
Shell Android开发
ADB更改Android设备屏幕显示方向
ADB更改Android设备屏幕显示方向
340 5
|
6月前
|
Java Android开发
Android 对adb命令的拦截
Android 对adb命令的拦截
92 2
|
5月前
|
Shell 开发工具 Android开发
|
6月前
|
存储 安全 Shell
Android系统 adb shell auth授权使用
Android系统 adb shell auth授权使用
451 2