个推CTO谈数据中台(上):从要求、方法论到应用实践

简介: 当下,数据中台概念火热,但业界对于何谓数据中台,如何进行中台建设意见不一。如何拨开中台建设背后的迷雾,开启对于企业而言意义深远的数字化战略之路?作为数据智能领域的专家,每日互动(个推)CTO叶新江开启了一场有关数据中台的深度分享,从概念定义、价值赋能、战略理论、落地实践等方面层层剖析,旨在帮助大数据、数字化领域以及相关行业从业者梳理出一个聚焦当下、增能未来的中台建设新路径。

当下,数据中台概念火热,但业界对于何谓数据中台,如何进行中台建设意见不一。如何拨开中台建设背后的迷雾,开启对于企业而言意义深远的数字化战略之路?作为数据智能领域的专家,每日互动(个推)CTO叶新江开启了一场有关数据中台的深度分享,从概念定义、价值赋能、战略理论、落地实践等方面层层剖析,旨在帮助大数据、数字化领域以及相关行业从业者梳理出一个聚焦当下、增能未来的中台建设新路径。


本次访谈将分为上下两篇,上篇我们将围绕中台的定义、方法论、每日互动的实践成果等进行答疑解惑,为大家揭开中台的神秘面纱。下篇我们将着重剖析每日互动数据中台与其他中台的异同以及公司在中台方面的战略思考。


当我们谈论中台时,真正在谈论什么?


1. 当前,中台的概念,见仁见智,始终没有一个统一的见解。那么您所理解的数据中台到底是什么?


业界中台概念的提出距今已有2~3年的时间。最初提出中台概念,其主要是与前台和后台的概念做区分。特别是一些大型企业,会有很多所谓的后台系统和前台系统。后台系统指的是财务系统、结算系统以及审批系统等。前台系统,顾名思义指的是和客户打交道的有关系统。随着企业发展壮大,业务越来越复杂,数据也会相应地变得繁杂。此时,如果让前台系统和后台系统进行直接的数据对接,将会十分耗时耗力。于是,数据中台这个理念应运而生。中台作为衔接多个“前台”和多个“后台”的中间层,把很多与数据相关的共性功能抽离出来,减少了后台的重复建设。


每日互动着力打造的数据中台,“核心定位是数据治理及应用,所以我们把它称之为治数平台。” 该平台遵循行业关于中台的基本内涵,但又在此前提下进行了拓展升级。共性部分指的是包括数据的汇集、融合、数据资产化等工作,都会在该治理平台上完成。扩展的部分是治数平台会更多结合有关细分领域,沉淀出知识,再提供可用于开发、挖掘的能力。


“打一个形象的比喻,我们认为每日互动的治数平台就像大家电脑里使用的操作系统一样,每日互动提供的是对于整个电脑资源的管理,至于用什么样的应用,比如说是开发一个office,或者设计师用的设计软件等,则是与各个行业高度相关,我们界定其不属于治数平台的范畴。每日互动治数平台的核心还是在于数据治理,我们会在此基础上再提供对外所需的服务。”


2. 企业为什么要建中台,数据中台对企业的价值是什么?


数据时代,数据价值的最大化需要在融合的前提下才能更好地发挥出来。数据中台首先通过统一的标准把分散在各个地方的数据归集、融合到一起进行治理,再将治理结果进行数据资产化,资产化要求可归类、可定价、可管理、可审计,然后再使资产进行增值,让数据的价值充分发挥。当完成数据的盘点、规整与统一后,我们就能够以数据与技术为手段,重塑工作的各个环节,让“数据业务化、业务数据化”,助力企业构建数据资产化和应用增值的战略体系,提高企业运营效率。


归纳而言,“我们认为数据中台的价值是对企业资产的一种重构,或者说是对于企业资产的一种重新定义。有了全新的资产以后,企业便能产生更大的效益。”


数据中台建设的思路及本质

3. 行业客户建设数据中台前需要重点考虑哪些问题?

建设数据中台要遵循企业数字化进程各阶段的要求。我们认为,企业数字化发展可以分为数据汇集、融合、开放、智能化处理几个阶段。在第一阶段,对于本身已经覆盖较多信息系统的企业,需要考虑把有关数据汇聚到一起。而对于信息化程度相对偏低的企业,则要实现企业业务的在线化。


第二阶段需要企业评估其自身数据是否已经实现了有机地融合。所谓的“融合”指的是企业通过一种标准把各个系统产生的数据进行有效的资产化。也就是说,这个阶段企业需要完成数据治理和归集工作。


第三阶段涉及数据的开放,即企业需要有专门的部门把归集以后的数据开放给内部各个部门,让各部门了解企业的数据资产情况,从而更好地实现企业基于数据的服务提升与创新。有条件的企业再把数据开放给生态链上下游的企业,实现服务创新、协作方式的重构,从而形成更大范围的协同。


第四阶段指的是利用数据进行智能化处理。众所周知,企业通过机器学习等人工智能的方式进行数据处理,可以创造出十分广阔的增值空间,就像寻找矿产资源一样,通过数据智能的方式,企业可以从前所未有的角度挖掘出全新的数据价值。


以上的数字化进程对于计划实施数字化战略的企业而言,是相对比较适合的一个过程。同时,由于各企业的实际情况不同,各自的战略也会有所差别。我们认为,大型企业建设中台主要需要考虑转体系问题,即企业应从整个组织、商业模式、战略协同方面,开展全面的改造,我们也把它称为三个全:全在线、全链接、全协同。而发展中企业则需要先考虑“工具化”问题,即企业可以借助数据平台、工具,首先实现业务的在线化,然后再考虑基于数据的服务提升。


当前,每日互动着力打造的治数平台可以作为大型企业整体战略一个重要的承载部分;对发展中企业,治数平台也可以作为一个工具进行使用,方便这些企业把自身的数据先汇集起来,再结合企业的实际情况制定具体的使用方法与策略。


4. 传统企业数字化转型的大潮越来越汹涌,中台切入传统行业的业务场景是什么?


不同行业由于特点各异,其各自所适用的业务场景也各不相同。举例来说,品牌营销行业的客户更关注的是如何实现企业的营销增长。每日互动基于自身对品牌营销等行业的深刻洞察,推出了一系列的产品与服务,包括底层的治数平台,以及应用层的行业数盘。这些数盘的核心是把我们开展业务过程中的方法论沉淀下来,通过一种易于操作的方式,快速地实现业务目标。比如每日互动面向品牌营销领域推出的“个灯数盘”,它是一款简单易用的SaaS洞察工具,具有全面洞察消费者、高效打通多源数据、秒级输出消费者画像等特点,助力品牌主充分挖掘并快速触达目标消费群体。


在打造治数平台及行业数盘过程中,公司围绕“数据积累(Data)-数据治理(Machine)-数据应用(People)”三层业务逻辑,开展数据智能业务以及推动行业客户数字化升级。



“D”代表数据,指的是我们通过一种合适的方法把散落在企业各个地方的数据进行盘点,汇集、整理、融合与资产化等工作都是在中间的M层完成的。“M”指的是有关平台性质的方法论、原理机制、管理系统等。上层“P”则代表人员、生产力以及专业性,我们只有把这三者进行有机地联动,整个数据业务的开展才能够顺畅地进行。


5. 每日互动是怎么建设中台的?公司数据中台有哪些落地应用成果?


在具体的实施过程中,我们通过Why-What-How三步走的形式构建起自身的数据中台。


首先,我们需要对行业有深刻的认识,了解当前行业最关心的问题。这个我们把它称之为Why。“你只有明白自己为什么要做这个事情的时候,你再去做才有目标。”


Why之后则是What,对应到每日互动的数据底层:“我们需要盘点行业客户已经拥有的数据,以及尚未完成治理的数据”。


最后是How,即我们通过治数平台把底层数据和上层应用层这两端连接起来,把产生的有价值的部分给到客户,助力客户更为全面、及时的决策。


依托前文提及的“Why-What-How”三步走理论,我们深耕于移动互联网、品牌营销、金融风控等行业,通过对数据智能领域的不断实践与创新,并将实践成果沉淀到我们公司的整个产品、服务中,助力客户实现价值最大化。


比如,在金融领域,为了解决银行等机构存在的数据系统独立分散,难以互通管理的痛点,我们全面整合数据资产,打造了鲸智运营中心,帮助金融机构进行数据分析-用户洞察-用户多渠道精准触达-智能策略优化和沉淀,为运营提供有力的数据支撑,强力推进金融行业数字化运营升级。


数据智能时代,数据的价值正在受到越来越多企业的关注,并逐渐成为不少企业的核心资产和生产要素。每日互动致力于打造的数据中台——每日治数平台,期望用前沿的技术为更多企业插上“智慧的大脑”,为大家带来更加便利的生活。


《每日互动CTO谈数据中台(下篇)》我们将会带大家了解公司数据中台的产品特点、为细分行业的增能效果以及产品的战略思考,敬请期待。


相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
1月前
|
SQL 存储 数据采集
数据中台建设方法论
数据中台建设方法论
|
1月前
|
SQL 运维 关系型数据库
基于AnalyticDB PostgreSQL的实时物化视图研发实践
AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。
451 1
|
11月前
|
机器学习/深度学习 存储 人工智能
LLM系列 | 19: ChatGPT应用框架LangChain实践速成
本文以实践的方式将OpenAI接口、ChatOpenAI接口、Prompt模板、Chain、Agent、Memory这几个LangChain核心模块串起来,从而希望能够让小伙伴们快速地了解LangChain的使用。
|
1月前
|
机器学习/深度学习 人工智能
【LangChain系列】第九篇:LLM 应用评估简介及实践
【5月更文挑战第23天】本文探讨了如何评估复杂且精密的语言模型(LLMs)应用。通过创建QA应用程序,如使用GPT-3.5-Turbo模型,然后构建测试数据,包括手动创建和使用LLM生成示例。接着,通过手动评估、调试及LLM辅助评估来衡量性能。手动评估借助langchain.debug工具提供执行细节,而QAEvalChain则利用LLM的语义理解能力进行评分。这些方法有助于优化和提升LLM应用程序的准确性和效率。
305 8
|
1月前
|
存储 机器学习/深度学习 人工智能
【LangChain系列】第八篇:文档问答简介及实践
【5月更文挑战第22天】本文探讨了如何使用大型语言模型(LLM)进行文档问答,通过结合LLM与外部数据源提高灵活性。 LangChain库被介绍为简化这一过程的工具,它涵盖了嵌入、向量存储和不同类型的检索问答链,如Stuff、Map-reduce、Refine和Map-rerank。文章通过示例展示了如何使用LLM从CSV文件中提取信息并以Markdown格式展示
103 2
|
1月前
|
机器学习/深度学习 自然语言处理 数据挖掘
【LangChain系列】第七篇:工作流(链)简介及实践
【5月更文挑战第21天】LangChain是一个框架,利用“链”的概念将复杂的任务分解为可管理的部分,便于构建智能应用。数据科学家可以通过组合不同组件来处理和分析非结构化数据。示例中展示了如何使用LLMChain结合OpenAI的GPT-3.5-turbo模型,创建提示模板以生成公司名称和描述。顺序链(SimpleSequentialChain和SequentialChain)则允许按顺序执行多个步骤,处理多个输入和输出
218 1
|
1月前
|
存储 人工智能 搜索推荐
【LangChain系列】第六篇:内存管理简介及实践
【5月更文挑战第20天】【LangChain系列】第六篇:内存管理简介及实践
76 0
【LangChain系列】第六篇:内存管理简介及实践
|
1月前
|
存储 机器学习/深度学习 人工智能
【LangChain系列】第一篇:文档加载简介及实践
【5月更文挑战第14天】 LangChain提供80多种文档加载器,简化了从PDF、网站、YouTube视频和Notion等多来源加载与标准化数据的过程。这些加载器将不同格式的数据转化为标准文档对象,便于机器学习工作流程中的数据处理。文中介绍了非结构化、专有和结构化数据的加载示例,包括PDF、YouTube视频、网站和Notion数据库的加载方法。通过LangChain,用户能轻松集成和交互各类数据源,加速智能应用的开发。
139 1
|
1月前
|
人工智能 测试技术 API
【AIGC】LangChain Agent(代理)技术分析与实践
【5月更文挑战第12天】 LangChain代理是利用大语言模型和推理引擎执行一系列操作以完成任务的工具,适用于从简单响应到复杂交互的各种场景。它能整合多种服务,如Google搜索、Wikipedia和LLM。代理通过选择合适的工具按顺序执行任务,不同于链的固定路径。代理的优势在于可以根据上下文动态选择工具和执行策略。适用场景包括网络搜索、嵌入式搜索和API集成。代理由工具组成,每个工具负责单一任务,如Web搜索或数据库查询。工具包则包含预定义的工具集合。创建代理需要定义工具、初始化执行器和设置提示词。LangChain提供了一个从简单到复杂的AI解决方案框架。
439 3
|
29天前
|
人工智能 安全 API
【LangChain系列】第十篇:数据保护简介及实践
【5月更文挑战第24天】本文探讨了在使用大型语言模型时保护个人数据的重要性,特别是涉及敏感信息如PII(个人可识别信息)的情况。为了降低数据泄露风险,文章介绍了数据匿名化的概念,通过在数据进入LLM前替换敏感信息。重点讲解了Microsoft的Presidio库,它提供了一个可定制的文本匿名化工具。此外,文章还展示了如何结合LangChain库创建一个安全的匿名化流水线,包括初始化匿名器、添加自定义识别器和操作符,以及在问答系统中集成匿名化流程。通过这种方式,可以在利用LLMs的同时保护数据隐私。
75 0