构建大数据中台实践经验分享

简介: 过往3年,一直在帮各地政府构建大数据中台, 以下是一些实施经验分享

随着云计算、大数据和人工智能为代表的新一代信息技术迅猛发展,信息时代开始快速过渡到大数据时代。人工智能的发展为服务型政府建设提供了技术支撑,管理型政府向服务型政府的转型也成为大势所趋。当前我们处于IT时代往DT时代转型、管理型政府往服务型政府转型的过程中。建设服务型政府,应当创新传统的信息化项目运行管理模式。
大数据中台建设有以下建议:
1、 构建符合DT时代的更创新灵活的“大中台、小前台”的业务机制。
a) “大中台”主要是指构建大数据中台,搭建全市统一的大数据中台,支撑全市各业务部门对外提供数据化服务,通过数据中台打通全市各业务部门的数据,更精准地为全市提供全方位数据服务。
b) 前台是指全市各业务部门的不同应用组成的前端系统平台,例如,各业务部门搭建的业务系统、门户网站、手机APP、微信公众号等都属于前台。前台各种应用从大数据中台获取数据支持并将新增数据沉淀在大数据中台,但每个业务系统的开发不受大数据中台建设模式及其运营公司制约;大数据中台更多的是起到决策、支撑、监管、服务等方面的作用。
c) 通过采用“大中台、小前台”模式,实现了业务与数据的分离,数据成为了各部门业务系统共同需要的土壤。构建大数据中台的目的是实现数据的统一存储、统一管理、统一安全、统一模型和统一数据服务,强化对数据资源的整合利用。
d) 从技术复杂性角度分析,中台战略集中了平台大多数的核心技术,“小前台”所代表的各单位业务系统虽然数量多,但是对平台整体产生影响的技术含量小。
e) 对于比较复杂的综合性系统,可以在数据中台的基础上搭建业务中台,但鉴于该市业务系统数量较少、功能相对简单,不需要构建单独的业务中台。
2、 大数据中台构建需要选择成熟的基础架构和实施团队
a) 数据中台的概念是最早由阿里巴巴首次提出,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,也是中国乃至世界第一家系统地践行了中台战略的大型互联网公司。从2018年下半年开始,以中台战略为核心的组织和技术变革席卷互联网和各地方政府。
b) 基于成熟基础架构构建大数据中台,不要再依靠拿来主义发展短平快的软件平台,摆脱对开源软件技术路线的依赖(无法真正做到自主可控,受制于人,Bug偏多,稳定性和扩展性差),采用依靠自主创新开发的具有自主可控特点的成熟基础架构软件。
c) 项目建设过程中选用在DT时代有成功落地经验的团队提供业务咨询和落地服务,尽量在别人的成功经验上进一步扩展平台,同时吸收别人的失败教训避免犯类似的错误。
d) 充分参考借鉴其他城市成功经验,如杭州、衢州等。
3、 采用渐近式实施策略
a) 由于各单位原有业务系统的复杂性,数据中台的建设和完善不可能一蹴而就,应当采取渐进式实施策略,将原有系统数据逐步整合接入大数据中台,新业务系统则一律直接构建在大数据中台之上。
b) 要把数据、系统看做是资产,探索对数据资产的运营,大力从数据中挖掘价值反哺投资的不足,促进数据资产的增值,从而实现大数据局和大数据公司之间的紧耦合。
c) 平台建设是一项一把手工程,具体建设时可以采取成立临时工作机构的方式,让各单位信息化管理人员集中办公,由市大数据局统一管理、统一考核,增强平台建设力量。
d) 建议大数据中台实施分期进行,可以尝试指定3到5年长期发展战略。

  1. 第1年主要关注大数据中台本身的落地,少量接入现有业务系统,并重点打造1到2个亮点业务功能。
  2. 第2年开始大量接入现有业务系统并开始为新建系统和老业务系统改造提供数据服务支撑。
  3. 第3年随着大量数据的落地,尝试提供全局级的数据调用服务和数据增值服务,为更多创新型业务提供数据支撑。
相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
11天前
|
存储 大数据 API
大数据隐私保护策略:加密、脱敏与访问控制实践
【4月更文挑战第9天】本文探讨了大数据隐私保护的三大策略:数据加密、数据脱敏和访问控制。数据加密通过加密技术保护静态和传输中的数据,密钥管理确保密钥安全;数据脱敏通过替换、遮蔽和泛化方法降低敏感信息的敏感度;访问控制则通过用户身份验证和权限设置限制数据访问。示例代码展示了数据库、文件系统和API访问控制的实施方式,强调了在实际应用中需结合业务场景和平台特性定制部署。
104 0
|
11天前
|
存储 大数据 数据处理
PHP 与大数据:构建高效数据处理系统
传统的数据处理系统往往难以应对大规模数据的处理需求,而PHP作为一种常用的服务器端脚本语言,在数据处理方面也有其独特的优势。本文将探讨如何利用PHP构建高效的大数据处理系统,结合实际案例分析其应用场景及优势所在。
24 2
|
11天前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
11天前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
776 2
|
4天前
|
监控 数据处理 索引
整合LlamaIndex与LangChain构建高级的查询处理系统
该文阐述了如何结合LlamaIndex和LangChain构建一个扩展性和定制性强的代理RAG应用。LlamaIndex擅长智能搜索,LangChain提供跨平台兼容性。代理RAG允许大型语言模型访问多个查询引擎,增强决策能力和多样化回答。文章通过示例代码展示了如何设置LLM、嵌入模型、LlamaIndex索引及查询引擎,并将它们转换为LangChain兼容的工具,实现高效、精准的问题解答。通过多代理协作,系统能处理复杂查询,提高答案质量和相关性。
22 0
|
11天前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
2天前
|
存储 弹性计算 大数据
【阿里云弹性计算】阿里云ECS在大数据处理中的应用:高效存储与计算实践
【5月更文挑战第23天】阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,尤其大数据型实例适合离线计算。通过集成分布式文件系统如OSS,实现大规模存储,而本地存储优化提升I/O性能。弹性扩容和计算优化实例确保高效运行,案例显示使用ECS能提升处理速度并降低成本。结合阿里云服务,ECS构建起强大的数据处理生态,推动企业创新和数字化转型。
11 0
|
11天前
|
分布式计算 数据可视化 Hadoop
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
|
11天前
|
分布式计算 Java Hadoop
大数据实战——WordCount案例实践
大数据实战——WordCount案例实践
|
11天前
|
数据采集 供应链 安全
利用大数据优化业务流程:策略与实践
【5月更文挑战第11天】本文探讨了利用大数据优化业务流程的策略与实践,包括明确业务目标、构建大数据平台、数据采集整合、分析挖掘及流程优化。通过实例展示了电商和制造企业如何利用大数据改进库存管理和生产流程,提高效率与客户满意度。随着大数据技术进步,其在业务流程优化中的应用将更加广泛和深入,企业需积极采纳以适应市场和客户需求。

热门文章

最新文章