构建大数据中台实践经验分享

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 过往3年,一直在帮各地政府构建大数据中台, 以下是一些实施经验分享

随着云计算、大数据和人工智能为代表的新一代信息技术迅猛发展,信息时代开始快速过渡到大数据时代。人工智能的发展为服务型政府建设提供了技术支撑,管理型政府向服务型政府的转型也成为大势所趋。当前我们处于IT时代往DT时代转型、管理型政府往服务型政府转型的过程中。建设服务型政府,应当创新传统的信息化项目运行管理模式。
大数据中台建设有以下建议:
1、 构建符合DT时代的更创新灵活的“大中台、小前台”的业务机制。
a) “大中台”主要是指构建大数据中台,搭建全市统一的大数据中台,支撑全市各业务部门对外提供数据化服务,通过数据中台打通全市各业务部门的数据,更精准地为全市提供全方位数据服务。
b) 前台是指全市各业务部门的不同应用组成的前端系统平台,例如,各业务部门搭建的业务系统、门户网站、手机APP、微信公众号等都属于前台。前台各种应用从大数据中台获取数据支持并将新增数据沉淀在大数据中台,但每个业务系统的开发不受大数据中台建设模式及其运营公司制约;大数据中台更多的是起到决策、支撑、监管、服务等方面的作用。
c) 通过采用“大中台、小前台”模式,实现了业务与数据的分离,数据成为了各部门业务系统共同需要的土壤。构建大数据中台的目的是实现数据的统一存储、统一管理、统一安全、统一模型和统一数据服务,强化对数据资源的整合利用。
d) 从技术复杂性角度分析,中台战略集中了平台大多数的核心技术,“小前台”所代表的各单位业务系统虽然数量多,但是对平台整体产生影响的技术含量小。
e) 对于比较复杂的综合性系统,可以在数据中台的基础上搭建业务中台,但鉴于该市业务系统数量较少、功能相对简单,不需要构建单独的业务中台。
2、 大数据中台构建需要选择成熟的基础架构和实施团队
a) 数据中台的概念是最早由阿里巴巴首次提出,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,也是中国乃至世界第一家系统地践行了中台战略的大型互联网公司。从2018年下半年开始,以中台战略为核心的组织和技术变革席卷互联网和各地方政府。
b) 基于成熟基础架构构建大数据中台,不要再依靠拿来主义发展短平快的软件平台,摆脱对开源软件技术路线的依赖(无法真正做到自主可控,受制于人,Bug偏多,稳定性和扩展性差),采用依靠自主创新开发的具有自主可控特点的成熟基础架构软件。
c) 项目建设过程中选用在DT时代有成功落地经验的团队提供业务咨询和落地服务,尽量在别人的成功经验上进一步扩展平台,同时吸收别人的失败教训避免犯类似的错误。
d) 充分参考借鉴其他城市成功经验,如杭州、衢州等。
3、 采用渐近式实施策略
a) 由于各单位原有业务系统的复杂性,数据中台的建设和完善不可能一蹴而就,应当采取渐进式实施策略,将原有系统数据逐步整合接入大数据中台,新业务系统则一律直接构建在大数据中台之上。
b) 要把数据、系统看做是资产,探索对数据资产的运营,大力从数据中挖掘价值反哺投资的不足,促进数据资产的增值,从而实现大数据局和大数据公司之间的紧耦合。
c) 平台建设是一项一把手工程,具体建设时可以采取成立临时工作机构的方式,让各单位信息化管理人员集中办公,由市大数据局统一管理、统一考核,增强平台建设力量。
d) 建议大数据中台实施分期进行,可以尝试指定3到5年长期发展战略。

  1. 第1年主要关注大数据中台本身的落地,少量接入现有业务系统,并重点打造1到2个亮点业务功能。
  2. 第2年开始大量接入现有业务系统并开始为新建系统和老业务系统改造提供数据服务支撑。
  3. 第3年随着大量数据的落地,尝试提供全局级的数据调用服务和数据增值服务,为更多创新型业务提供数据支撑。
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
2月前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
440 2
|
3月前
|
SQL 分布式计算 运维
如何对付一个耗时6h+的ODPS任务:慢节点优化实践
本文描述了大数据处理任务(特别是涉及大量JOIN操作的任务)中遇到的性能瓶颈问题及其优化过程。
|
2月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
64 4
|
2月前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
70 5
|
2月前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
62 3
|
1月前
|
JSON 数据可视化 NoSQL
基于LLM Graph Transformer的知识图谱构建技术研究:LangChain框架下转换机制实践
本文介绍了LangChain的LLM Graph Transformer框架,探讨了文本到图谱转换的双模式实现机制。基于工具的模式利用结构化输出和函数调用,简化了提示工程并支持属性提取;基于提示的模式则为不支持工具调用的模型提供了备选方案。通过精确定义图谱模式(包括节点类型、关系类型及其约束),显著提升了提取结果的一致性和可靠性。LLM Graph Transformer为非结构化数据的结构化表示提供了可靠的技术方案,支持RAG应用和复杂查询处理。
94 2
基于LLM Graph Transformer的知识图谱构建技术研究:LangChain框架下转换机制实践
|
1月前
|
边缘计算 人工智能 搜索推荐
大数据与零售业:精准营销的实践
【10月更文挑战第31天】在信息化社会,大数据技术正成为推动零售业革新的重要驱动力。本文探讨了大数据在零售业中的应用,包括客户细分、个性化推荐、动态定价、营销自动化、预测性分析、忠诚度管理和社交网络洞察等方面,通过实际案例展示了大数据如何帮助商家洞悉消费者行为,优化决策,实现精准营销。同时,文章也讨论了大数据面临的挑战和未来展望。
|
2月前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
32 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
2月前
|
SQL 分布式计算 大数据
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
44 2
|
2月前
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
71 1