非互联网与互联网数据平台的差异

简介: 本文对比传统企业与互联网数据平台的演进差异:用户、角色、技术栈与数据源迥异;梳理了1991—2011年传统五阶段四种架构及Inmon/Kimball模型思想;并解析互联网平台三阶段演进——从Hadoop引入、数据产品化到全员用数,伴随治理挑战升级。

我从2000年接触数据仓库,2008年进入互联网行业。不少从传统企业转来的同学都有同感:两类数据平台面向的用户群体明显不同。
非互联网数据平台的用户主要是老板和运营,依赖报表和BI分析师做分析挖掘;支撑者是ETL工程师、数据建模师、数据架构师和报表设计人员,他们同时是平台的建设方与使用方;技术框架由技术架构师、Java开发实现。数据源以结构化生产系统为主。
互联网数据平台则不同。员工更年轻、受教育程度更高,对计算机焦虑更低。平台由技术、数据产品推进建设,分析师直接参与建设的比重增加,原有数据仓库开发与模型架构师职能从建设转为服务与咨询。数据源更多样,包括日志、生产数据库数据、视频、音频等非结构化数据。
从发展历程看,非互联网时代大致经历五个阶段、四种架构:1991年前的全企业集成、1991年后的EDW时代、1994—1996年的数据集市、1996—1997年的架构之争、1998—2001年的合并年代。第一代架构以海尔BI项目为代表,ETL使用微软DTS;第二代以上海通用汽车为代表,采用准三范式建模,涉及十几种数据源,计划三年建成;此外还有银行数据集市、太平洋保险混合架构,以及2011年提出的OPDM操作型数据集市。
数据模型是平台建设的导航图,分概念、逻辑、物理三层。Inmon的EDW面向事务处理与数据管理,坚持最细粒度、保存历史;Kimball的DM面向分析过程,用星型、雪花模型提升查询性能。
互联网时代,数据平台服务方式大致经历三个阶段。2008—2011年,建设方式与非互联网相似,淘宝从2004年单节点起步,2010年引入Hadoop与Hive,模型采用退化、扁平化设计。2011—2014年,数据产品与数据产品经理兴起,平台分为面向用户的业务级产品和面向平台的工具型产品,部分ETL转换前置到业务系统。2014年后,用数据的角色直接参与数据整理与分析,平台全面开放,但也带来数据质量、重复存储、口径多样等问题,原有建设角色转向培训、咨询与落地支持。

相关文章
|
18天前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
8625 25
|
17天前
|
人工智能 并行计算 PyTorch
秋叶 ComfyUI 2026 整合包 v3.2 完整部署教程:Python 3.13 + Torch 2.13 全栈升级
秋叶aaaki ComfyUI 2026年8月整合包v3.2正式发布!全面升级Python 3.13.11、PyTorch 2.13.0+cu130及ComfyUI v0.30.2,原生支持MiniMax H3、Wan 2.2、Qwen-Image-2.1等2026主流音视频/图像模型,解压即用,无需环境配置。
3072 14
|
16天前
|
人工智能 测试技术 API
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
Jev是TypeSafe AI推出的“系统一模型”,不生成文本,专做毫秒级结构化决策:Choice(多选)、Score(打分)、Noul(是非概率)。响应快193倍、成本低444倍,适合工单路由、内容审核、测试定级等高频判断场景。
2115 4
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
|
5天前
|
人工智能 JSON Linux
【全网最详细】ComfyUI使用教程:下载+本地部署+配置+工作流搭建一篇搞定(2026最新版)
ComfyUI是一款免费开源的本地AI绘图工具,采用节点式工作流设计,支持文生图、图生图、局部重绘、放大、换脸等多种功能。可离线运行,依赖显卡加速,无需联网。支持自定义流程保存与分享,插件生态丰富,适合进阶用户。(239字)
|
17天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 Linux 开发者
【2026国内使用】Codex安装过程一篇讲透(Win/Mac/Linux全支持)
Codex是OpenAI推出的AI编程智能体,可读取本地项目、理解需求并自动修改代码。支持桌面GUI、命令行(CLI)及VS Code/Cursor插件三种形态,覆盖可视化操作、终端高效开发与编辑器无缝集成场景,助开发者用自然语言驱动编码全流程。(239字)
【2026国内使用】Codex安装过程一篇讲透(Win/Mac/Linux全支持)
|
11天前
|
人工智能 JSON 编解码
【2026最新版】ComfyUI本地部署教程,新手也能看懂!
ComfyUI是本地运行的AI绘画工具,采用节点式工作流设计:通过拖拽连接“加载模型”“提示词编码”“采样”“解码”等模块,实现高度可控的文生图。新手推荐使用秋叶整合包,一键启动、内置模型管理与插件安装器,轻松上手。(239字)