数据是黄金还是垃圾?(上)

简介: 数据是黄金还是垃圾?(上)

微信图片_20220121185113.jpg


▌ 数据是黄金还是垃圾? 

互联网的出现,特别是移动互联网的飞速发展产生了大量的数据。这些海量数据是公司开展业务的宝贵财富。经常有人说:“数据是未来的石油”,“数据是未来的钞票”,“数据是未来的黄金”。如果数据真的那么有价值,那么无限增加数据就会带来无限的价值,公司光靠不断积累数据就能成为世界上最有价值的公司。事实上,今天庞大的数据存储量已经为各公司带来了沉重的技术和财务负担,那么数据到底是黄金还是垃圾呢?


▌ 数据的价值

对大多数公司而言,挖掘数据所产生的价值对业务影响极大。例如,各种商业活动会在交易平台上产生不同的交易数据,这些数据经过清洗、过滤、整理和分析可以提供给商户,完成客户服务、精准营销、风险评估等各种工作,为公司带来价值,因此,从这个角度来说,数据的价值如同黄金一般珍贵。


微信图片_20220121185135.jpg


▌ 数据的成本

存储数据是需要成本的,数据的成本绝非只有物理存储空间成本那么简单,实际上它包括了下述五种成本要素:


  • 物理存储器

各种专用或通用的数据存储设备或者分布式存储设备

  • 人员和软件

为了有效地管理存储而必须配备的人员与软件所投入的资金和努力

  • 电力和空间

为确保存储系统能正常运行所需要的电力和IDC机房空间的投入

  • 遍历的时间

为了检索数据而不得不遍历存储空间所耗费的时间

  • 灾备的成本


为了保证数据安全而进行数据备份所需要的各类资源,数据的成本 = 物理存储器 + 人员和软件 + 电力和空间 + 遍历的时间 + 灾备的成本。


微信图片_20220121185210.jpg


▌ 数据的成本价值困局

数据对企业的价值并非相同。在许多企业中,时间会减低我们可以从任何特定数据元素中所获得的价值。例如,很多旧数据对建立交易模型用处不大。某个客户与电子商务平台交互的旧记录可能有用,但其价值远不如最新的数据。电话公司几年前的详细通话记录没有最新的通话记录对用户的价值大。三年前的银行交易记录不如最近几个星期的有用。人们可能会偶尔看一下老照片和老视频,但是经常看的还是最近上传的新照片和新视频。虽然我们不能说所有的旧数据都没有新数据价值大,但在大多数的情况下,新数据更有价值是一个事实。


微信图片_20220121185226.jpg


上面的表达方法叫RFM图,R代表数据的产生时间(Recent), F代表数据的使用频率,M代表以货币表达的数据价值(Monetary)。从上面的RFM图可以看出,越是最近产生,越是经常使用的数据其货币价值越高(右后上方的顶点)。相反,产生很久,而且不常使用的数据几乎没有什么货币价值。


如果数据的价值随着时间的推移而降低,那么为什么我们还要保存那么多的数据呢? 我们把这个问题叫作数据的成本价值困局。大多数公司并没有对数据价值随时间的推移逐渐降低和维持高速增长的数据成本这些事实引起高度注重。通常情况下,更新、更快存储技术的出现使我们能够以更低的初始成本来存储相同数量的数据,或者用相同的成本来存储更多的数据。随着单位存储成本的下降,我们要保存更多数据的愿望也逐渐膨胀。在高速增长的公司,除了要考虑数据的价值很可能会随着时间的推移而降低的事实之外,我们还要考虑虽然单位存储成本下降,但保存数据的总成本极有可能增加的事实。如何对此做出合理的决策对大多数企业提出了独特的新挑战。



▌ 成本与价值匹配的策略

如果法律或法规要求你保留历史数据,比如电子邮件或财务交易记录,那么别无选择,只能遵守法律。在其它情况下,你可以对数据的价值和保存它的成本进行评估。


MBA课程往往花费大量时间去讨论什么样的客户是非赢利性客户。所谓的非赢利性客户是指那些为了维持这些客户,所花费的成本超过从其本身所能获得的利润。利润也包括由于这些客户的引见而带来的业务所产生的利益。在理想情况下,最好不要保持非赢利性客户或停止继续为他们提供服务。筛选非赢利性客户的概念同样也适用于筛选数据。在大多数情况下,经过足够的调查分析,你很有可能会发现什么数据能增加收益,什么数据会降低收益。就像某些客户不能给企业带来利润一样,某些数据能带给我们的价值远低于用于维护它们所花费的成本。


每种选择方案都有一定的价值。准确的价值则取决于最终所选择的方案能够带来的利益。数据选项的价值有限度,为了给这个价值一个界限,我们应该开始回答下述五个问题:


  • 我们过去经常依靠数据做出有价值的决定吗?
  • 在那个决定中,我们使用多久以前的数据?
  • 该数据最终创造的价值是多少?
  • 维护这些旧数据的成本是多少?
  • 平衡成本,最终的结果我们赢利吗?
相关文章
|
5月前
|
SQL 人工智能 自然语言处理
Vibe Coding 是什么?当“感觉编程”遇上数据库
Vibe Coding是2026年编程圈最火的概念之一,指开发者通过自然语言描述“感觉”或“意图”,由AI自动生成代码、调试、优化。本文从Vibe Coding的起源讲起,分析它如何改变数据库开发方式:从手写SQL到自然语言查询、从人工调索引到AI推荐、从经验运维到智能诊断。探讨这项趋势对DBA职业的影响,并给出拥抱变化的实用建议。技术会变,但人的判断力、审美和业务理解才是长期竞争力。
|
4月前
|
人工智能 IDE 数据处理
2026年Vibe Coding系统学习指南:从入门到实战全路径
IDC 2025全球AI编程工具报告显示,Vibe Coding(氛围编程)已成为开发者效率提升的核心路径,62%的技术团队已将其纳入日常开发流程。传统编程学习需数月掌握语法、框架与调试逻辑,而Vibe Coding以自然语言交互为核心,大幅降低入门门槛,但缺乏系统学习方法易陷入“只会描述、不会把控”的误区。本文以PySpark数据处理Pipeline为实战场景,结合TRAE、Cursor、Claude Code等主流工具,从基础认知、工具选型、提示词工程、实战迭代到工程化落地,构建完整学习体系,帮助开发者快速掌握Vibe Coding核心能力。
1947 3
|
9月前
|
API 定位技术 数据库
【信贷审核】如何验证用户填报地址与IP属地一致性?IP查询是基础核验手段
在信贷审核过程中,确保用户提交的地址信息的真实性是防止金融欺诈的关键。本文将深入探讨如何通过IP查询技术,验证用户填报地址与其IP属地的一致性,及其在信贷审核中的应用和实现方法。
|
7月前
|
运维 Kubernetes 应用服务中间件
CI/CD流水线镜像拉取耗时从47分钟降到2分钟,我做了这几件事
换镜像加速源,CI/CD构建从47分钟骤降至2分钟!非代码/硬件优化,仅切换为毫秒镜像(1ms.run)——全源加速(Docker Hub、GHCR、k8s.gcr等),30台服务器10分钟批量配置,失败率归零,凌晨发布成功率100%。
542 16
|
6月前
|
人工智能 UED C++
短视频能做GEO不?我拍了好多产品视频,咋让AI推荐呢?
短视频可做GEO,关键在“文案即内容”:AI主要识别字幕、标题、描述等文字信息。需优化语音解说+字幕+结构化脚本(问题→解答→总结),标题含用户问题,描述详尽200字以上,并做系列化内容矩阵。视频与图文互补,提升AI识别与用户体验。
|
监控 JavaScript 前端开发
JavaScript加密与解密技术:Hook技术应用案例分析
以上案例展示了如何利用JavaScript Hook技术结合强大且广泛采纳标准化算法(如AES),无缝地集成进Web应用程序以增强通信安全性。此种方法不仅能够确保敏感信息得到有效保护,并且由于它们操作适度透明、无需重构已存在代码基础架构而具备较高实际可行性及易操作性。
482 11
|
存储 网络安全 API
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
数据可视化 图形学 Python

热门文章

最新文章