业界 | 别跟风了!你的公司根本不需要数据科学家

简介: 数据科学家不是魔法师,当所需的数据不可得或者质量很差的时候,数据科学家能做的很有限,这已经超过了技术的范畴。企业管理者如果能从全局出发部署数据战略,才能真正解决当下数据科学家的痛点,这样数据科学家才能发挥作用解决公司的痛点。

数据科学家不是魔法师,当所需的数据不可得或者质量很差的时候,数据科学家能做的很有限,这已经超过了技术的范畴。企业管理者如果能从全局出发部署数据战略,才能真正解决当下数据科学家的痛点,这样数据科学家才能发挥作用解决公司的痛点。

大约在四年前,数据科学家成为了每个公司的必须雇的人。技术人员争先恐后地甩掉在大学用的统计课本,花大量的时间重新学习Python Pandas和R,然后恶补最时髦的机器学习理论,再买几件geek制服显得更像那么回事。我就是其中一员。

如果你是做Hadoop开发的,这也是你的黄金时代。因为大家已经达成了共识,不会map/reduce得数据科学家不是合格的数据科学家。伴随着数据科学的热潮,印度的程序员工厂推出了数以千计的Hadoop程序员和数据科学“专家”来迎接未来的“大事件”,一定程度上延长了濒临倒闭的Hadoop公司的寿命。

各大公司在第一时间都开始了对数据科学家的投入。每一家在纳斯达克指数中占有一席之地的公司都向这些数据科学家支付了巨额薪水,他们认为数据的先知力量会让他们挫败竞争对手。

而各个销售经理和高层管理只要每天早上打开iPad就能实时看到公司具体运营情况。数据仪表图成为了重要的地位象征,企业高管会获得具有3D可视化和实时动画散点图的超级豪华仪表图,而基层员工也会看到平面2D仪表盘,虽然没有那么花哨,但也会得到必要的信息和简要的摘要。

然而,这其实改变不了什么。那些数据科学家(大部分具有高学历和多年工作经验,如在制药或高级材料工程领域)将会很快意识到他们使用的数据质量其实非常糟糕。

大家普遍认为企业中存在各个环节、部门的各式各样的数据都是有用的,但是最后他们发现这些数据大部分是过时的,没有固定格式的,只能够为当时需要并收集这些数据的程序员所用。

大部分数据都是以电子表格形式储存,在没有监管的情况下多次被修改,因此与真实数据有很大偏差。很多数据集没有详尽的文档记录,表格的表头名称意义不清,比如MFGRTL3QREVPRJ,不同表格之间也没有一致的主键。换句话说,他们拥有的数据不适合做任何分析,更不要提针对药物试验的专业测试分析。

现在你拿着15万美元的薪水来做可视化仪表图,给那些根本不懂统计只想获得百万利润和巨额提成的销售经理看。你的数据一团糟,根本没法用。当你请求重建数据库时,公司陷入了挣扎,这个项目要花上百万,而他们认为没有必要。现在你面临一个选择,其实你可以撒个谎,用计算机随机产生数据,然后得到一个很可能比目前数据更加准确的结果。但是这对于数据工作者是个难题,因为这违背了他们追求精准的初衷。那该怎么办?

现在,我可以装作一个语义分析传道者,告诉你需要开发一个语义数据中心。实际上,这不是很难实现,并且是有益处的,但它并不是什么神奇的魔法。语义数据可以比较容易转化成可用的数据形式(如果没有发现有用的数据,也能发现并摒弃掉没有的部分),但本质上这不是数据科学问题——它是数据质量和本体工程问题。

好了,对于那些高层决策者,当你遇到数据上的问题,你的数据科学家可以有“万花筒”般的数据分析方法,但是没有高质量的数据做保证,得到的结果一点用都没有。巧妇难为无米之炊,这不是数据科学家的问题,是你的问题,你天天盯着那些能给你赚千万资金的可视化仪表盘,其实是看着你的钱从门前溜走。

在数据分析的项目中尽管你不是实际操作的人,但你的参与绝对不是可有可无,首先你需要明确你想要什么信息,然后花时间与数据科学家和业务人员一起确定需要收集什么数据。不要指望你想要的数据会奇迹般地从数据库中出现。

再来谈谈数据库。数据库大多是为程序员所用,写各种应用程序,它存在的首要目的不是为你的公司提供具有洞见的指导性意见。首先你要坐下来好好想想你已经有什么资源,因为要从别人那里索要数据资源是非常被动的,特别是当这个数据获得权涉及到别人的工作和职责范围的时候。

再者,你要明白大多数数据库都没有详尽的文档记录(有的甚至没有文档记录),很多信息都需要从隐藏文献中提取。这个过程被称为推理计算,很多程序员不愿意做这个事情,因为这意味着他们需要从代码去反推其他程序员的意图,而别的程序员要么已经离职了,要么能力有限,要么已经忘了他们十年前写的东西。

关系型的数据湖不能解决这个问题,数据湖唯一能够解决的问题是让计算机进程能够访问所有的数据。这是此类推理计算的必要部分,但它不是最难也不是最昂贵的部分。最昂贵的部分是弄清楚数据实际意义是什么,获得不同的数据集甚至能够识别出它们是关于同一件事的。这些问题都没有现成的解决方案,需要靠摸索。

这里,我们再次提出语义的解决方案——图形三重存储,RDF,本体管理,查询和所有内容。它不是一个开箱即用的解决方案,但它是一种工具,可以使推理分析变得可行,并且可以把这个工具交给程序员来管理。

不过,你需要经常对整个数据流的过程进行重新思考。你需要知道最开始从哪里获得信息,然后让信息尽早流入数据通道。这需要你的程序员和数据库管理员放弃一定程度的自主权,在一个集中化的环境中工作。作为执行人的你,应该更加熟悉数据治理的世界。

对于商业人士来说,这是一个相当激进的改变,不止一些人意识到他们要实际动手去解决IT问题。不过,如今的企业正在进行转变(并且大部分已经成功转型),成为专业的数据管理公司,产品和服务更像是它们的副产品。

现今CEO的角色是在管理销售的同时了解公司数据的输入与输出,确保他们的数据质量是最好的。这不仅是为了合理的监管,更因为数据的完整最终会决定他们是否能够在市场竞争中脱颖而出。

企业领导者要多与数据团队协作交流,来确定你需要知道什么,想要知道什么,什么东西是相关的,然后再来构建和你商业需求相关的数据收集过程。随意从数据库里提取一些信息来分析,只是徒增磁盘储存的成本而已,雇佣数据科学家来分析垃圾数据只能得到垃圾的分析结果。结果呈现可能很漂亮,各种渐变梯度各种三维效果,然而却毫无价值。

原文发布时间为:2018-08-05
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
6天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1519 0
|
6天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1134 0
|
15天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3797 4
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
3天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
653 0
|
2天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1426 2
|
7天前
|
网络协议 Linux iOS开发
【2026实测】Wireshark下载+安装+汉化+使用教程(图文版,巨详细)
Wireshark 是一款免费开源的网络协议分析工具,可实时捕获、解析并可视化数据包,助你诊断网络故障、分析通信协议(如HTTP、DNS、TCP等)。支持Windows/macOS/Linux,含中文界面,新手入门便捷。(239字)