国内数据分析“七宗罪”

简介:

每一个做过调研的人,都会惊讶于中美两国在大数据分析理念和客户心态上的巨大差别。

“企业数据分析,中美在理念方面相差2-3年,而在实际执行层面或许有5年左右的差距。”美国数据分析科学家、Taste Analytics创始人及全美五大可视化研究中心的Derek Wang(汪晓宇)博士表示。

目前,国内的企业级客户在进行大数据分析时,仍以分析结构化数据为主,而对于内涵丰富的非结构化数据,市面上并没有有效的工具进行分析。

同时,在进行结构化数据分析时,仍采用了“招标+外包”的传统模式,即需要大数据分析服务的企业按照历史经验首先建立自己的数据分析KPI(关键绩效指标),然后将整个数据分析任务外包给第三方大数据公司,经过数月的时间后,大数据公司将数据分析的结果返还给甲方企业。

Derek Wang博士表示,这种数据分析的模式,会产生以下几方面的问题,这些问题也正是目前国内的CIO/CTO们颇为头痛的问题。

首先,错过了内涵丰富的非结构化数据。相比结构化数据,非结构化数据对企业同样重要,而目前,国内企业在进行非结构化数据分析方面仍在初始阶段。

第二,KPI非数据驱动生成,缺乏科学性。国内大数据KPI的制定常常以人为经验为准,而不是由数据驱动并且实时生成的,这就有可能造成KPI常年不变,并且缺乏科学性。

第三,数据分析过程冗长。国内企业在进行大数据分析时采用“招标-乙方返还数据分析结果”的方式,整个周期少则也需要1-2个月的时间,往往返还回结果时,企业内部的相关数据已经完全改变了。

第四,浪费了企业内部的分析师资源。采用外包的方式,其实完全浪费了企业内部的分析师资源,从经济效益上很不划算。

第五,数据安全性无法保障。外包的另一个问题就是数据的安全性问题,企业想确保数据以安全的方式交予第三方大数据公司,往往需要耗费额外的时间和经济成本。

第六,数据分析结果不能与企业经济效益直接挂钩。国内企业在进行数据分析时,不仅往往需要数月的时间,而且常常为了分析而分析,分析完之后并不能很好地将分析结果运用到企业经济效益的改善上。

第七,第三方大数据公司分析能力有限。企业看似将数据分析的重任交予了第三方公司,但第三方公司由于缺乏动态、数据驱动的数据分析工具,它其实也是在按照经验制定KPI和进行数据分析,这样分析出的结果难言科学有效。

对此,业内受访专家表示,目前国内企业陷入的数据分析困局,一部分是理念问题,而更多的是技术的制约以及工具的缺乏。“比如对于非结构化数据,其实每个企业都是非常渴望分析,并且希望实时分析的,但目前仍苦于在公开市场上没有好用的分析平台。”


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
大数据 数据挖掘 安全
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
873 4
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
在数字化时代,数据分析至关重要,而Python凭借其强大的数据处理能力和丰富的库支持,已成为该领域的首选工具。Python作为基石,提供简洁语法和全面功能,适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器,其DataFrame结构让表格型数据的处理变得简单高效,支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒,能以直观图表展现数据分析结果。掌握这三大神器,你也能成为数据分析领域的高手!
262 2
|
机器学习/深度学习 算法 数据挖掘
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
371 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
1215 4
数据分析的 10 个最佳 Python 库
|
机器学习/深度学习 数据采集 数据可视化
数据分析之旅:用Python探索世界
数据分析之旅:用Python探索世界
153 3
|
供应链 数据可视化 数据挖掘
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题一
本文详细介绍了第十一届泰迪杯数据挖掘挑战赛B题的解决方案,涵盖了对产品订单数据的深入分析、多种因素对需求量影响的探讨,并建立了数学模型进行未来需求量的预测,同时提供了Python代码实现和结果可视化的方法。
484 3
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题一
|
SQL 数据挖掘 Python
数据分析编程:SQL,Python or SPL?
数据分析编程用什么,SQL、python or SPL?话不多说,直接上代码,对比明显,明眼人一看就明了:本案例涵盖五个数据分析任务:1) 计算用户会话次数;2) 球员连续得分分析;3) 连续三天活跃用户数统计;4) 新用户次日留存率计算;5) 股价涨跌幅分析。每个任务基于相应数据表进行处理和计算。
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【9月更文挑战第2天】数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
169 5
|
数据挖掘 PyTorch TensorFlow
Python数据分析新纪元:TensorFlow与PyTorch双剑合璧,深度挖掘数据价值
【7月更文挑战第30天】随着大数据时代的发展,数据分析变得至关重要,深度学习作为其前沿技术,正推动数据分析进入新阶段。本文介绍如何结合使用TensorFlow和PyTorch两大深度学习框架,最大化数据价值。
361 8