数据分析需要权衡哪些要素?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

无论一个公司部署什么类型的大数据技术栈,有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前,去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。

数据分析需要权衡哪些要素?

数据准确性

数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可以对数据中信任缺乏的问题加以弥补:在Excel中存储和操作分析数据的功能为支持自助分析能力创造了环境,但可能不会激发其他用户对结果的自信心。数据仓库与数据集成和数据质量工具一起,能够通过为管理BI和分析数据提供标准化流程来帮助树立信心。但是,由于不断增加的数据容量和更广泛多样的数据类型,特别是当涉及结构化和非结构化数据混合时,就会对一个大数据的实施增加难度系数。建立评估数据质量标准以及对它们进行升级以处理那些更大、更多样数据集,对于大数据实施的成功和分析框架的使用是至关重要的。

存储适用

数据仓储的一个核心要求是处理和存储大数据集的能力。但并不是所有数据仓库在这方面都满足要求。一些是针对复杂查询处理进行优化,而其他的则并非如此。并且在许多大数据应用程序中,相较于事务系统,由于添加了非结构化数据还有数据的创建和收集增速迅猛,用Hadoop和NoSQL技术增强数据仓库就成为必要。对于一个希望获取并分析大数据的组织来说,光有存储容量是不够的;而重要的部分在于将数据置于何处才是最佳的,这样数据就可以转化为有用信息并为数据科学家和其他用户所利用。

查询性能

大数据分析依赖于及时处理和查询复杂数据的能力。一个很好地例子就是:一家公司开发了一个数据仓库用来维护从能源使用计收集到的数据。在产品评估过程中,某供应商的系统有能力在15分钟内处理七百万条记录,而另一家则在相同时间内可以处理最高三十万条记录。能否识别正确的基础设施来支持快速的数据可用性和高性能查询就意味着成功还是失败。

稳定性

随着许多组织中数据量和数据种类的增长,大数据平台的建立需要有对未来的考量。必须提前考虑和求证正在进行评估的大数据技术是否能够进行扩展,以达到不断向前发展的需求所要求的级别。这便超出了存储容量的范畴,将性能也包含了进来,对那些从社交网络,传感器,系统日志文件以及其他非事务。 


原文发布时间为:2017-10-24

本文作者:佚名

本文来自云栖社区合作伙伴“51CTO”,了解相关信息可以关注。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
供应链 监控 搜索推荐
数据驱动方式如何帮助企业提高决策的准确性和效率?
【10月更文挑战第13天】数据驱动方式通过提供全面准确的信息、及时发现问题和机会、提高决策效率、实现精细化决策、降低决策风险、促进协同沟通以及增强适应性等多方面的作用,显著提高了企业决策的准确性和效率。在当今数字化时代,企业应积极拥抱数据驱动的理念和方法,充分利用数据的价值,为企业的发展和成功奠定坚实基础。你所在的企业是如何运用数据驱动方式来提升决策水平的呢?分享一下你们的经验和做法吧。
44 0
|
3月前
|
数据采集 数据挖掘 数据格式
如何提高数据分析的效率?
如何提高数据分析的效率?
48 1
|
4月前
|
数据可视化
高效的时间序列可视化:减少认知负荷获得更清晰的洞察
本文探讨了时间序列数据可视化中的挑战,特别是在处理多个数据集时。通过减少认知负荷,即处理信息所需的脑力,良好的可视化设计能帮助观察者更快理解数据趋势。文章以疫苗接种数据为例,展示了不同类型的图表(如无连线散点图、带连线散点图、纯折线图以及带有填充区域的折线图)在展示单一时间序列时的效果,并对比了多种多时间序列可视化方法,包括无连线散点图、带连线的折线图以及直接标注的图表,以突出最佳实践。通过这些例子,文章强调了减少认知负荷的重要性,它能帮助观察者快速理解趋势、避免误解并维持较高的参与度。最终目的是通过清晰且直观的设计来提升数据理解效率,支持更优的决策制定。
60 0
高效的时间序列可视化:减少认知负荷获得更清晰的洞察
|
3月前
|
机器学习/深度学习 数据挖掘 定位技术
领域大模型驱动的数据分析预测能力如何处理现代社会犯罪活动?
领域大模型驱动的数据分析预测能力如何处理现代社会犯罪活动?
71 0
|
7月前
|
机器学习/深度学习 数据采集 供应链
从数据到决策:scikit-learn在业务分析中的应用
【4月更文挑战第17天】本文探讨了scikit-learn在业务分析中的应用,包括数据预处理、分类、回归和聚类模型的构建,以及模型评估与优化。通过使用scikit-learn,企业能有效处理数据、预测趋势、客户细分并制定决策,从而提升经营效率和市场策略。随着机器学习的发展,scikit-learn在业务分析领域的潜力将持续释放,创造更多价值。
|
数据挖掘
4_数据分析—数据重构
4_数据分析—数据重构
168 0
4_数据分析—数据重构
|
监控 数据挖掘 BI
数据分析7大能力:梳理数据需求
今天分享数据分析师必备的工作能力——需求梳理。需求梳理很不起眼,甚至很多小伙伴感受不到他的存在。但它结结实实影响到大家的下班时间和绩效。
1227 0
|
机器学习/深度学习 分布式计算 算法
大数据建模、分析、挖掘技术应用
掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用,以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。
|
数据采集 数据挖掘
数据分析八大模型:漏斗模型
今天跟大家分享的是漏斗模型。漏斗模型,是一个大家能在各式各样的场合听到,但是总是感觉没讲到位的模型,今天简单分享一下。
563 0
数据分析八大模型:漏斗模型
|
机器学习/深度学习 SQL 算法
从开发视角看数据分析
导读:数据分析就是要从杂乱无章的数据中将某个或者某些核心指标做提炼、归纳、总结,找到某个规律,但往往得到的结论不足以支撑下一步的动作,劳心劳力最后无果,又要再继续深挖。本文并不是一篇专业的数据分析方法论,而是从研发角度对自己做的一些数据分析进行思考和总结。
从开发视角看数据分析