大数据分析架构中需要权衡的四个因素

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
文章讲的是 大数据分析架构中需要权衡的四个因素通过提供对更广泛信息集的访问,大数据就可以为数据分析师和业务用户产生分析见解提供一臂之力。成功的大数据分析应用程序会揭示某些趋势和模式,以此来为决策制定提供更好的服务,并会指出新的创收机会和让企业领先于他们的商业竞争对手的方法。但首先,企业往往需要增强他们现有的IT基础设施建设以及数据管理流程以支持大数据架构的规模和复杂性。

  Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过,在很多情况下,企业利用他们现有的数据仓库设施,或是一个新老混合的技术来对大数据流入他们的系统进行管理。

  无论一个公司部署什么类型的大数据技术栈,有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前,去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。

  数据准确性

  数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可以对数据中信任缺乏的问题加以弥补:在Excel中存储和操作分析数据的功能为支持自助分析能力创造了环境,但可能不会激发其他用户对结果的自信心。数据仓库与数据集成和数据质量工具一起,能够通过为管理BI和分析数据提供标准化流程来帮助树立信心。但是,由于不断增加的数据容量和更广泛多样的数据类型,特别是当涉及结构化和非结构化数据混合时,就会对一个大数据的实施增加难度系数。建立评估数据质量标准以及对它们进行升级以处理那些更大、更多样数据集,对于大数据实施的成功和分析框架的使用是至关重要的。

  存储适用

  数据仓储的一个核心要求是处理和存储大数据集的能力。但并不是所有数据仓库在这方面都满足要求。一些是针对复杂查询处理进行优化,而其他的则并非如此。并且在许多大数据应用程序中,相较于事务系统,由于添加了非结构化数据还有数据的创建和收集增速迅猛,用Hadoop和NoSQL技术增强数据仓库就成为必要。对于一个希望获取并分析大数据的组织来说,光有存储容量是不够的;而重要的部分在于将数据置于何处才是最佳的,这样数据就可以转化为有用信息并为数据科学家和其他用户所利用。

  查询性能

  大数据分析依赖于及时处理和查询复杂数据的能力。一个很好地例子就是:一家公司开发了一个数据仓库用来维护从能源使用计收集到的数据。在产品评估过程中,某供应商的系统有能力在15分钟内处理七百万条记录,而另一家则在相同时间内可以处理最高三十万条记录。能否识别正确的基础设施来支持快速的数据可用性和高性能查询就意味着成功还是失败。

  稳定性

  随着许多组织中数据量和数据种类的增长,大数据平台的建立需要有对未来的考量。必须提前考虑和求证正在进行评估的大数据技术是否能够进行扩展,以达到不断向前发展的需求所要求的级别。这便超出了存储容量的范畴,将性能也包含了进来,对那些从社交网络,传感器,系统日志文件以及其他非事务源获取数据作为其业务数据扩展的公司来说尤为如此。

  分析多样而复杂的数据集需要一个健壮且富有弹性的大数据架构。在筹划项目时通过对这四个因素进行考量,组织可以确定他们是否已经拥有能够处理如此严苛大数据的分析程序亦或是需要额外的软硬件以及数据管理流程来达到他们的大数据目标。


作者: 曾少宁 译

来源:IT168

原文链接:大数据分析架构中需要权衡的四个因素

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
102 2
|
1月前
|
大数据
【赵渝强老师】大数据主从架构的单点故障
大数据体系架构中,核心组件采用主从架构,存在单点故障问题。为提高系统可用性,需实现高可用(HA)架构,通常借助ZooKeeper来实现。ZooKeeper提供配置维护、分布式同步等功能,确保集群稳定运行。下图展示了基于ZooKeeper的HDFS HA架构。
|
1天前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
28 8
|
6天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
5天前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
38 4
|
1月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
160 3
【赵渝强老师】基于大数据组件的平台架构
|
24天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
60 4
|
1天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
9 0
|
25天前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
33 4
|
26天前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
165 5
下一篇
DataWorks