云端部署大数据解决方案该用IaaS还是PaaS?

简介:

通过快速部署、很低的资本成本和可扩展性,云计算给公司企业了巨大的价值。

然而,选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响。

将大数据解决方案部署到云端时,一个早期的讨论点和常见的架构决定就是选择IaaS解决方案,还是选择PaaS解决方案。大多数大型云服务提供商同时提供高度专业化的PaaS功能和比较灵活的IaaS功能,让架构师可以选择合理兼顾功能、成本、速度和可扩展性等方面的部分。

大数据市场的IaaS解决方案据往往是通常部署在企业内部本地的技术,但部署在云服务提供商的环境里面的虚拟机中。像Hadoop、Cassandra和MongoDB这些技术常常部署在公共云上,采用了类似本地部署环境的架构。

PaaS解决方案为广大用户提供了一系列功能,这些功能常常通过一套标准的API加以显露,这些API可通过编程予以利用,以便迅速开发和部署应用程序。AWS的常见PaaS解决方案包括:面向数据仓库的Redshift和面向NoSQL数据库服务的DynamoDB。谷歌在提供PaaS功能时,还提供Bigtable(键/值存储系统)和BigQuery(具有高度扩展性的数据分析引擎,支持类似SQL的大型数据集查询)。

虽然每种解决方案各有独特的优势,但实际采用会不一样,取决于具体的运营需求和技术特性要求。IaaS和PaaS方面需要权衡的一些常见因素如下:

IaaS

让部署的云能够酷似用于本地大数据解决方案的技术架构。

让基于云的架构与提供商认证计划和首选应用程序框架的联系更加紧密。

让应用程序和工作负载在云服务提供商之间更加易于移植。

能够考虑一系列更广泛的云,包括提供更为传统的主机托管服务的提供商。

需要一系列更广泛的技能,包括系统管理和运营。

通常根据相对计算和存储资源的每小时费用来进行定价。

PaaS

通过对服务消费使用一种编程方法,可以更迅速地实现价值。

通过完善PaaS功能来获得成熟的可扩展性:先作为云提供商的内部技术,然后作为PaaS功能提供给外面的用户。

定价模式通常基于迁移的数据量或者是针对特定API的请求数。

在云端构建大数据解决方案时,你在考虑IaaS和PaaS功能以确定哪个更适合你具体的使用场合和工作负载时,有几个关键的问题需要评估:

技能组合评估――PaaS解决方案需要较低的运营开销和较少的系统级技能,但确实需要开发人员有相应经验,并且熟悉用来调用PaaS解决方案的特定API和方法。

应用程序支持――许多大数据部署环境在充分利用商业化工具用于可视化和预测分析,这类工具往往需要数据平台(比如PaaS和IaaS部署所用的那些平台)方面有相应认证。你应该评估所有PaaS解决方案,确保API符合将来被集成的额外工具的要求。

成本模式――IaaS和PaaS之间的成本模式全然不同。PaaS系统将基于使用情况,所以预料不到的负载会对成本产生意料之外的影响,而IaaS基于可用计算容量,所以可能存在这种情况:为环境配置过多的资源,为未使用的资源花冤枉钱。

就构建大数据平台而言,云计算提供了灵活的选择方案:可以迅速部署的PaaS解决方案,以及灵活、易于移植的IaaS解决方案。贵企业应该从核心需求和技术要求入手,确定哪条道路最适合自己。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
1598 0
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
576 2
|
传感器 监控 大数据
指挥学校大数据系统解决方案
本系统集成九大核心平台,包括中心化指挥、数据处理、学生信息、反校园欺凌大数据、智慧课堂、学生行为综合、数据交换及其他外部系统云平台。通过这些平台,系统实现对学生行为、课堂表现、校园安全等多维度的实时监控与数据分析,为教育管理、执法机关、心理辅导等提供强有力的数据支持。特别地,反校园欺凌平台利用多种传感器和智能设备,确保及时发现并处理校园霸凌事件,保障学生权益。同时,系统还涵盖超市、食堂、图书馆、消防安全等辅助云平台,全面提升校园智能化管理水平。
|
存储 SQL 分布式计算
MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商,致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战,聚水潭采用MaxCompute近实时数仓Delta Table方案,有效提升数据新鲜度和计算效率,提效比例超200%,资源消耗显著降低。未来,聚水潭将进一步优化数据链路,结合MaxQA实现实时分析,赋能商家快速响应市场变化。
524 0
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
存储 弹性计算 分布式计算
云端智链:挖掘云计算中的大数据潜能
云端智链:挖掘云计算中的大数据潜能
363 21
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
1559 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
633 2
|
弹性计算 缓存 搜索推荐
大数据个性化推荐,AWS终端用户解决方案
大数据个性化推荐,AWS终端用户解决方案
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
641 0