数据分析在私有云平台运维中的应用

简介:

随着IT技术的发展,各行各业的产生的数据正在以爆炸性的速度增长。为了从这些数据中挖掘出可用的信息并进行持续应用,数据分析变得越来越重要。数据分析使决策变得更加准确和精细,近年来已经逐渐发展成为一个重要的IT技术方向。

云计算技术的发展使得计算资源逐渐集中化、虚拟化。怎么高效、可靠的运营这些云计算平台上的资源就变成了一个重要的课题。本文主要介绍应用数据分析的方法来分析私有云平台的系统容量和资源使用率,进而在提高资源使用率、平衡系统负载和控制进一步资金投入方面提供详细的决策支持。

一、私有云平台运维中的痛点和挑战

在各行各业都在进行私有云建设的今天,在企事业单位中负责私有云平台运维的部门也在承受着来自各个方面的压力。业务部门总是不断地要求更多的资源,更快的部署节奏;财务部门则会要求不断地降低成本,尽量使用已有资源;私有云的运维部门则需要寻求适当的方法以在两者之间达成平衡。

与公有云按时间计费的方式不同,一般作为企事业单位内部建设和使用的私有云并没有成熟的计费体系,而作为资源使用者的一般员工对于成本更是不太关心。这就会导致一方面员工闲置了大量资源,而另一方面员工又在以各种业务需要为名义不停申请新的资源,进而导致私有云的运维部门总是感觉资源紧张而要求增加投资,财务部门则会感觉私有云是个需要不断投入的无底洞。

二、以数据分析为基础的私有云平台优化系统概况

为了切实解决上述问题,我们需要一种有效的可度量的技术手段。而数据分析正好为我们提供了一种系统性的解决上述痛点和挑战的方法。如图1所示,基于硬件系统和虚拟化平台之上的监控系统 (Universal Monitoring) 为整个优化系统提供关于私有云平台的各种资源利用率的数据来源,同时在这一层动态生成虚拟机资源配置信息数据库(Federated DB)。在此之上以数据分析的方法和相关软件对监控系统产生的数据进行分析,并以分析结果生成关于资源利用率和系统容量的报表(Dashboard &Report)。最后根据报表进行资源优化调整和进行进一步投资的决策(Optimization)。这样就形成了一个完整的私有云平台建设和维护的循环:从投资到云平台建设,再到监控现有平台资源并分析资源使用情况,最后生成报表并采取优化措施和决定是否进一步投资。

图1:私有云平台优化系统系统架构图

三、以数据分析为基础的私有云平台优化系统详细介绍

3.1 系统监控

系统监控的目的是将所有系统资源配置和使用的情况置于集中统一的监控之下, 而监控系统会产生大量时序的监控数据,这是我们后续进行数据分析的数据来源。系统监控可以使用成熟的商业软件如IBM Tivoli Monitoring(ITM)来达成这个目的。关于ITM在虚拟化环境中的部署可以参考文章(应用IBM Tivoli实现虚拟化环境的监控http://storage.it168.com/a2011/0106/1147 /000001147294.shtml)。现在也出现了一些开源的软件如Nagios, Cacti, Zabbix等,但开源软件在不同平台的适用性方面还需要做大量的定制才能达成目的。

3.2 Federated DB

Federated DB的目的是根据监控系统生成的配置数据生成云平台中统一的配置信息数据库,同时配置信息数据库会与资源所有者等信息进行关联以达到人、资源、配置等信息同步可查。

3.3 数据分析

数据分析是指通过技术、技能和实践来持续探索和研究既往的业务数据从而获得洞察力以驱动新的业务规划。 可以运用IBM SPSS Modular对监控数据进行处理,根据不同的技术指标(如物理机CPU, 物理机内存,物理机Disk, 虚拟机CPU, 虚拟机内存等)进行分析及按照时间序列进行预测。找出不同物理机、虚机的资源利用率曲线及未来趋势。同时开源的R语言也可以通过一定的编程达到上述目的。

3.4 报表

根据数据分析的结果,利用成熟的报表工具来呈现用户关心的内容和关键指标。可以运用IBM Cognos报表工具来展示物理机及虚机的资源利用率、系统容量、虚拟机分类信息、用户行为信息等云平台运维部门和云平台实际使用部门关心的不同信息。同时一些开源的报表工具如BIRT等也可以通过一定量的编程来实现上述目的。

3.5 系统优化

在获得了准确的物理机及虚机的利用率、容量等信息以后,云平台运维部门可以根据不同的情况对系统进行优化。如对资源利用率低的机器增加负载,以提高资源利用率;对资源率用率过高的机器减少负载,避免因为负载过高而产生问题。对于云平台上的虚拟机,如果资源利用率较低,可以联系用户看是否可以删掉这个虚拟机;如果虚拟机资源利用率过高,可以协调用户给其增加必要的资源。通过这样的方式,可以提高私有云平台的整体资源利用率,提高系统可靠性。同时在进一步投资决策的时候可以参考现有系统的资源使用率和可用系统容量,进而从整体上降低私有云平台的运营成本。

四、总结

目前数据分析在IT运维中还没有得到大范围的应用。由于私有云平台自身的特点,数据分析在私有云运维中可以发挥较大的作用,但要想达到最终的目的,我们需要多层次的知识、技能和相应工具。从数据采集、数据分析、报表生成及采取相应措施来进行系统优化是一个集成了从底层到应用层的较长的过程。每一层都需要付出相当的努力才能最终将系统集成起来并发挥效益。


本文作者:万盛

来源:51CTO

目录
打赏
0
0
0
0
193
分享
相关文章
云上玩转Qwen3系列之三:PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用,通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了 MCP+OLAP 的智能数据分析能力,使用自然语言即可实现 OLAP 数据分析的查询效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。
传统企业如何玩转平台工程?2 个运维靠它管 50 + 应用
做了五年运维,最深刻的感悟是:技术自负是效率的天敌。以前总觉得懂 Kubectl 命令才专业,直到被平台工程打脸,真正的专业不是炫技,而是让复杂技术为业务服务。现在我常跟新人说:能让开发和厂商爽的运维,才是好运维,而 Rainbond,就是那个让所有人都爽的神器。
传统企业如何玩转平台工程?2 个运维靠它管 50 + 应用
基于 StarRocks + Iceberg,TRM Labs 构建 PB 级数据分析平台实践
从 BigQuery 到开放数据湖,区块链情报公司 TRM Labs 的数据平台演进实践
WGCLOUD运维平台的分布式计划任务功能介绍
WGCLOUD是一款免费开源的运维监控平台,支持主机与服务器性能监控,具备实时告警和自愈功能。本文重点介绍其计划任务功能模块,可统一管理Linux和Windows主机的定时任务。相比手动配置crontab或Windows任务计划,WGCLOUD提供直观界面,通过添加cron表达式、执行指令或脚本并选择主机,即可轻松完成任务设置,大幅提升多主机任务管理效率。
建筑矿山设备工厂如何应用MyEMS开源能源云平台
建筑矿山设备工厂是一家全球领先的采矿和基础设施技术公司,1993年在南京设立首家中国工厂,专注于研发与生产露天凿岩设备、地下采矿设备等。2014年将中国区总部迁至南京,进一步深化本土化战略。MyEMS开源能源管理系统基于ISO 50001标准,提供电、水、气等多能源介质的采集、分析与优化功能,助力工厂实现能耗透明化、碳排放管理及能效提升。项目成果显著,通过AI驱动的能效模型和预测性维护,实现年度电费节省超50万元,碳排放强度下降12%。未来计划进一步整合微电网与智能化技术,推动绿色智能制造转型。
37 0
大模型也能当“运维警察”?——大模型技术在异常检测中的应用
大模型也能当“运维警察”?——大模型技术在异常检测中的应用
641 13
销售易CRM:移动端应用与数据分析双轮驱动企业增长
销售易CRM移动端应用助力企业随时随地掌控业务全局。销售人员可实时访问客户信息、更新进展,离线模式确保网络不佳时工作不中断。实时协作功能提升团队沟通效率,移动审批加速业务流程。强大的数据分析与可视化工具提供深度洞察,支持前瞻性决策。客户行为分析精准定位需求,优化营销策略。某中型制造企业引入后,业绩提升30%,客户满意度提高25%。
容器化浪潮下的AI赋能:智能化运维与创新应用
近年来,容器技术以其轻量、高效、可移植的特性成为云原生时代的基石,推动应用开发和部署方式革新。随着容器化应用规模扩大,传统运维手段逐渐力不从心。AI技术的引入为容器化生态带来新活力,实现智能监控、自动化故障诊断与修复及智能资源调度,提升运维效率和可靠性。同时,AI驱动容器化创新应用,如模型训练、边缘计算和Serverless AI服务,带来更多可能性。未来,AI与容器技术的融合将更加紧密,推动更智能、高效的运维平台和丰富的创新应用场景,助力数字化转型。
Websoft9 运维面板,全网真正的一键部署应用
Websoft9运维面板实现应用真·一键部署,通过智能环境适配、安全架构与容器化技术,将传统数小时部署缩短至分钟级,显著提升效率与安全性。
100 5
阿里云操作系统控制台评测:国产AI+运维 一站式运维管理平台
本文详细评测了阿里云操作系统控制台,作为一款集运维管理、智能助手和系统诊断于一体的工具,它为企业提供了高效管理云资源的解决方案。文章涵盖登录与服务开通、系统管理与实例纳管、组件管理与扩展功能、系统诊断与问题排查以及实时热点分析与性能优化等内容。通过实际操作展示,该平台显著提升了运维效率,并借助AI智能助手简化了复杂操作。建议进一步完善组件库并增强第三方兼容性,以满足更多高级运维需求。
274 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问