ES集群规划

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: ES集群规划

目标

今天公司下来了一个需求,想要用ElasticSearch搜索来存储我们设备端服务器上的日志,提供了一个未来预期想要存取的日志规模,让我做一个预估以及规划,向运维中心申请机器来保证日后业务的扩展.

需求

有十万台服务器,每台机器每秒平均会产生2条日志,需要保存30天的日志信息,根据调研,平均每条日志的大小为400字节,也就是说.

100000 x 2 (每秒平均2条) x 3600 (小时) x 24 (一天) x 30 (一个月) = 518,400,000,000 条日志

518,400,000,000 x 0.4 (约为0.4KB) / 1024(MB) /1024(GB) / 1024(TB) = 193TB 需要的空间大小

193TB / 2T(ES默认单节点大小 推荐2T 最大5T) ≈ 97 台节点

结论

当然实际上肯定至少得预留到100台左右,97台是根据2T的内存预留的,因为涉及到集群管理,我们肯定还有master选取节点来保证一个单数,防止脑裂情况的出现,至于具体的分片分配策略,以及冷热集群我们在之后实现的时候再进行具体说明 ~

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
存储 边缘计算 运维
核心网架构 | 带你读《5G时代的承载网》之十三
对 5G 核心网进行了颠覆性的设计,通过基于服务的架构、网络切片、C/U 分离等,结合云化技术,实现网络的定制化、开放化、服务化,支持大流量、 大连接和低时延的万物互联需求。
核心网架构  | 带你读《5G时代的承载网》之十三
|
小程序
小程序for循环中key值的作用?
小程序for循环中key值的作用?
|
8月前
|
数据挖掘 BI
|
算法 Java
JAVA并发编程系列(8)CountDownLatch核心原理
面试中的编程题目“模拟拼团”,我们通过使用CountDownLatch来实现多线程条件下的拼团逻辑。此外,深入解析了CountDownLatch的核心原理及其内部实现机制,特别是`await()`方法的具体工作流程。通过详细分析源码与内部结构,帮助读者更好地理解并发编程的关键概念。
|
存储 安全 网络协议
信息安全管理与评估赛题第4套
信息安全管理与评估赛题第4套
923 0
|
11月前
|
安全 网络协议 Linux
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。通过掌握 ping 命令,读者可以轻松测试网络连通性、诊断网络问题并提升网络管理能力。
952 3
|
10月前
|
人工智能 算法 数据挖掘
开源更新|通义3D-Speaker多说话人日志功能
开源更新|通义3D-Speaker多说话人日志功能
|
缓存 监控 Linux
Linux 软件安装与卸载
在Linux上,学习安装和卸载软件是基础。以网络监控工具iftop为例,安装涉及下载源码(`wget`),解压(`tar -zxf`),配置(`./configure`),安装依赖(如`libpcap-devel`),再执行`make`和`make install`。另外,可以通过RPM或YUM(在CentOS中可能是DNF)管理软件,如`rpm -ivh`安装,`rpm -e`卸载,`yum install`或`dnf install`同样用于安装。了解这些命令能提升Linux系统的管理效率。
233 0
|
计算机视觉
【已解决】cv2.imread读取中文名称图片报错或者无法保存中文名图片:使用cv2.imdecode与cv2.imencode解决
【已解决】cv2.imread读取中文名称图片报错或者无法保存中文名图片:使用cv2.imdecode与cv2.imencode解决
|
设计模式 安全 API
软件体系结构 - 架构风格(5)层次结构架构风格
【4月更文挑战第21天】软件体系结构 - 架构风格(5)层次结构架构风格
1206 0