Linux
常用命令
(1)cd: 切换目录
(2)pwd:显示当前工作目录的绝对路径
(3)ls: 查看当前目录下的内容(ls只列出文件名/目录名)
(4)ll:查看当前目录下的所有详细信息(ll列出详细信息)
(5)touch:创建文件
(6)mkdir:创建目录
(7)cat:用于显示文件内容
(8)more:以分页的形式查看文件的内容
(9)less:分页查看文件命令(可以快速定位到最后一页)
①显示大文件
- cat适合小文件或查看文件内容的情况,但对于大文件可能性能较差,因为它一次性加载整个文件。
- more相对于cat来说,它支持逐页显示,但在处理大文件时,性能可能会受到影响。
- less也支持分页,但less对于大文件有更好的性能,因为它只加载当前屏幕所需的数据,避免了一次性加载整个文件。
②滚动和搜索
- cat只能通过终端滚动来查看文件内容,不支持交互式滚动和搜索。
- more支持逐页滚动,但搜索功能相对简单,只能使用基本的正向搜索。
- less支持更灵活的滚动,可以使用箭头键进行精确滚动,并且提供了强大的搜索功能,支持正向和反向搜索,以及搜索高亮显示。
③退出方式
- cat没有交互式操作,退出方式只能通过终端控制。
- more只能通过按q键退出。
- less支持多种退出方式,如:q、:q!、:wq等,提供更多的灵活性。
(10)tail:查看文件最后几行
如:tail -10 // 查看最后10行
(11)cp:复制文件或目录
(12)mv:移动文件/改文件名
①语法:mv [选项] 源文件 目标文件
②移动文件:
mv /path/to/source/file /path/to/destination/file
③重命名文件:
mv /path/to/source/file /path/to/destination/new_file_name
(13)rm:删除文件或文件夹
(14)find:查找指定文件或目录
(15)vi/vim:编辑
(16)tar:解压、压缩
(17)ifconfig:用于查看和更改网络接口的地址和参数
(18)ping ip地址:用于检测与目标的连通性
docker
docker的好处
(1)提供统一的运行环境
确保项目在开发、测试以及上线环境的运行结果是一样的。Docker=jar/war+环境
(2)便捷的应用迁移
无论是物理机还是虚拟机,Docker的运行结果都是一样的。用户可以很方便的将一个平台上运行的应用迁移到另一个平台上。
(3)超快的启动时间
直接运行于宿主机系统中,无需启动操作系统,因此可以做到很快的启动
(4)更轻松的维护和扩展
Docker使用的分层存储以及镜像的技术,使得应用重复部分更为容易,基于镜像进一步扩展镜像也很简单。
(5)简化配置与管理: Docker通过将应用及其依赖打包成单一单元,简化了应用程序的配置和管理。通过dockerfile可以构建镜像,通过docker-compose可以启动服务。
(6)快速部署和扩展,你可能需要快速部署或扩展应用以应对流量增加。手动部署和扩展可能很耗时。但使用Docker,你可以快速启动新的容器实例,实现快速部署和水平扩展。
(7)隔离和安全。在传统部署中,不同的应用可能共享相同的操作系统和资源,这可能导致安全问题。Docker提供了容器隔离,每个容器都运行在隔离的环境中,提高了安全性。
Docker和虚拟机的区别
(1)虚拟机是虚拟出一套硬件后,在其上运行一个完整的操作系统,在该系统上再运行所需的应用进程
(2)docker容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核也没有硬件虚拟。因此容器要比传统虚拟机更为轻便
(3)Docker体积小、启动速度快、性能好;虚拟机体积大、启动速度慢、性能一般
线上日志是什么?
(1)ELK 与 EFK的介绍和对比
ELK 和 EFK 分别是两种开源日志管理和分析平台的缩写,它们均基于 Elasticsearch、Kibana 这两个核心组件,但在日志收集阶段采用了不同的工具。
(2)ELK 是指 Elasticsearch, Logstash, Kibana 三个开源项目的组合:
①Elasticsearch: 一个分布式、实时的搜索和分析引擎,用于存储和检索日志数据。它提供了全文搜索、聚合分析等功能,且支持横向扩展以处理大规模数据。
②Logstash: 一个强大的数据收集、转换和传输工具,负责接收日志数据,对其进行解析、过滤、丰富等处理,然后将处理后的数据发送到 Elasticsearch 中存储。Logstash 支持多种输入源(如文件、网络接口、数据库等)、丰富的过滤插件以及多种输出目标(包括 Elasticsearch)。
③Kibana: 一个可视化平台,用于对存储在 Elasticsearch 中的数据进行交互式探索、分析和可视化呈现。Kibana 提供了直观的仪表板、图表、地图等多种视图,使得用户可以轻松查询、分析日志数据,并创建自定义监控界面。
(3)EFK 是指 Elasticsearch, Filebeat or Fluentd, Kibana 的组合:
①Elasticsearch 和 Kibana 在 EFK 中的作用与 ELK 中相同,分别作为日志数据的存储和分析展示平台。
②Filebeat 或 Fluentd 替代了 ELK 中的 Logstash,作为轻量级的日志收集器:
a.Filebeat: 由 Elastic 公司开发,专为日志收集而设计,具有资源占用低、易于部署的特点。Filebeat 直接从服务器上的日志文件读取数据,对日志进行初步的归集和简单处理(如多行合并、添加元数据),然后将其转发到 Elasticsearch 或其他中间件(如 Logstash、Kafka)。
b.Fluentd: 一个统一的日志收集层,由 Fluentd 社区维护。Fluentd 可以从多种来源(如文件、标准输出、数据库等)收集日志,并通过插件机制提供丰富的数据解析、过滤和转换功能。处理后的日志数据被发送到指定的后端存储(如 Elasticsearch)或消息队列(如 Kafka)。
(4)ELK 与 EFK 的主要区别:
①日志收集阶段:ELK 使用 Logstash 作为集中式的日志处理器,它功能强大但相对资源消耗较高,适合复杂的数据清洗、转换场景。而 EFK 更倾向于采用 Filebeat 或 Fluentd,两者都是轻量级的日志收集代理,资源占用少,更适合大规模部署,尤其是在容器环境中。
②架构灵活性:EFK 提供了 Filebeat 和 Fluentd 两种选择,可以根据项目需求、现有环境和技术栈偏好来决定使用哪一个。Filebeat 更简洁易用,与 Elastic 生态深度集成;Fluentd 功能更全面,插件生态系统丰富,支持更多的数据源和输出目标。
③性能和资源优化:由于 Filebeat 和 Fluentd 相对于 Logstash 资源消耗更低,EFK 方案在大规模部署时可能带来更好的性能和更低的运维成本。尤其是对于容器化环境中的微服务架构,每个容器内部署一个轻量级的日志收集器更为高效。
(5)综上所述,ELK 和 EFK 主要的区别在于日志收集阶段所使用的工具,前者使用 Logstash,后者使用 Filebeat 或 Fluentd。选择 ELK 还是 EFK,通常取决于具体应用场景的需求、资源预算、现有技术栈以及对日志处理复杂度的要求。随着技术的发展,业界越来越多地倾向于采用 EFK 方案,特别是在容器云环境中,以适应现代分布式系统对日志管理的轻量化、高性能要求。同时,也有其他日志管理解决方案如 Grafana Loki 等可供考虑。