暂时未有相关云产品技术能力~
华为云享专家、51CTO专家博主、DevOps运维领域优质创作者、 2021年度博客之星运维与安全领域TOP1,某厂高级运维工程师擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、大规模互联网WEB集群架构、开源软件部署维护等领域。
一张xmind带你全方面了解redis方方面面
filebeat收集多个域名日志并创建不同索引 1.为什么要针对不同的应用系统创建不同的索引 公司生产环境中一台机器上一定会运行着多个域名的应用,web应用也是集群的方式,如果filebeat收集来的日志都是分散存储,且在es上建立的索引也都是分散的,这样不利于日志的聚合汇总,因此就需要把同一种应用的不同机器上的日志全部采集过来存储到一个索引库中,在kibana根据各种条件去匹配
filebeat自定义索引名称 环境准备
filebeat将收集的日志存储在指定es索引库并在kibana上展示日志数据 1.为什么要指定索引库名称 由于一台机器上不止一个应用服务,比如web机器,上面一定会有tomcat、nginx、redis这种服务,如果我们不指定每个应用收集来的日志存放在es集群中的索引名的话,filebeat会将所有的日志存放在一个叫filebeat-xxx的索引库中,这样一来,我们想针对性的看某一个应用的日志将会非常困难
filebeat收集json格式的nginx日志 1.为什么要收集json格式的日志类型 由于nginx普通日志收集过来的日志内容都是存在一个字段中的值,我们想单独对日志中的某一项进行查询统计,比如我只想查看某个IP请求了我那些页面,一共访问了多少次,在普通的日志中是无法过滤的,不是很满意
1.elasticsearch备份工具介绍 elasticsearch备份工具由elasticsearch-dump实现 官网:https://github.com/elasticsearch-dump/elasticsearch-dump 2.安装elasticsearch-dump
elasticsearch防脑裂配置 脑裂产生的原因及现象: 当公司有多个idc机房,并且有多个es集群节点,这些节点都分布在不同的机房,机房之间通过openvpn进行连接,机房1上有2个es节点,并且有1个是主节点,机房2上有2个es节点都是工作节点,当机房产生网络波动后,两个机房之间的es节点不能通信,这时机房1上的两个es节点因为有主节点的存在,依然是正常工作的,但是机房2上的es由于连接不上主节点,就认为主节点挂掉了,
使用filebeat简单收集日志 1.filebeat原理与介绍 filebeat收集日志的原理类似于tail -f命令,等待应用日志产生后,每隔30s将日志进行收集,收集完成后存放在es的索引库中,最后展示在kibana上
1.es安装中文分词器 官网:https://github.com/medcl/elasticsearch-analysis-ik 1.1.安装中文分词器 安装中文分词器的要求: 1.分词器的版本要与es的版本一直 2.所有es节点都需要安装中文分词器 3.安装完分词器需要重启
部署kibana分析系统并连接es展现索引数据 1.kibana分析系统简介 Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级的数据分析与可视化的目的。
elasticsearch集群运维及故障排查 1.elasticsearch集群分片有的地方空缺 问题描述:集群增加到3个节点后,为什么testinfo、linuxbook、index1等索引都出现了很多空缺?
解决harbor上删除镜像不释放空间 docker镜像仓库中镜像的清理,一直是个比较麻烦的事情。尤其是在测试环境当中,每天都会有大量的构建。由此会产生大量的历史镜像,而这些镜像,大多数都没有用。
Elasticsearch分布式大数据搜索集群 文章目录 Elasticsearch分布式大数据搜索集群 1.elasticsearch集群介绍 2.elasticsearch集群部署 2.1.192.168.81.210主节点配置 2.1.1.安装elasticsearch 2.1.2.配置node-1主节点 2.1.3.访问node-1节点 2.2.192.168.81.220从节点配置 2.2.1.安装elasticsearch 2.2.2.配置node-2节点 2.2.3.访问node-2节点 2.3.查看集群状态 3.elasticsearch集群状态码 3.1.green状态
zabbix低级自动发现监控mysql多实例 1.低级自动发现概念 低级自动发现本身就是一个key,在这个自动发现规则中包含有很多个监控原型,这些的监控原型都是依靠于自动发现规则根据各种过滤器最后匹配到的结果进行监控 低级自动发现经常适用于在同一台机器上有很多重复的监控项,人工操作非常繁重,这时候就可以配置一个低级自动发现,将自动发现做成模板,让对应的主机进行链接,经过一段时间的扫描后会自动的加入到监控中
zabbix监控redis Redis使用自带的INFO命令,进行状态监控。以一种易于解释且易于阅读的格式,返回关于 Redis 服务器的各种信息和统计数值。
zabbix监控tomcat的jvm内存 1.介绍 tomcat监控主要是jvm,又来了jvm监控我们可以看到jvm的内存使用情况,内存溢出情况 zabbix监控tomcat使用的是zabbix-java-gateway,zabbix-java-gateway需要java环境
zabbix-sender+crontab+nc实现无agent监控 1.zabbix-sender介绍zabbix获取监控项值的每隔多少时间去主机上去取,有的自定义监控项脚本需要执行很长的时间,有时候根本没法监控,这时就可以用zabbix-sender直接给zabbix-server发送数据,不需要等待脚本取值的时间,也就是说脚本什么时候执行完,将执行的结果通过zabbix-sender直接给zabbix-server发送数据,zabbix-server也就不需要等待了
zabbix-proxy分布式监控配置 1.分布式监控proxy介绍 分布式proxy经常用于公司有多个机房之间进行使用,比如zabbix-server在北京的机房,还有一个机房在上海,上海的机器也要监控,如果搭建两套zabbix监控系统维护起来将非常麻烦,但是使用同一套zabbix监控系统,上海的服务器与北京的服务器也不会通信,也不能吧上海的机器全部配成公网ip。
Jenkins创建用户并分配不同视图的权限 根据不同的部门分配不同的角色,角色成员只能看到自己部门视图内部的jenkins job Jenkins版本:2.249 因安装了中文包的原因,语言大多以中文的方式显示,但不影响配置使用
zabbix利用低级自动发现自动监控tomcat端口 1.为什么要使用自动发现 由于我们tomcat服务器特别多,且每一个上面跑的实例长达几十个,但是这些tomcat的端口也都需要监控起来,如果手动添加的话将会非常麻烦,我们可以利用自动发现,将自动发现配置一些规则并做成模板,给有tomcat的服务器链接模板就可以了,这个过程就会大大减少人工的工作量
时至今日,越来越多的工程团队开始实行敏捷开发,借以推动更短、更快的发布周期。而代码库的增长与更高的生产构建频率,也带动持续集成与持续部署/交付工具快速兴起。 什么是CI / CD?其意义何在?
zabbix自动监控之自动注册 1.自动注册介绍 zabbix自动发现的效率非常慢,每次自动发现的时候都需要对所有的主机进行扫描,也类似与zabbix被动模式,每次都需要向机器进行一次探测,比如这次某个主机没有存在,下次上线了又要重新扫描一次,效率非常低下。 而zabbix自动注册的原理就类似主动模式,每次都是由zabbix-agent主动去向zabbix-server说我上线了,需要加入监控,这时zabbix-server同意后立马就加入监控了,这个效率是非常高的 zabbix自动注册只需要配置四个地方即可生效
zabbix自动监控之自动发现 1.自动发现介绍 当我们有上千台主机都需要加监控的时候用自动发现会非常方便,只需要我们创建一个自动发现规则,设置自动发现的范围,在根据设置的动作就可以将已经安装好agent的Linux服务器自动的添加到监控上
zabbix主动模式与被动模式 1.zabbix主被动模式介绍 被动模式:被动模式就是由zabbix server向zabbix ag
使用snmp监控Linux主机 1.snmp协议介绍 SNMP(简单网络管理协议)也是应用层的一种协议,默认端口号为161,我们平时监控Linux主机都是安装一个agent客户端进行监控,但是有的公司还需要监控网络设备和Windows主机,这时就不得不采用snmp协议去监控设备了
zabbix使用percona插件监控mysql数据库 监控MySQL一般最常用的插件就是percona,percona一开始是cacti监控MySQL的插件,后来觉得还不错就打包了zabbix的版本 percona插件下载地址为:https://downloads.percona.com/downloads/percona-monitoring-plugins/percona-monitoring-plugins-1.1.8/binary/redhat/7/x86_64/percona-zabbix-templates-1.1.8-1.noarch.rpm
蓝鲸自动化运维平台批量创建任务并设置定时 可以在作业平台进行配置 1.新建作业 1.1.进入作业平台
Jenkins更新输出日志改变颜色 Jenkins默认输出日志不带任何字体颜色,除了问题不容易排错影响我们看log的时间
zabbix监控应用页面访问速度并设置告警 1.为什么要使用web监测 web监测类似于一个监控项,可以监控一个站点的使用状态,原理就是通过curl命令去匹配对应的状态码并显示图像
使用curl模拟登陆zabbix 任何模拟登陆都分为三步: 1.获取该网站的cookie,记录请求连接、请求数据 2.模拟登陆 3.验证 最核心的思想就是浏览器怎么访问,我们也怎么访问 带验证码的网站无法通过shell模拟登陆
部署discuz并使用redis加速 1.部署LNMP环境 1.1.准备yum环境
Vcenter创建虚拟机 1.创建iso内容库 1)点击内容库
使用zabbix监控php-fpm服务 1.开启php-fpm状态监控
使用zabbix监控nginx服务 1.开启nginx状态监控
zabbix自定义TCP 11种状态监控模板 如果一直对多个主机同时增加监控项那么会非常麻烦,在实际生产中有很多时候我们都需要对一批机器同时增加多个相同的监控项,如果一个一个手动添加将会非常麻烦,因此就有了模板的诞生,我们只需要创建一个模板,让需要监控的主机链接模板即可
蓝鲸自动化运维平台 1.蓝鲸简介 官网:https://bk.tencent.com/docs/ 腾讯蓝鲸智云,简称蓝鲸,是腾讯互动娱乐事业群(Interactive Entertainment Group,简称 IEG)自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架,提供了 aPaaS(DevOps 流水线、运行环境托管、前后台框架)和 iPaaS(持续集成、CMDB、作业平台、容器管理、数据平台、AI 等原子平台)等模块,帮助企业技术人员快速构建基础运营 PaaS。
grafana增加dashboard 很多公司的grafana都有特别多的dashboard,针对不同的业务做不同的监控图形 今天来总结一下如何创建dashboard
配置grafana直连zabbix数据库 由于grafana都是通过zabbix取值最终展示在图形中,但是由于zabbix某些监控项可能获取值的时间较长,因此我们可以让grafana直连数据库进行直接取值,从而让展示的图形更加准确
zabbix利用grafana实现监控图形展现 1.修改已有的system load监控图像 下面这张图是现在已经有的系统负载监控图,可以看到只有15分钟的负载并没有1分钟和5分钟的负载,我们现在修改一下图形,让他支持1分钟和5分钟的系统负载
zabbix连接grafana 1.安装grafana
解决Linux shell终端后服务宕机问题 以gitbook为例,gitbook总是启动后关闭shell服务立马宕掉如何解决呢,我们可以用screen命令开一个子shell,在里面执行启动命令即可 执行如下完这三条命令后,shell终端关闭,服务也不会断掉了
1.配置maven集成nexus 1.1.配置maven集成enxus
nexus私服部署 1.nexus私服简介 Nexus是一个强大的Maven仓库管理器,它极大地简化了自己内部仓库的维护和外部仓库的访问。利用Nexus你可以只在一个地方就能够完全控制访问 和部署在你所维护仓库中的每个Artifact。Nexus是一套“开箱即用”的系统不需要数据库,它使用文件系统加Lucene来组织数据。Nexus 使用ExtJS来开发界面,利用Restlet来提供完整的REST APIs,通过m2eclipse与Eclipse集成使用。Nexus支持WebDAV与LDAP安全身份认证。
jenkins分布式部署 1.jenkins分布式概念 jenkins分布式就是有多个slave节点,当需要构建的项目非常多时,slave会承担master的工作量,在slave在上创建项目。 slave的环境要和master一致,master上安装了什么软件在slave上要准备相同的,并且路径最好保持一致,与master的区别在于不用安装jenkins
1.老项目改造实现pipline项目自动上线 1.1.通过jenkins获取流水线语法 1.1.1.获取从gitlab上拉取项目的语法 拉取gitlab上的代码可以通过jenkins获取流水线语法最后粘贴到脚本中 点击配置—高级项目选项—流水线—流水线语法
jenkins集成pipeline流水线 1.pipeline概述 pipeline流水线,可以直观的展示每个阶段做的任务,以及每个阶段耗费的时间。 pipeline不在使用鼠标来实现自动构建,也不要去看控制台日志,而是全程使用代码的方式来实现,构建完成后会展示一个视图,用来展示每个阶段完成的情况
jenkins触发钉钉报警 在使用一段时间的邮箱报警后,感觉到有些时候邮件不能及时的去查看,现将准备一个钉钉报警来配合邮件报警一起使用,更好的做到及时收到消息,处理问题。 1.安装钉钉插件 钉钉报警需要安装Ding Talk插件,支持钉钉报警,高本版的jenkins钉钉包叫做Ding Talk
Jenkins升级迁移 由于集成sonarqube的时候Jenkins2.176总是报错,因此直接将2.176升级为2.249,由于2.249是在其他机器上部署的,因此要迁移过来
自定义安装Jenkins2.249 由于之前一直使用的Jenkins2.176版本在做sonarqube集成的时候总是有问题,因此直接使用最新版本的2.249来集成
1.zabbix4.0监控系统部署 zabbix4.0软件分为:zabbix-server-mysql zabbix-web-mysql 这里虽然是-mysql但是不是安装的数据库哟,而是这个zabbix将来使用什么版本的数据库,可以是postgresql也可以是mysql 预先配置