李镇伟_社区达人页

2022年05月

• 05.25 09:26:51
  发表了文章 2022-05-25 09:26:51

  通过工具来规范代码提交与发布日志

  使用https://github.com/conventional-changelog/standard-version和vscode插件”Conventional Commits”工具规范开发人员提交git日志

  

2022年03月

• 03.14 11:15:42
  发表了文章 2022-03-14 11:15:42

  apt方式安装nginx以及动态增加模块nginx-module-vts

  因为有很多人是先通过apt的访问安装了稳定版的nginx。后面突然要增加第三方模块如geoip或者nginx-module-vts等别的模块，这个时候就可以采用本文的方式去动态增加模块。

  

2022年01月

• 01.24 16:13:16
  发表了文章 2022-01-24 16:13:16

  一篇文章带你入门K8S二次开发

  我们经常会在网上看到K8S和周边工具的教程，例如HELM的使用，droneCI的使用，但是很少有文章写，如何基于K8S进行二次开发，本篇文章将使用python和vue进行K8S的二次开发，实现一个简单的查询k8s的pod和node信息的页面

  
• 01.07 10:40:16
  发表了文章 2022-01-07 10:40:16

  python通过sdk从minio下载文件时添加进度条

  Minio是就地环境下比较好用的对象存储工具，适合在CI/CD流程中使用。主要是因为GIT里用LFS来放大文件不妥，把部署流程中需要的中间文件放minio上，通过SDK去存取文件非常方便。 Minio的上传文件fput_object有progress参数，但是下载文件fget_object默认没有 progress 参数，所以我们需要自己用get_object对代码稍加改造，把下载流和进度条结合在一起

  

2021年12月

• 12.17 11:32:45
  发表了文章 2021-12-17 11:32:45

  Argo CD接入LDAP认证或者gitea认证的方法

  argocd默认是通过修改argocd-cm来添加账户的，添加完账户后，还需要使用argocd客户端命令去给账户设置密码，这肯定是比较麻烦的，为了方便使用，我们可以接入ldap认证或者gitea的oauth2认证。 这里我们主要写ldap认证，因为gitea没有提供组信息给dex，而ldap能返回组信息 ,gitea的接入会在文章的末尾进行简单介绍 关键词：argocd ldap dex

  
• 12.15 15:02:42
  发表了文章 2021-12-15 15:02:42

  wxpython解决pyechart打包exe不兼容问题

  wxpython和pyecharts可以搭配使用，在桌面程序中展示web形式的图表。但是在使用pyinstaller打包成exe文件后，可能会出现一些BUG

  
• 12.15 14:57:38
  发表了文章 2021-12-15 14:57:38

  python自动化测试之检查一个json是否包含另外一个json

  做自动化测试的时候，经常会遇到有两个json文件。两个都是复杂嵌套格式。需要比对A.json里是否包含b.json。
• 12.14 10:31:34
  发表了文章 2021-12-14 10:31:34

  docker-compose快速部署LDAP

  开发人员一般会用到很多开发软件，例如GIT,SonarQueb,minio,rancher等程序，这么多的程序，每个程序都有自己的一套账户系统和权限肯定是不合适的，作为用户来说，我们肯定是希望同一个账户能在多个软件中登录，就像一个微信号可以玩腾讯的所有游戏。作为管理员来说，肯定是希望前端开发，后端开发，测试人员的权限是分开的，在一个地方修改，所有软件的权限都能同步变更。那我们就采用了ldap的方式来快速部署试试吧。

  
• 12.10 16:59:50
  发表了文章 2021-12-10 16:59:50

  为k8s里运行的容器配置时区

  我们经常会用一些诸如emqx,nats等第三方中间件，这些中间件往往默认时区就是UTC时区，这其实也没关系，但是打印出来的日志，就会与我们的上海时区差8小时，为了解决这个问题，我的简单解决办法，就是把服务器的时区通过可读的方式挂载进去。
• 12.10 16:54:52
  发表了文章 2021-12-10 16:54:52

  Docker安装redis环形集群

  ApacheIoTDB提供了三种部署方式：源码部署，二进制程序部署，Docker部署 因为我的电脑是Ubuntu的，不兼容ApacheIoTDB，所以我采用了docker方式进行部署(docker是用debian的java镜像)
• 12.10 16:40:50
  发表了文章 2021-12-10 16:40:50

  minio分布式裸机安装（图文并茂）

  因为单机的minio无法扩充节点，无法使用版本功能，于是我们边开始使用minio的分布式版本，minio的分布式版本可以使用docker、kubernetes、裸机三种方式，这里我们使用裸机安装

  
• 12.10 16:30:26
  发表了文章 2021-12-10 16:30:26

  内网穿透访问你家里的树莓派

  你有一个自己的外网服务器，然后捏你又买了一个树莓派放家里吃灰，有一天，你觉得不能让你的树莓派吃灰，你想上班的时候用你的树莓派在家里编译arm用的镜像程序。于是，便有了本篇文章~~~如何通过内网穿透访问你家里的树莓派。（注：仅用于测试，闹着玩，千万别上生产，上生产需要自己进行改造用户权限以及审计功能，这部分就不贴出来了） 使用的工具：docker,rtty，rttys

  
• 12.10 15:46:42
  发表了文章 2021-12-10 15:46:42

  解决Sonarqube quality gate获取不到Sonarqube正确扫描结果的问题

  在Jenkins pipeline中，一般都会用到Sonar-scanner来扫描代码，扫描完之后，把结果上传到SonarQube中，SonarQube把结果与质量阀进行对比，然后通过Sonarqube quality gate来判断这次扫描结果是成功还是失败。 不少同学都遇到过Sonarqube quality gate 获得的最后结果不正确，明明SonarQube中的结果是success,而Sonarqube quality gate判断的结果是pending。 这是怎么一回事呢？

  
• 12.10 15:37:23
  发表了文章 2021-12-10 15:37:23

  参考官网实例，用Dockerfile构建你的第一个python应用

  使用前提：ubuntu系统上已经安装好了docker环境

  
• 12.10 15:20:45
  发表了文章 2021-12-10 15:20:45

  图解OWASP ZAP录制登录请求，并且进行SQL注入测试

  下面几张图请按顺序观看，是作者用OWASP ZAP对某一个网站进行登录的SQL注入测试，网址和登录密码，作者已经打码了，如有侵权或引起其他不适，请联系作者

  
• 12.10 15:15:43
  发表了文章 2021-12-10 15:15:43

  python2.7-wxpython4.0.1-pyinstaller打包的正确用法

  hi 各位看官，本文是截止2018年7月4日，基于python2.7开发wxpython时的打包正确用法。（2018年11月16日，发现pyinstall 3.4版本解决了这个问题了）
• 12.10 15:12:08
  发表了文章 2021-12-10 15:12:08

  wxpython之tree_ctrl图标与点击事件

  wxpython之tree_ctrl图标与点击事件

  
• 12.10 14:00:46
  发表了文章 2021-12-10 14:00:46

  electron+droneCI+minio流水线

  因为我们的electron程序已经开发完成，期望要能开发人员每次上传代码，打了tag就自动build一份deb文件，自动上传到minio，方便运维人员去拿deb文件部署到ubuntu环境上。我们已有的技术栈包含droneCI,minio,python，于是边有了该方案。本文省略了vault,ldap,minio,harbor的安装与配置，这些程序的安装配置就不一一贴出来了

  
• 12.10 12:06:42
  发表了文章 2021-12-10 12:06:42

  #前端需要了解云原生吗？我的回答是‘“yes!”

  前端技术日新月异，很多老哥都抱怨“学不动了”，那么“云原生”到底学不学？我的回答是，“学！”。

  
• 12.09 16:53:05
  发表了文章 2021-12-09 16:53:05

  TDengine安装,python客户端测试,接入DBeaver

  最近在看TDengine数据库，思考如何和我们的边缘集群结合在一起使用，本文结构是： 服务端：ubuntu18系统，通过deb文件安装TDengine数据库，主机IP 192.168.0.13,使用默认用户名密码 客户端：容器运行,python客户端，可以运行在另外一台机器或者K8S集群里 图形化工具：使用Dbeaver添加jdbc驱动，在图形化工具里使用TDengine

  

2021年10月

• 10.09 10:46:26
  发表了文章 2021-10-09 10:46:26

  python根据excel的一列数据产生加权随机数

  最近遇到一个奇葩的事，行政那边说，让估算一下明年的这些杂七杂八费，然后给了我一个excel,里面有200多个这样的费用。我没做过行政，也搞不清这个到底咋来，为什么要弄这玩意。一番交流，原来是上头要的，不一定看，但是东西得有，让我弄个数字和去年差不多的就行。于是变有了下面的故事

  
• 10.09 10:44:43
  发表了文章 2021-10-09 10:44:43

  解决pyinstaller不兼容python-docx的方法

  python-docx是一个python的读写word的库，可以用来读写word文档，向word文档里插入表格，但是与pyinstaller不是原生兼容，需要小改一下

  
• 10.09 10:42:54
  发表了文章 2021-10-09 10:42:54

  python读取excel内容再转变成html添加到outlook中

  读取excel里的表格里的内容，然后打开本机的outlook。把excel里的内容添加到正文里，注意。这里是要添加到正文！正文！正文！而不是添加到附件里

  
• 10.09 10:41:06
  发表了文章 2021-10-09 10:41:06

  python自动化测试：通过faker生成测试数据，通过schema检查返回结果

  假定有如主图相同的http请求。我们一般的做法是，用postman去抓取http请求，然后修改request的body或者header里的数据，点击send按钮，检查返回的response的body是否正确。 对于输入。一般来说，我们会纯手工，或者半自动的，设计测试用例。例如使用边界值分析，等价类划分等方法，用在我们的输入参数中。比如我参数中的configname最多200个参数，我测试输入201个参数。 对于输出。一般来说，我们大部分时候是肉眼检查，或者写代码，通过jsonpath取参数，然后判断是否存在来检查。 这里我打算用一个新的方法来降低测试的手工特性，让他更自动化一点

  
• 10.09 10:37:44
  发表了文章 2021-10-09 10:37:44

  通过队列解决sqllite多线程报错的问题(实现多线程增删改查，以字典形式查询结果)

  小程序后台用的sqllite数据库，刚开始用的时候，没有考虑多线程，而且当时因为数据量少，没有出现过多线程查询报错，现在数据量大了。多线程查询经常报错 ProgrammingError: Recursive use of cursors not allowed. 就是这个头疼的错。在网上查了大量的资料，要么就是加lock=threading.lock(),要么就是加sleep.终究还是解决不了问题。 刚好最近在网上看了一个小哥哥用Queue来解决这个问题。我改进了一下。目前能够使用该方法进行增删改查。查询出来的结果以字典的形式返回。
• 10.09 10:35:36
  发表了文章 2021-10-09 10:35:36

  java测试pulsar实例

  最近公司上了pulsar服务，然后我们需要学习pulsar相关的内容。最好的办法就是自己学习pulsar环境的搭建，然后搭建一个pulsar-server.并且自己建立pulsar-client的消费者和生产者，互相调用，测试连通

  
• 10.09 10:34:33
  发表了文章 2021-10-09 10:34:33

  wxpython 从剪贴板读取文件，读取文字，读取图像

  前段时间有这样一个需求，要读取用户的剪贴板的内容，然后把剪贴板的信息复制到另一个地方。例如： 1.当用户复制的是图片时，把图片复制到一个指定位置。 2.当用户复制的是txt中的一段文字时，获得复制的文字内容。 3.当用户复制的是一个文件时，获得复制的文件名和路径，然后复制到一个指定位置。
• 10.09 10:31:21
  发表了文章 2021-10-09 10:31:21

  Jenkins进阶之docker运行pytest并且出allure报告

  最近想做一个简单的pytest 测试，用allure出报告，结果发现网上的方法都是在windows上装jenkins,然后用jenkins跑一个本地的运行环境。这种做法明显很不2021年。于是我决定做一个在jenkins上使用docker运行pytest，然后再出allure报告的文章。

  
• 10.09 10:28:03
  发表了文章 2021-10-09 10:28:03

  python自动化测试-用于检查嵌套json包含关系

  python做自动化测试的时候，经常要检查复杂嵌套json,文章内容为解决方案
• 10.09 10:25:18
  发表了文章 2021-10-09 10:25:18

  SonarQube的LDAP配置

  SonarQube的ldap配置

  
• 10.09 10:22:33
  发表了文章 2021-10-09 10:22:33

  Jenkins根据pipeline的运行结果，给gitea的合并请求pull-request进行评论

  Jenkins我们已经集成了sonarqube，并且通过sonarqube的gate能获取到结果，并且告知Jenkins是成功还是失败。但是这样还不够，我们需要限制队友向主分支提交代码。我们锁住了master分支，队友只能通过在gitea中向master分支提交pull-request并且通过了sonarqube的代码质量检查，我们才允许合并进主分支。我们急需要一个评论功能，告知我们，这次的合并请求是否允许合并

  
• 10.09 10:17:38
  发表了文章 2021-10-09 10:17:38

  在Kubernetes里使用gradle缓存加速编译和docker in docker例子

  1.我们的代码编译需要用到gradle6.2版本，jdk13版本，docker in docker策略 2.因为是在CI环境中使用，所以gradle容器会因为流水线的触发，不停的启动和删除。下载jar包会非常消耗时间，我们需要持久化这些gradle缓存。 3.挂载这些gradle缓存文件到机器上，可以用ceph集群和NFS,这里我偷懒，先用NFS做，后期资源充足再换成ceph。 4.因为我们有并行流水线的可能，所以gradle容器可能一次不止一个，而gradle的caches一次只能被一个进程占用，为了避免多容器占用同一个gradle的caches，我们需要有策略。

  
• 10.09 10:13:31
  发表了文章 2021-10-09 10:13:31

  K8S重新加入master节点时如何避免etcd报错

  我们有时候会有删除节点，再重新加入master节点的需求，比如master机器改名。这里注意重新加入时，经常会出现etcd报错，这个时候就需要去还没有停止的master节点里的etcd的pod里去，删除该老master节点对应的etcd信息。
• 10.08 17:55:43
  发表了文章 2021-10-08 17:55:43

  diffy做流量比对的实践和样例

  因为要想做这个流量比对，那得有前端代码，后端代码，nginx，测试同学想要熟悉diffy的功能，需要有修改前后端代码的能力，我们的AIMP项目部署起来相对复杂，所以我编写了一个小项目，用于同学们测试。

  
• 10.08 17:51:03
  发表了文章 2021-10-08 17:51:03

  helm更新latest镜像

  有不少朋友跟我说，helm更新statefullset或者deployment时，使用latest镜像，无法更新，其实这个问题很好解决的，可以使用git-hash来解决,也可以使用我们本篇文章里的办法，添加环境变量来解决
• 10.08 17:50:03
  发表了文章 2021-10-08 17:50:03

  logstash6.8.12动态生成elasticsearch的index的正确方法

  网上有很多的【假】logstash动态生成index的文章，看了很多，根本不符合我的需求，所以我决定来一篇干货，真正的解决问题。人狠话不多，代码直接上。我是使用官方提供的helm包进行ELK安装的

  
• 10.08 17:48:21
  发表了文章 2021-10-08 17:48:21

  [docker]通过rsyslog记录日志并转发nginx日志到python程序

  记录我是如何把rsyslog做成docker镜像，获取nginx的accesslog并且转发到python的
• 10.08 17:47:33
  发表了文章 2021-10-08 17:47:33

  在K8S里使用filebeat作为sidecar收集nginx日志

  通过sidecar方法进行接入，与提供日志的容器部署在同一个pod里，主要是配置statefulset里的containers和configmap里的filebeat.yaml 1.把nginx的日志文件挂载在access_log这个volume里，同时在filebeat这个pod里也挂载access_log这个volume 2.filebeat通过subpath的方法挂载单独一个filebeat.yml到/usr/share/filebeat/filebeat.yml。注意，如果不用subpath挂载单个文件的话，是会覆盖掉/usr/share/filebeat/目录的 3.configm

  
• 10.08 17:46:45
  发表了文章 2021-10-08 17:46:45

  Golang使用协程进行mqtt的publish信息性能测试

  开发语言：golang 目的：并发10000个mqtt连接，循环发送publish信息，当时间戳小于某个值的时候，中止循环，退出连接 publish内容是json格式的，未设置时，有默认值，可以通过golang代码修改json内容 登录信息存取在csv文件中，csv文件有多少列，就并发多少个设备连接
• 10.08 17:45:23
  发表了文章 2021-10-08 17:45:23

  自动化测试之统计手工测试期间的接口响应时间

  filebeat采集nginx的日志，以json格式解析后传入elasticsearch，全部字段都是text格式，我们需要把request_time变成double格式才能使用聚合搜索request_time的最大值. 1.获得老索引的mapping信息 2.用这个mapping信息新建一个索引 3.用reindex方法，把老索引的数据迁移到新索引 4.确认新索引数据迁移成功 5.删除老索引 6.获得出新索引的mapping 7.使用新索引的mapping创建老索引 8.把新索引的数据倒回老索引 9.删除老索引

  
• 10.08 17:43:03
  发表了文章 2021-10-08 17:43:03

  docker安装的timescaledb升级注意事项

  使用docker安装的timescaledb与postgresQL数据库。目前我们需要升级docker镜像以及目前正在使用的数据库。单纯的更换docker镜像是行不通的，请按照如下方式进行升级。 原版本是timescale/timescaledb-postgis:1.4.0-pg11 新版本是timescale/timescaledb-postgis:1.7.4-pg11
• 10.08 17:41:32
  发表了文章 2021-10-08 17:41:32

  traefik配置用户登录，限制K8S的web服务访问

  像Elastic-APM, Traefik-Dashboard等页面，是没有用户登录限制的，如果我们希望给他们加上用户登录限制，我们需要在traeifk里给对应的ingress添加登录用的Middleware，那么该如何添加呢？本文以给K8S部署的traefik dashboard为例进行添加

  
• 10.08 17:36:02
  发表了文章 2021-10-08 17:36:02

  基于istio的灰度发布实验

  灰度发布又叫A/B测试，即让一部分用户继续用产品特性A，一部分用户开始用产品特性B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。 因为最近刚好有灰度发布的需求，我又学了一遍istio，记录了本次灰度发布的实施过程（只包括应用，不包括数据库升级）

  
• 10.08 17:30:36
  发表了文章 2021-10-08 17:30:36

  解决helm部署报错Error: UPGRADE FAILED: another operation (install/upgrade/rollback) is in progress

  在使用helm install 或者helm upgrade的时候，如果出现了异常中断操作， 经常会出现UPGRADE FAILED并且导致后续无法更新，那我们该如何处理呢？
• 10.08 17:28:36
  发表了文章 2021-10-08 17:28:36

  DataStreams+logstash+ILM进行日志定时删除，节省硬盘资源

  目前所有的K8S上的容器日志都被收集到了我们的ELK上，随着时间的推移，ELK上的日志所占的存储空间越来越多，我们需要一个定时清理的策略，以节约硬盘资源。 我们主要配置以下ELK里的这几个地方 1.通过kibana新增一个lifecycle policies 2.通过kibana新增一个index template,注意配置DataStreams 3.logstash 的logstashPipeline 4.filebeat的filebeat.yml文件

  
• 10.08 17:24:39
  发表了文章 2021-10-08 17:24:39

  rancher备份K8S集群数据到minio方案

  记录我的一次备份rancher集群过程

  
• 10.08 17:22:27
  发表了文章 2021-10-08 17:22:27

  ECK安装elasticsearch,接入apm测试

  1.以前都是用helm安装elasticsearch，最近发现elasticsearch推荐使用ECK在K8S上安装，那我们就来试试吧 2.我们会在已有的K8S上安装ECK,elasticsearch，kibana，apm，关闭ssl，loadbalancer暴露应用访问 3.测试golang接入apm

  

2021年09月

• 09.23 15:32:35
  发表了文章 2021-09-23 15:32:35

  timescaleDB双机热备流复制与测试

  最近有项目要用到热备功能，timescaledb只能兼容pg的流复制，不能兼容其他的复制策略，所以这里我们采用pg的流复制功能镜像部署，并进行了一些测试
• 09.23 15:30:22
  发表了文章 2021-09-23 15:30:22

  argoCD与droneCI结合

  我们的CI/CD流程采用了argoCD与droneCI两款工具，droneCI的关键文件是drone.yaml文件，配置在开发代码里。 argoCD的关键是helm包和不同环境的values.yaml参数。两者需要打通起来，让开发人员专注提交业务代码，后续程序的自动更新，部署等问题不影响他们。

  
• 09.23 15:09:26
  发表了文章 2021-09-23 15:09:26

  K3S环境下接入Prometheus,grafana,等监控套件

  因为常规的监控都是用K8S做的，而K3S上的监控方案少之又少，如果直接用rancher上的prometheus监控，会消耗至少2G的内存，于是我们就自己做了K3S和pg数据库的监控,并且通过我们自己做的监控，可以减少一些不必要的性能开销。主要监控容器资源消耗，宿主机资源消耗，pg数据库资源消耗