kekefund_个人页

【DevOps】第3步:中控平台jenkins

一，安装 服务器安装 以centos7为例 1, 安装 添加yum repos，然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.

【DevOps】第二步：Docker镜像打包上传至仓库

镜像仓库 镜像仓库有好些地方可以存，大部分的公有云均提供免费的镜像仓库，常见如下： 腾讯云：https://console.cloud.tencent.com/tke2/registry/user/self?rid=1（需登录） 阿里云: https://cr.console.aliyun.com/cn-hangzhou/instances/repositories（需登录） 自建私有仓库，参考之前的一篇文章docker私有仓库搭建 Docker Hub：不涉及私密的或者你想公开的镜像可以上传到https://hub.docker.com/。

【DevOps】第一步: 编写Dockerfile与项目实践

一、Dockerfile简介 Dockerfile 是一个文本文件，其内包含了一条条的 指令(Instruction)，每一条指令构建一层，因此每一条指令的内容，就是描述该层应当如何构建。 Dockerfile分为四部分： FROM：基础镜像信息 MAINTAINER：维护者信息 RUN、COPY、ADD、EXPOSE等：镜像操作指令 CMD、ENTRYPOINT：容器启动时执行指令。

kafka原理及Docker环境部署

redash部署使用

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

jenkins 批量添加任务job

最近重构一个Scrapy爬虫项目，需要将300个spider的调度任务在jenkins中添加。这已经超过了手动一个一个添加任务的极限，是时候要借助工具批量添加了。

Django中配置Gunicorn

Gunicorn是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器，移植至Ruby的独角兽（Unicorn）项目，使用pre-fork worker模式，具有使用非常简单，轻量级的资源消耗，以及高性能等特点。

服务器被矿机程序攻击

事件经过 今天早上7:00，收到腾讯云监控发来基础监控告警：某台服务器的CPU利用率为100%。SSH登录到服务器正常，说明root密码还没有被更改，我最初怀疑有可能是DDos攻击。

API自动化测试

简介 公司目前用的前后端分离的架构，API接口的稳定性直接影响了与前端团队的沟通效率，前端开发和测试人员都比较熟练的使用Postman来测试API接口。 API接口的自动化测试有很多方案，但Postman+Newman+Jenkins的组合方案，对于测试人员的学习成本最低，实现起来速度是最快的。

内网映射方案(lanproxy)

现状 现在运营商提供的宽带服务，无论是动态IP，还是固定IP，默认都是禁止所有端口服务的（目前了解上海是这样的），在路由器上配置的端口映射和DMZ都失效。

seafile服务器配置

公司内部网盘分享方案。 目前开源的企业网盘方案有seafile，ownCloud。 Seafile 是一款开源的企业云盘，注重可靠性和性能。支持 Windows, Mac, Linux, iOS, Android 全平台。

Docker容器运行多条命令(supervisor)

一, 简介 Dockerfile 运行只支持一条命令，当在Docker里要运行多条命令，用supervisor来管理就比较合适了。 Supervisor是一个 Python 开发的 client/server 系统，可以管理和监控类 UNIX 操作系统上面的进程。

scrapy+selenium爬取UC头条网站

Scrapy是Python优秀的爬虫框架，selenium是非常好用的自动化WEB测试工具，两者结合可以非常容易对动态网页进行爬虫。 本文的需求是抓取UC头条各个板块的内容。

nginx日志分析

1，日志定义 在nginx.conf中定义的日志格式如下： http { ... log_format main '$remote_addr - $remote_user [$time_local]...

nginx 缓存与优化

在浏览器和应用服务器之间，存在多种“潜在”缓存，如： 客户端浏览器缓存 中间缓存 内容分发网络（CDN） 服务器上的负载均衡和反向代理 缓存，仅在反向代理和负载均衡的层面，就对性能提高有很大的帮助。

Docker镜像自动构建

原文地址 基于Git的代码版本控制，能保证每个开发人员的开发成果得到有效的保护，不会发生因为其他人的“误操作”操作将自己辛辛苦苦写的代码删除，而且能够跟踪每一次的改动，能快速回滚到之前任一版本。

Pandas数据分析基础

原文地址: http://kekefund.com/2016/02/23/pandas-anlysis-basic/ （本人博客） 使用pandas，首先导入包： from pandas import Series, DataFrame import ...

docker私有仓库搭建

原文地址：http://kekefund.com/2017/06/07/doker-registry/ （本人博客） Docker提供了开放的中央仓库dockerhub，同时也允许我们使用registry搭建本地私有仓库。

Docker版highcharts中文导出服务器

原文地址：http://kekefund.com/2017/05/12/docker-highcharts-server/（本人博客） highcharts的导出服务器使用固然方便，但需要把数据上传到它的服务器，对于数据安全性的考虑和外网访问限制的场景，搭建自己的导出服务器是比较可靠的。

docker版私人网盘ownCloud

原文地址：http://kekefund.com/2017/04/19/docker-owncloud/ （本人博客） ownCloud是一个自由且开源的个人云存储解决方案。

docker版Django

原文地址：http://kekefund.com/2017/03/30/docker-django/ （本人博客） Django的运行是基于python的环境，加上django包。

docker部署mysql

原文地址：http://kekefund.com/2017/03/19/docker-mysql/ （本人博客） mysql在linux服务器上运行一直比较稳定，但是服务器迁移时mysql在新服务器上的配置是个比较头疼的问题，搞不好数据迁移过来了但是mysql启动不起来，坑比较多。

docker 自动构建，基于Dockerfile文件

原文地址：http://kekefund.com/2017/03/06/docker-dockerfile-generated/ 1，Dockerfile的编写 在centos中创建一个目录:/mydata/data/dockertest/，新建Dockerfile文件 vim Dockerfile # Verison 0.

centos + docker部署web java项目

1，系统准备 CentOS 具体要求如下： 必须是 64 位操作系统 建议内核在 3.8 以上 通过以下命令查看您的 CentOS 内核： [root@VM_200_249_centos ~]# uname -r 3.10.0-327.36.3.el7.x86_64 对于 CentOS 6.5 而言，内核版本默认是 2.6。

mac版 eclipse 只能run不能debug的解决方案

mac：macOS Sierra 10.12.2 eclipse：Version: Neon.1a Release (4.6.1) debug时进度一直停在93%，然后超时报错： ERROR: transport error 202: getho...

python制作分布图

制作分布图类似密度图，在python中利用pandas来提取分布数据是比较方便的。主要用到pandas的cut和groupby等函数。 第一步，从数据库中提取数据 import pandas from sqlalchemy import create_engine host_mysql_test = '127.

Scrapyd 部署

scrapy爬虫写好后，需要用命令行运行，如果能在网页上操作就比较方便。scrapyd部署就是为了解决这个问题，能够在网页端查看正在执行的任务，也能新建爬虫任务，和终止爬虫任务，功能比较强大。

Django创建表单上传图片

IOS开发中需要为创建的数据保存到网络后台长久存储，刚开始想到的是直接连接mysql，但要在ios中安装mysql的控件，实在是麻烦。于是定义一个restful接口，通过http请求的方式来上传和获取数据，是一种比较方便的方式。

Scrapy结合Redis实现增量爬取

Scrapy适合做全量爬取，但是，我们不是一次抓取完就完事了。很多情况，我们需要持续的跟进抓取的站点，增量抓取是最需要的。 Scrapy与Redis配合，在写入数据库之前，做唯一性过滤，实现增量爬取。

python结合G2绘制精美图形

一、简介 G2是阿里巴巴内部开放的数据可视化工具，提供丰富的图表类型，并且简单易上手，有比较完善的示例代码。其生成的图表简单漂亮，而且有JS互动显示，比较适合报告和文章插图。