![个人头像照片](https://ucc.alicdn.com/avatar/img_47064b446b6173a6da06a19632dced81.png)
FinTech
一,安装 服务器安装 以centos7为例 1, 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.
镜像仓库 镜像仓库有好些地方可以存,大部分的公有云均提供免费的镜像仓库,常见如下: 腾讯云:https://console.cloud.tencent.com/tke2/registry/user/self?rid=1(需登录) 阿里云: https://cr.console.aliyun.com/cn-hangzhou/instances/repositories(需登录) 自建私有仓库,参考之前的一篇文章docker私有仓库搭建 Docker Hub:不涉及私密的或者你想公开的镜像可以上传到https://hub.docker.com/。
一、Dockerfile简介 Dockerfile 是一个文本文件,其内包含了一条条的 指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。 Dockerfile分为四部分: FROM:基础镜像信息 MAINTAINER:维护者信息 RUN、COPY、ADD、EXPOSE等:镜像操作指令 CMD、ENTRYPOINT:容器启动时执行指令。
我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻。
最近重构一个Scrapy爬虫项目,需要将300个spider的调度任务在jenkins中添加。这已经超过了手动一个一个添加任务的极限,是时候要借助工具批量添加了。
Gunicorn是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器,移植至Ruby的独角兽(Unicorn)项目,使用pre-fork worker模式,具有使用非常简单,轻量级的资源消耗,以及高性能等特点。
事件经过 今天早上7:00,收到腾讯云监控发来基础监控告警:某台服务器的CPU利用率为100%。SSH登录到服务器正常,说明root密码还没有被更改,我最初怀疑有可能是DDos攻击。
简介 公司目前用的前后端分离的架构,API接口的稳定性直接影响了与前端团队的沟通效率,前端开发和测试人员都比较熟练的使用Postman来测试API接口。 API接口的自动化测试有很多方案,但Postman+Newman+Jenkins的组合方案,对于测试人员的学习成本最低,实现起来速度是最快的。
现状 现在运营商提供的宽带服务,无论是动态IP,还是固定IP,默认都是禁止所有端口服务的(目前了解上海是这样的),在路由器上配置的端口映射和DMZ都失效。
公司内部网盘分享方案。 目前开源的企业网盘方案有seafile,ownCloud。 Seafile 是一款开源的企业云盘,注重可靠性和性能。支持 Windows, Mac, Linux, iOS, Android 全平台。
一, 简介 Dockerfile 运行只支持一条命令,当在Docker里要运行多条命令,用supervisor来管理就比较合适了。 Supervisor是一个 Python 开发的 client/server 系统,可以管理和监控类 UNIX 操作系统上面的进程。
Scrapy是Python优秀的爬虫框架,selenium是非常好用的自动化WEB测试工具,两者结合可以非常容易对动态网页进行爬虫。 本文的需求是抓取UC头条各个板块的内容。
1,日志定义 在nginx.conf中定义的日志格式如下: http { ... log_format main '$remote_addr - $remote_user [$time_local]...
在浏览器和应用服务器之间,存在多种“潜在”缓存,如: 客户端浏览器缓存 中间缓存 内容分发网络(CDN) 服务器上的负载均衡和反向代理 缓存,仅在反向代理和负载均衡的层面,就对性能提高有很大的帮助。
原文地址 基于Git的代码版本控制,能保证每个开发人员的开发成果得到有效的保护,不会发生因为其他人的“误操作”操作将自己辛辛苦苦写的代码删除,而且能够跟踪每一次的改动,能快速回滚到之前任一版本。
原文地址: http://kekefund.com/2016/02/23/pandas-anlysis-basic/ (本人博客) 使用pandas,首先导入包: from pandas import Series, DataFrame import ...
原文地址:http://kekefund.com/2017/06/07/doker-registry/ (本人博客) Docker提供了开放的中央仓库dockerhub,同时也允许我们使用registry搭建本地私有仓库。
原文地址:http://kekefund.com/2017/05/12/docker-highcharts-server/(本人博客) highcharts的导出服务器使用固然方便,但需要把数据上传到它的服务器,对于数据安全性的考虑和外网访问限制的场景,搭建自己的导出服务器是比较可靠的。
原文地址:http://kekefund.com/2017/04/19/docker-owncloud/ (本人博客) ownCloud是一个自由且开源的个人云存储解决方案。
原文地址:http://kekefund.com/2017/03/30/docker-django/ (本人博客) Django的运行是基于python的环境,加上django包。
原文地址:http://kekefund.com/2017/03/19/docker-mysql/ (本人博客) mysql在linux服务器上运行一直比较稳定,但是服务器迁移时mysql在新服务器上的配置是个比较头疼的问题,搞不好数据迁移过来了但是mysql启动不起来,坑比较多。
原文地址:http://kekefund.com/2017/03/06/docker-dockerfile-generated/ 1,Dockerfile的编写 在centos中创建一个目录:/mydata/data/dockertest/,新建Dockerfile文件 vim Dockerfile # Verison 0.
1,系统准备 CentOS 具体要求如下: 必须是 64 位操作系统 建议内核在 3.8 以上 通过以下命令查看您的 CentOS 内核: [root@VM_200_249_centos ~]# uname -r 3.10.0-327.36.3.el7.x86_64 对于 CentOS 6.5 而言,内核版本默认是 2.6。
mac:macOS Sierra 10.12.2 eclipse:Version: Neon.1a Release (4.6.1) debug时进度一直停在93%,然后超时报错: ERROR: transport error 202: getho...
制作分布图类似密度图,在python中利用pandas来提取分布数据是比较方便的。主要用到pandas的cut和groupby等函数。 第一步,从数据库中提取数据 import pandas from sqlalchemy import create_engine host_mysql_test = '127.
scrapy爬虫写好后,需要用命令行运行,如果能在网页上操作就比较方便。scrapyd部署就是为了解决这个问题,能够在网页端查看正在执行的任务,也能新建爬虫任务,和终止爬虫任务,功能比较强大。
IOS开发中需要为创建的数据保存到网络后台长久存储,刚开始想到的是直接连接mysql,但要在ios中安装mysql的控件,实在是麻烦。于是定义一个restful接口,通过http请求的方式来上传和获取数据,是一种比较方便的方式。
Scrapy适合做全量爬取,但是,我们不是一次抓取完就完事了。很多情况,我们需要持续的跟进抓取的站点,增量抓取是最需要的。 Scrapy与Redis配合,在写入数据库之前,做唯一性过滤,实现增量爬取。
一、简介 G2是阿里巴巴内部开放的数据可视化工具,提供丰富的图表类型,并且简单易上手,有比较完善的示例代码。其生成的图表简单漂亮,而且有JS互动显示,比较适合报告和文章插图。