这两年在大数据行业中的工作总结
写在前面
今年广州的六月，在经历了大雨的洗礼之后，一切都变得更加明朗起来，新的工作，新的人和事。懒惰让我变得更焦虑，焦虑促使我进步，程序员的焦虑大家应该都有共同的感觉，时代的步伐太快了，在这个环境下的软件开发一定会淘汰掉那些不懂得学习，懒惰的人。
代理IP 有效性检测
摘要
原理
服务器端
_SERVER
脚本
客户端
urllib2
requests
完整代码
演示
提示
清洗效果
总结
摘要
昨天下午的时候，真的是无语至极。
自制一个python下载文件的进度条模块！
我们在做Python爬虫脚本的时候，往往希望在运行的过程中可以实时查看到我的下载进度！之前我也一直想实现这个功能（绝对不是为了炫（装）耀(B）），也查看了很多博客但是各种解决方案都不是很满意（当然，progressBar和tqdm这两个库都是可选择也可操作的），很多时候我们需要一些定制功能的时候就需要考虑自己实现，这个功能其实很简单，我们可以自己去实现它！ 实现办法
进度条最大的问题是实现输出在一行，且实时变化，不要换行。
开源监控利器Prometheus初探
前言：
Kubernetes作为当下最炙手可热的容器管理平台，在给应用部署运维带来便捷的同时，也给应用及性能监控带来了新的挑战。本文给大家分享一款十分火热的开源监控工具Prometheus，让我们一起来看它是如何兼顾传统的应用监控、主机性能监控和Kubernetes监控的。
xpath 获取元素及爬虫实例
主流爬虫方法分类：1，selenium+Chrome/PhantomJS2，Requests+正则表达式3，Requests+ BeautifulSoup4，Requests+分析ajax5，Requests+xpath（lxml包）或CSS今天要讲的第5种。