基于Scrapy的东方财富网爬虫
标题中的英文首字母大写比较规范，但在python实际使用中均为小写。
2018年9月6日笔记
IDE(Intergrated development Environment)，集成开发环境为jupyter notebook和Pycharm
操作系统：Win10
语言及其版本：python3.6
0.观察网页
网页链接：http://finance.eastmoney.com/news/cgsxw_1.html
打开网页，红色方框标注出爬取的文章，效果如下图所示。
如何优化SEO的网站结构
如何优化SEO的网站结构
明确定义的站点结构使搜索引擎爬虫的工作更容易，这意味着更好的索引编制和更多机会获得更高的排名。
随着百度排名算法，语音搜索和移动优先索引中人工智能的引入，网站的结构变得比以往任何时候都更加重要。
ETL工具 kettle
Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettl
Python爬虫之多线程下载豆瓣Top250电影图片
爬虫项目介绍
本次爬虫项目将爬取豆瓣Top250电影的图片，其网址为：https://movie.douban.com/top250， 具体页面如下图所示：
本次爬虫项目将分别不使用多线程和使用多线程来完成，通过两者的对比，显示出多线程在爬虫项目中的巨大优势。
目标反爬虫怎么办？实践出真知-scrapy集成动态ip代理(以阿布云为例)
360截图20180712215548501.jpg
一、前言
在爬虫行当，每天都要面对目标反爬虫技术，我们想要拿到数据，就需要针对它们的反爬虫来制定绕过方法，比如它识别你的UserAgent，那你可能就需要伪造、它限制IP请求次数，你可能就需要限速或者改变ip、它用验证码来识别你是人是机，你就需要模拟人的操作并且正确填写它给你弹出的验证码等等。
一个系统，搞定闲鱼服务端复杂问题告警-定位-快速处理
服务端问题排查对开发而言是家常便饭，问题并不可怕但要花大量时间去处理；另一方面故障的快速解决至关重要。目前问题排查最大的障碍是什么呢？1、大量的告警信息；2、链路的复杂性；3、排查过程繁复；4、依赖经验。实际工作中的排查思路并非无迹可寻，排查思路和手段可以沉淀出一套经验模型。
