scrapy 结合 BeautifulSoup
创建Scrapy项目
首先，利用命令scrapy startproject csdnSpider创建我们的爬虫项目；
然后，在spiders目录下，创建CSDNSpider.py文件，这是我们主程序所在文件，目录结构如下：
定义Item
找到并打开items.py文件，定义我们需要爬取的元素：
[python] view
plain
python xpath语法与lxml库
From：http://cuiqingcai.com/2621.html
前言
XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 xPath 同样也支持HTML。XPath 是一门小型的查询语言，这里与 python 爬虫相结合来介绍。python 中 lxml库使用
RPA+BPM：企业流程自动化的最佳拍档
RPA可以和BPM实现优势互补。BPM通过对业务管理规则和逻辑的科学梳理并显性化体现，给RPA提供了大脑和神经网络。RPA的所有行为依赖清晰可被定义的逻辑规则。BPM给了RPA所依赖的逻辑规则，就像BPM为RPA提供了大脑和神经网络。
将在线数据加载到阿里云Greenplum
本文说明如何设计一个 ETL 作业以便将在线关系数据库里的数据，加载到阿里云的Greenplum 数据库中，如何调度和监控该ETL 作业的日常运行。
本文使用的软件是开源ETL 工具软件 Kettle 5.x，以及基于Kettle的傲飞数据整合平台，该平台可以用来Kettle作业的调度、监控等
什么是网络爬虫，网络爬虫有什么用？
什么是网络爬虫，网络爬虫有什么用？
简单地说，就是把网页所展示数据通过非人工的手段获取下来。
现在是大数据时代，数据分析是解决各行各业相关问题重要的依据。数据分析结果的准确性有很大一部分取决于数据量是否足够大。
Python 模拟登录知乎
前言
必备知识点
headers
Referer
User-Agent
隐藏域
其他
模拟登录
模拟防爬
服务器端
loginphp
loginhtml
浏览器测试
正常提交用户名密码的话如下
用户名或者密码填写错误的情况如下
爬虫没有添加隐藏域时
添加了隐藏域的爬虫
知乎模拟登录
更新版知乎模拟登陆
代码部分
验证效果
总结
前言
前天看到一个爬取了知乎50多万评论的帖子， 羡慕的同时也想自己来尝试一下。
