前言
网站处理语言和处理工作有很多，在网站数据提取中，常用的语言数Python的Scrapy框架使用最为广泛，本文将基于PyCharm创建Scrapy工程，下面来上重点。
Python
Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。 运行环境：
初识Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
Scrapy主要包含控件
- Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
- Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
- Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
- Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
- Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
- Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
- Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。
运行环境：
Anaconda 3 Windows 7 64bit Python 3.64 Scrapy 1.50 twisted 18.4.0
快速开始
在PyCharm中，进入左下角的Terminal中，（pycharm自带的命令窗口）
一、前期准备：（已经安装过的scrapy环境的可以不看版本）
1、查看Python版本：python
D:\PythonSpace\scrapyDemo>python
Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
2、查看scrapy版本在控制台python命令下
3、查看twisted版本在控制台python命令下
二、创建Scrapy工程
1、在PyCharm中，进入左下角的Terminal中，（pycharm自带的命令窗口）
2、进入将要创建的文件夹中
D:\PythonSpace>
3、键入：scrapy startproject scrspyDemo
创建工程成功：
D:\PythonSpace>scrapy startproject scrapyDemo
New Scrapy project 'scrapyDemo', using template directory 'D:\Anaconda\exe\lib\site-packages\scrapy-1.5.0-
py3.6.egg\scrapy\templates\project', created in:
D:\PythonSpace\scrapyDemo
You can start your first spider with:
cd scrapyDemo
scrapy genspider example example.com
4、在新窗口打开工程即可
结语
关于PyCharm创建Scrapy工程就已经介绍完了，相信大家对Scrapy工程创建有了初步的了解，更深入的Scrapy工程提取网站数据需要大家进一步去学习提高
