安装scrapy
官网：https://scrapy.org/download/
使用pip安装，如果失败下载zip安装
pip install scrapy
遇到的错误
1、安装报错：
# error: command 'cl.exe' failed: No such file or directory
解决：
下载 twisted 并安装
http://www.lfd.uci.edu/~gohlke/pythonlibs/
scrapy正常
2、运行报错
# ImportError: No module named 'win32api'
安装模块pypiwin32
pip install pypiwin32
3、visual c++ build tools
http://www.microsoft.com/zh-CN/download/details.aspx?id=48159
4、问题：openssl 之不是有效的win 32程序
pip uninstall pyopenssl cryptography pip install pyopenssl cryptography
5、 问题：ModuleNotFoundError: No module named ‘_cffi_backend’
pip install pypiwin32
6、问题：scrapy shell url 发生TypeError: ‘float’ object is not iterable
pip install twisted==16.6.0
7、问题： Microsoft Visual C++ 14.0 is required
方式1：按照提示下载安装 Microsoft Visual C++ 14.0
visualcppbuildtools_full.exe
vc_redist.x64.exe
安装完以上两个组件之后，依然失败
方式2：方式一不一定好使，推荐下载对应已经编译好的windows版本安装
http://www.lfd.uci.edu/~gohlke/pythonlibs/
///
pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl
spider环境安装：
pip install scrapyd_api pypiwin32 redis scrapyd python-scrapyd-api twisted
参考：
