安装pyspider出现的坑-阿里云开发者社区

安装pyspider出现的坑

2022-11-13 187

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 安装pyspider出现的坑

一.安装pyspider

pip install pyspider

pyspider all

"Please specify --curl-dir=/path/to/built/libcurl"

解决方法：下载安装pycurl，

下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl，下载对应版本的whl文件，比如pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl，然后安装下载文件,然后再安装就可以了。

pip3 install pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl

async=True, get_object=False, no_input=False):

解决方法：打开python安装目录下面的\Lib\site-packages\pyspider\run.py文件，查找所有的async将其替换为async1。

def __init__(self, inqueue, outqueue, poolsize=100, proxy=None, async=True):

解决方法：

打开python安装目录下面的\Lib\site-packages\pyspider\fetcher\tornado_fetcher.py文件，查找所有的async将其替换为async1。

解决方法：打开python安装目录下面的\Lib\site-packages\pyspider\webui\app.py文件，查找所有的async将其替换为async1。

- Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead

解决方法:打开python安装目录下面的\Lib\site-packages\pyspider\webui\webdav.py文件，查找 'domaincontroller': NeedAuthController(app),将其修改为

'http_authenticator':{
        'HTTPAuthenticator':NeedAuthController(app),
    },

ImportError: cannot import name 'DispatcherMiddleware' from 'werkzeug.wsgi' (D:\soft\python3.8\Lib\site-packages\werkzeug\wsgi.py)

解决方法：降低wsgidav的版本

# 卸载原版本
pip uninstall wsgidav
# 安装低版本的
pip install werkzeug==0.16.1

pkg_resources.DistributionNotFound: The 'wsgidav>=2.0.0' distribution was not found and is required by pyspider

解决方法，安装 wsgidav

pip install wsgidav==2.0.0

下载地址：http://npm.taobao.org/dist/phantomjs/ 下载完成配置环境变量，将其下面的bin目录路径加入PATH环境变量里面。

文章标签：

Python