python 3 安装 scrapy 并运行成功

简介:

今天,python 3 安装 scrapy, 并运行成功。特此纪念!

我的环境:windows 10(64位) + python 3.5.2(64位)

其中几个要点说明一下:

1、有几个依赖库需要事先单独安装

往往,在安装scrapy依赖库,即在

pip install scrapy

过程中,会出现红色错误的。此时,做两件事

  1. 更新pip: $ python pip install --upgrade pip
  2. lfd下载单独的whl文件,pip安装之(若有多个依赖库安装出现红色文字错误,则此步重复!)

2、特别地,pywin32的安装问题

  1. lfd下载单独的whl文件,pip安装之
  2. 然后,运行命令$ python pywin32_postinstall.py -install,切记!

好了,运行官网首页的例子:

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for url in response.css('ul li a::attr("href")').re('.*/category/.*'):
            yield scrapy.Request(response.urljoin(url), self.parse_titles)

    def parse_titles(self, response):
        for post_title in response.css('div.entries > ul > li a::text').extract():
            yield {
    'title': post_title}

保存为myspider.py文件,命令行进入此文件夹,运行如下命令,使启动爬虫:

scrapy runspider myspider.py

OK了,可以看到成功的信息。

本文转自罗兵博客园博客,原文链接:http://www.cnblogs.com/hhh5460/p/5707043.html ,如需转载请自行联系原作者
相关文章
|
1月前
|
IDE 开发工具 索引
在Python中安装第三方库
在Python中安装第三方库
569 30
|
1月前
|
存储 数据库连接 API
Python环境变量在开发和运行Python应用程序时起着重要的作用
Python环境变量在开发和运行Python应用程序时起着重要的作用
88 15
|
10天前
|
Linux Python
Linux 安装python3.7.6
本教程介绍在Linux系统上安装Python 3.7.6的步骤。首先使用`yum`安装依赖环境,包括zlib、openssl等开发库。接着通过`wget`下载Python 3.7.6源码包并解压。创建目标文件夹`/usr/local/python3`后,进入解压目录执行配置、编译和安装命令。最后设置软链接,使`python3`和`pip3`命令生效。
|
11天前
|
数据挖掘 vr&ar C++
让UE自动运行Python脚本:实现与实例解析
本文介绍如何配置Unreal Engine(UE)以自动运行Python脚本,提高开发效率。通过安装Python、配置UE环境及使用第三方插件,实现Python与UE的集成。结合蓝图和C++示例,展示自动化任务处理、关卡生成及数据分析等应用场景。
65 5
|
7天前
|
Shell 开发工具 Python
如何在vim里直接运行python程序
如何在vim里直接运行python程序
|
1月前
|
开发者 Python
使用Python实现自动化邮件通知:当长时程序运行结束时
本文介绍了如何使用Python实现自动化邮件通知功能,当长时间运行的程序完成后自动发送邮件通知。主要内容包括:项目背景、设置SMTP服务、编写邮件发送函数、连接SMTP服务器、发送邮件及异常处理等步骤。通过这些步骤,可以有效提高工作效率,避免长时间等待程序结果。
68 9
|
1月前
|
存储 JSON 网络安全
使用 EFS 在 AWS Lambda 上安装 Python 依赖项
使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。
31 1
|
1月前
|
Ubuntu Linux iOS开发
安装Python
安装 Python 是相对简单的过程,但需要根据不同的操作系统选择合适的方法。同时,合理使用虚拟环境可以更好地管理项目的依赖和环境,提高开发效率。希望这些步骤和注意事项能帮助你顺利安装 Python。
|
数据采集 Python
python编程-28:Scrapy爬虫框架
python编程-28:Scrapy爬虫框架
112 0
python编程-28:Scrapy爬虫框架
|
数据采集 Python
python编程-28:Scrapy爬虫框架
python编程-28:Scrapy爬虫框架
628 0
python编程-28:Scrapy爬虫框架