《Python爬虫开发与项目实战》——1.2 搭建开发环境

简介:

本节书摘来自华章计算机《Python爬虫开发与项目实战》一书中的第1章,第1.2节,作者:范传辉著,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.2 搭建开发环境

  俗话说:“工欲善其事必先利其器”,在做Python爬虫开发之前,一个好的IDE将会使编程效率得到大幅度提高。下面主要介绍两种IDE:Eclipse和PyCharm,并以在Windows 7上安装为例进行介绍。
1.2.1 Eclipse+PyDev
  Eclipse是一个强大的编辑器,并通过插件的方式不断拓展功能。Eclipse比较常见的功能是编写Java程序,但是通过扩展PyDev插件,Eclipse就具有了编写Python程序的功能。所以本书搭建的开发环境是Eclipset+PyDev。
  Eclipse是运行在Java虚拟机上的,所以要先安装Java环境。
  第一步,安装Java环境。Java JDK的下载地址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html。下载页面如图1-5所示。

screenshot


  下载好JDK之后,双击进行安装,一直点击“下一步”即可完成安装,安装界面如图1-6所示。
  安装完JDK,需要配置Java环境变量。
  1)首先右键“我的电脑”,选择“属性”,如图1-7所示。
  2)接着在出现的对话框中选择“高级系统设置”,如图1-8所示。
  
screenshot

  3)在出现的对话框中选择“环境变量”,如图1-9所示。
  4)新建名为classpath的变量名,变量的值可以设置为:.;%JAVA_HOMElib;%JAVA_
  HOMElibtools.jar,如图1-10所示。
  5)新建名为JAVA_HOME的变量名,变量的值为之前安装的JDK路径位置,默认是C:Program FilesJavajdk1.8.0_101,如图1-11所示。
  6)在已有的系统变量path的变量值中加上:;%JAVA_HOME%bin;%JAVA_HOME% jrebin,如图1-12所示,自此配置完成。
  下面检验是否配置成功,运行cmd命令,在出现的对话框中输入“java-version”命令,如果出现图1-13的结果,则表明配置成功。
  第二步,下载Eclipse,下载地址为:http://www.eclipse.org/downloads/eclipse-packages/,下载完后,解压就可以直接使用,Eclipse不需要安装。下载界面如图1-14所示。
  第三步,在Eclipse中安装pydev插件。启动Eclipse,点击Help->Install New Software...,如图1-15所示。
  
screenshot
screenshot
screenshot
screenshot

  在弹出的对话框中,点击Add按钮。在Name中填:Pydev,在Location中填http://pydev.org/updates,然后一步一步安装下去。过程如图1-16和图1-17所示。
screenshot

screenshot

  第四步,安装完pydev插件后,需要配置pydev解释器。在Eclipse菜单栏中,点击Windows →Preferences。在对话框中,点击PyDev→Interpreter-Python。点击New按钮,选择python.exe的路径,打开后显示出一个包含很多复选框的窗口,点击OK即可,如图1-18所示。
  经过上述四个步骤,Eclipse就可以进行Python开发了。如需创建一个新的项目,选择File→New→Projects...,再选择PyDev→PyDevProject并输入项目名称,点击Finish即可完成项目的创建,如图1-19所示。
  然后新建PyDev Package,就可以写代码了,如图1-20所示。
screenshot
screenshot

screenshot

1.2.2 PyCharm
  PyCharm是本人用过的Python编辑器中,比较顺手,而且可以跨平台,在MacOS、Linux和Windows下都可以用。PyCharm主要分为专业版和社区版,两者的区别在于专业版一开始有30天的试用期,之后就要收费;社区版一直免费,当然专业版的功能更加强大。我们进行Python爬虫开发,社区版基本上可以满足需要,所以接下来就以社区版为例。大家可以根据自己的系统版本,进行下载安装,下载地址为:http://www.jetbrains.com/pycharm/download/#。下载界面如图1-21所示。
screenshot

  以Windows为例,下载后双击进行安装,一步一步点击Next,即可完成安装。安装界面如图1-22所示。
  安装完成后,运行PyCharm,创建Python项目就可以进行Python开发了,如图1-23所示。
screenshot

相关文章
|
14天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
17天前
|
算法 测试技术 开发者
性能优化与代码审查:提升Python开发效率
【4月更文挑战第9天】本文强调了Python开发中性能优化和代码审查的重要性。性能优化包括选择合适数据结构、使用生成器和避免全局变量,而代码审查涉及遵循编码规范、使用静态代码分析工具和编写单元测试。这些实践能提升代码效率和可维护性,促进团队协作。
|
17天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
【python】爬虫-西安医学院-校长信箱
|
23天前
|
数据采集 安全 Python
python并发编程:Python实现生产者消费者爬虫
python并发编程:Python实现生产者消费者爬虫
24 0
python并发编程:Python实现生产者消费者爬虫
|
2天前
|
数据采集 存储 人工智能
【Python+微信】【企业微信开发入坑指北】4. 企业微信接入GPT,只需一个URL,自动获取文章总结
【Python+微信】【企业微信开发入坑指北】4. 企业微信接入GPT,只需一个URL,自动获取文章总结
13 0
|
2天前
|
人工智能 机器人 API
【Python+微信】【企业微信开发入坑指北】3. 如何利用企业微信API给微信群推送消息
【Python+微信】【企业微信开发入坑指北】3. 如何利用企业微信API给微信群推送消息
6 0
|
2天前
|
缓存 人工智能 API
【Python+微信】【企业微信开发入坑指北】2. 如何利用企业微信API主动给用户发应用消息
【Python+微信】【企业微信开发入坑指北】2. 如何利用企业微信API主动给用户发应用消息
6 0
|
3天前
|
数据采集 存储 JSON
Python爬虫面试:requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests,强调了异常处理、代理设置和请求重试;BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化;而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码,帮助读者深化理解并提升面试表现。
13 0
|
7天前
|
数据采集 JavaScript 前端开发
使用Python打造爬虫程序之破茧而出:Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外,还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略,同时遵守规则和法律法规,确保爬虫的稳定性和合法性。
|
7天前
|
前端开发 Java Go
开发语言详解(python、java、Go(Golong)。。。。)
开发语言详解(python、java、Go(Golong)。。。。)