在CentOS下利用Python+selenium获取腾讯首页的今日话题。

简介: 1、安装依赖包 yum install wget firefox gcc zlib zlib-devel Xvfb 2、安装setuptools 官网地址:https://pypi.python.

1、安装依赖包

yum install wget firefox gcc zlib zlib-devel Xvfb

2、安装setuptools

官网地址:https://pypi.python.org/pypi/setuptools

百度地址:http://pan.baidu.com/s/1i5JlRH7

tar zxvf setuptools-31.0.0.tar.gz
cd setuptools-31.0.0
python setup.py install

3、安装selenium

官网地址:https://pypi.python.org/pypi/selenium#downloads

百度地址:http://pan.baidu.com/s/1miJfI7A

tar zxvf selenium-3.0.2.tar.gz
cd selenium-3.0.2
python setup.py install

4、安装PyVirtualDisplay

官网地址:https://pypi.python.org/pypi/PyVirtualDisplay

百度地址:http://pan.baidu.com/s/1gf2uUBL

tar zxvf PyVirtualDisplay-0.2.1.tar.gz
cd PyVirtualDisplay-0.2.1
python setup.py install

注意:如果提示EasyProcess相关的错误 ,请先安装EasyProcess再安装PyVirtualDisplay。

EasyProcess下载地址:https://pypi.python.org/pypi/EasyProcess    安装方法和PyVirtualDisplay一样

由于我的CentOS是没有界面的,所以需要安装PyVirtualDisplay来模拟。

5、安装geckodriver

官网地址:https://github.com/mozilla/geckodriver/releases

百度地址:http://pan.baidu.com/s/1i54YH5z

tar zxvf geckodriver-v0.11.1-linux64.tar.gz
mv geckodriver /usr/local/bin

6、Python代码 

# -*- coding: utf-8 -*-  
from selenium import webdriver
from pyvirtualdisplay import Display

display = Display(visible=0, size=(800,600))  
display.start()  

dr = webdriver.Firefox()
dr.get('http://www.qq.com/')
url = dr.find_element_by_css_selector('#todaytop a').get_attribute('href')
dr.get(url)

#获取标题
title = dr.find_element_by_id('sharetitle').text
print(title)
#获取内容
content = dr.find_element_by_id('articleContent').get_attribute('innerHTML')
print(content)

dr.quit()

执行效果:

其他资料

 selenium-webdriver+python基本操作:http://pan.baidu.com/s/1nvCsmBR

相关文章
|
2月前
|
Web App开发 存储 前端开发
Python+Selenium自动化爬取携程动态加载游记
Python+Selenium自动化爬取携程动态加载游记
|
4月前
|
数据采集 Web App开发 JavaScript
基于Selenium的Python爬虫抓取动态App图片
基于Selenium的Python爬虫抓取动态App图片
324 68
|
2月前
|
数据采集 存储 监控
Python爬虫自动化:定时监控快手热门话题
Python爬虫自动化:定时监控快手热门话题
|
4月前
|
数据采集 Web App开发 前端开发
Python+Selenium爬虫:豆瓣登录反反爬策略解析
Python+Selenium爬虫:豆瓣登录反反爬策略解析
|
12月前
|
Linux 网络安全 Python
linux centos上安装python3.11.x详细完整教程
这篇文章提供了在CentOS系统上安装Python 3.11.x版本的详细步骤,包括下载、解压、安装依赖、编译配置、解决常见错误以及版本验证。
8453 3
linux centos上安装python3.11.x详细完整教程
|
11月前
|
Web App开发 前端开发 JavaScript
探索Python科学计算的边界:利用Selenium进行Web应用性能测试与优化
【10月更文挑战第6天】随着互联网技术的发展,Web应用程序已经成为人们日常生活和工作中不可或缺的一部分。这些应用不仅需要提供丰富的功能,还必须具备良好的性能表现以保证用户体验。性能测试是确保Web应用能够快速响应用户请求并处理大量并发访问的关键步骤之一。本文将探讨如何使用Python结合Selenium来进行Web应用的性能测试,并通过实际代码示例展示如何识别瓶颈及优化应用。
457 5
|
6月前
|
Linux Python
centos 编译安装 python 和 openssl
centos 编译安装 python 和 openssl
308 2
|
7月前
|
数据采集 Web App开发 存储
打造高效的Web Scraper:Python与Selenium的完美结合
本文介绍如何使用Python结合Selenium,通过代理IP、设置Cookie和User-Agent抓取BOSS直聘的招聘信息,包括公司名称、岗位、要求和薪资。这些数据可用于行业趋势、人才需求、企业动态及区域经济分析,为求职者、企业和分析师提供宝贵信息。文中详细说明了环境准备、代理配置、登录操作及数据抓取步骤,并提醒注意反爬虫机制和验证码处理等问题。
168 1
打造高效的Web Scraper:Python与Selenium的完美结合
|
7月前
|
Web App开发 数据采集 数据安全/隐私保护
Selenium库详解:Python实现模拟登录与反爬限制的进阶指南
Selenium库详解:Python实现模拟登录与反爬限制的进阶指南
|
10月前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
571 6