在CentOS下利用Python+selenium获取腾讯首页的今日话题。

简介: 1、安装依赖包 yum install wget firefox gcc zlib zlib-devel Xvfb 2、安装setuptools 官网地址:https://pypi.python.

1、安装依赖包

yum install wget firefox gcc zlib zlib-devel Xvfb

2、安装setuptools

官网地址:https://pypi.python.org/pypi/setuptools

百度地址:http://pan.baidu.com/s/1i5JlRH7

tar zxvf setuptools-31.0.0.tar.gz
cd setuptools-31.0.0
python setup.py install

3、安装selenium

官网地址:https://pypi.python.org/pypi/selenium#downloads

百度地址:http://pan.baidu.com/s/1miJfI7A

tar zxvf selenium-3.0.2.tar.gz
cd selenium-3.0.2
python setup.py install

4、安装PyVirtualDisplay

官网地址:https://pypi.python.org/pypi/PyVirtualDisplay

百度地址:http://pan.baidu.com/s/1gf2uUBL

tar zxvf PyVirtualDisplay-0.2.1.tar.gz
cd PyVirtualDisplay-0.2.1
python setup.py install

注意:如果提示EasyProcess相关的错误 ,请先安装EasyProcess再安装PyVirtualDisplay。

EasyProcess下载地址:https://pypi.python.org/pypi/EasyProcess    安装方法和PyVirtualDisplay一样

由于我的CentOS是没有界面的,所以需要安装PyVirtualDisplay来模拟。

5、安装geckodriver

官网地址:https://github.com/mozilla/geckodriver/releases

百度地址:http://pan.baidu.com/s/1i54YH5z

tar zxvf geckodriver-v0.11.1-linux64.tar.gz
mv geckodriver /usr/local/bin

6、Python代码 

# -*- coding: utf-8 -*-  
from selenium import webdriver
from pyvirtualdisplay import Display

display = Display(visible=0, size=(800,600))  
display.start()  

dr = webdriver.Firefox()
dr.get('http://www.qq.com/')
url = dr.find_element_by_css_selector('#todaytop a').get_attribute('href')
dr.get(url)

#获取标题
title = dr.find_element_by_id('sharetitle').text
print(title)
#获取内容
content = dr.find_element_by_id('articleContent').get_attribute('innerHTML')
print(content)

dr.quit()

执行效果:

其他资料

 selenium-webdriver+python基本操作:http://pan.baidu.com/s/1nvCsmBR

相关文章
|
2月前
|
Web App开发 前端开发 JavaScript
探索Python科学计算的边界:利用Selenium进行Web应用性能测试与优化
【10月更文挑战第6天】随着互联网技术的发展,Web应用程序已经成为人们日常生活和工作中不可或缺的一部分。这些应用不仅需要提供丰富的功能,还必须具备良好的性能表现以保证用户体验。性能测试是确保Web应用能够快速响应用户请求并处理大量并发访问的关键步骤之一。本文将探讨如何使用Python结合Selenium来进行Web应用的性能测试,并通过实际代码示例展示如何识别瓶颈及优化应用。
142 5
|
3月前
|
Linux 网络安全 Python
linux centos上安装python3.11.x详细完整教程
这篇文章提供了在CentOS系统上安装Python 3.11.x版本的详细步骤,包括下载、解压、安装依赖、编译配置、解决常见错误以及版本验证。
1580 1
linux centos上安装python3.11.x详细完整教程
|
1月前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
93 6
|
2月前
|
数据采集 Web App开发 数据可视化
Python爬虫教程:Selenium可视化爬虫的快速入门
Python爬虫教程:Selenium可视化爬虫的快速入门
|
2月前
|
测试技术 数据安全/隐私保护 开发者
自动化测试的奥秘:如何用Selenium和Python提升软件质量
【9月更文挑战第35天】在软件开发的海洋中,自动化测试是那艘能引领我们穿越波涛的帆船。本文将揭开自动化测试的神秘面纱,以Selenium和Python为工具,展示如何构建一个简单而强大的自动化测试框架。我们将从基础出发,逐步深入到高级应用,让读者能够理解并实现自动化测试脚本,从而提升软件的质量与可靠性。
|
3月前
|
Web App开发 测试技术 持续交付
自动化测试的利器:Selenium与Python的完美结合
【9月更文挑战第21天】在软件开发的世界里,测试是确保产品质量的关键步骤。随着敏捷开发和持续集成的流行,自动化测试工具变得尤为重要。本文将介绍如何使用Selenium和Python进行高效的自动化测试,不仅提供代码示例,还深入探讨如何设计测试用例、选择正确的测试框架、以及如何整合到CI/CD流程中。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和实用的技巧。
56 3
|
4月前
|
Web App开发 测试技术 API
自动化测试之美:使用Selenium和Python进行Web应用测试
【8月更文挑战第31天】在软件开发的快节奏世界中,自动化测试如同一束明灯,照亮了质量保证之路。本文将引导你通过Selenium和Python的强大组合,探索如何构建高效的Web应用测试框架。我们不仅会讨论理论,还会深入代码,从一个简单的示例开始,逐步扩展至更复杂的场景。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和实用的技巧。让我们一同揭开自动化测试的神秘面纱,体验它的魅力所在。
|
4月前
|
Web App开发 XML 测试技术
自动化测试框架设计:以Python和Selenium为例
【8月更文挑战第31天】在软件开发的快节奏中,自动化测试成为确保产品质量的关键步骤。本文将引导读者了解如何结合Python语言和Selenium工具来设计一个高效的自动化测试框架。通过浅显易懂的语言和实际代码示例,我们将探索自动化测试框架的核心组件,并学习如何实现它们。无论你是测试新手还是希望提升自动化技能的开发者,这篇文章都将为你打开一扇通向高效软件测试的大门。
|
3月前
|
Linux Python
Linux之centos安装clinkhouse以及python如何连接
Linux之centos安装clinkhouse以及python如何连接
|
3月前
|
敏捷开发 测试技术 持续交付
自动化测试之美:如何用Selenium和Python打造高效测试脚本
【9月更文挑战第13天】在软件开发的海洋中,自动化测试是那抹不可或缺的亮色。它不仅提升了测试效率,还保障了产品质量。本文将带你领略使用Selenium和Python构建自动化测试脚本的魅力所在,从环境的搭建到脚本的编写,再到问题的排查,每一步都是对软件质量把控的深刻理解和实践。让我们开始这段探索之旅,解锁自动化测试的秘密吧!
83 0

热门文章

最新文章