Python实现自动访问网页

简介: Python实现自动访问网页
import urllib.request
import requests
import time
import ssl
import random
def openUrl(ip, agent):
    headers = {'User-Agent': agent}
    proxies = {'http' : ip}
    requests.get("https://www.baidu.com", headers=headers, proxies=proxies, verify=True)
    ssl._create_default_https_context = ssl._create_unverified_context
    print("Access to success.")
#IP池
#IP来源:
# http://www.xicidaili.com/
# https://www.kuaidaili.com/free/
def randomIP():
    ip = random.choice(['120.78.78.141', '122.72.18.35', '120.92.119.229'])
    return ip
#User-Agent
#User-Agent来源:http://www.useragentstring.com/pages/useragentstring.php
def randomUserAgent():
    UserAgent = random.choice(['Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
                              'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36',
                              'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36'])
    return UserAgent
if __name__ == '__main__':
    for i in range(10):
        ip = randomIP()
        agent = randomUserAgent()
        openUrl(ip, agent)
        time.sleep(1)
相关文章
|
1月前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
1月前
|
数据采集 数据挖掘 Python
使用Python构建简单的Web爬虫:实现网页内容抓取与分析
本文将介绍如何使用Python编写一个简单的Web爬虫,实现对特定网页内容的抓取与分析。通过学习本文,读者将了解到如何利用Python的requests和Beautiful Soup库来获取网页内容,并通过示例演示如何解析HTML结构,提取所需信息。此外,我们还将讨论一些常见的爬虫挑战以及如何避免被网站封禁的策略。
|
1月前
|
前端开发 安全 JavaScript
Python的Flask框架的学习笔记(前后端变量传送,文件上传,网页返回)内含实战:实现一个简单的登录页面
Python的Flask框架的学习笔记(前后端变量传送,文件上传,网页返回)内含实战:实现一个简单的登录页面
|
7天前
|
XML 数据采集 API
Beautiful Soup:Python中的网页解析利器
**Beautiful Soup是Python的HTML和XML解析库,简化了数据提取过程。它提供简单的方法来解析文档树,自动处理编码问题。安装使用`pip install beautifulsoup4`,可配合lxml解析器。基本用法包括:导入库、解析元素(如`find()`和`find_all()`)、遍历文档树和修改文档。在实际项目中,常用于网络爬虫和数据抓取,例如抓取网页新闻标题。**【6月更文挑战第8天】
20 4
|
10天前
|
Python
Python中访问不存在的属性
【6月更文挑战第4天】
10 5
|
12天前
|
Python
Python尝试访问不存在的属性或方法
【6月更文挑战第2天】
8 3
|
18天前
|
数据采集 XML 数据可视化
使用Python进行简单的网页与数据分析
使用Python进行简单的网页与数据分析
61 0
|
1月前
|
前端开发 UED Python
Wagtail-基于Python Django的内容管理系统CMS实现公网访问
Wagtail-基于Python Django的内容管理系统CMS实现公网访问
|
1月前
|
数据采集 存储 JavaScript
使用Python截取网页内容的综合指南
使用Python截取网页内容的综合指南
32 1
|
1月前
|
前端开发 JavaScript Python
使用Python读取本地行情csv文件,做出web网页画出K线图实现案例
【5月更文挑战第4天】使用Python绘制K线图的步骤:1) 安装pandas, matplotlib和Flask;2) 用pandas读取CSV文件并处理数据;3) 创建Flask应用,渲染包含K线图数据的HTML;4) 编写HTML,使用ECharts库绘制K线图。
31 0