[python]通过urllib2设置代理访问网址

简介:

#!/usr/bin/env python
import urllib2

# change followings before use
user = 'foo'
passwd = 'bar'
proxyserver = '1.2.3.4:5'
url = 'http://www.google.com/'

def proxy1():
# work
proxy = 'http://%s:%s@%s' % (user, passwd, proxyserver)
opener = urllib2.build_opener( urllib2.ProxyHandler({'http':proxy}) )
urllib2.install_opener( opener )

sContent = urllib2.urlopen(url)
print sContent.read()

def proxy2():
# work for someone, but not for me
passmgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
passmgr.add_password('realm', proxyserver, user, passwd)
authinfo = urllib2.ProxyBasicAuthHandler(passmgr)

proxy = 'http://%s' % proxyserver
opener = urllib2.build_opener(urllib2.ProxyHandler( {'http':proxy} ), authinfo)
urllib2.install_opener(opener)

sContent = urllib2.urlopen(url)
print sContent.read()

def proxy3():
# work for someone, but not for me
authinfo = urllib2.HTTPBasicAuthHandler()
authinfo.add_password('realm', proxyserver, user, passwd)

proxy = 'http://%s' % proxyserver
opener = urllib2.build_opener(urllib2.ProxyHandler( {'http':proxy} ), authinfo)
urllib2.install_opener(opener)

sContent = urllib2.urlopen(url)
print sContent.read()

在linux系统中,假设urllib2设置的代理不好用能够试试环境变量:
export http_proxy='protocol://user:passwd@proxyserver:port'
export https_proxy='protocol://user:passwd@proxyserver:port'
比方通过代理上传appengine文件,其SDK中的rpc不提供代理设置,就能够用这招。

本文转自博客园知识天地的博客,原文链接:[python]通过urllib2设置代理访问网址,如需转载请自行联系原博主。



相关文章
|
6月前
|
机器学习/深度学习 算法 机器人
使用 Python TorchRL 进行多代理强化学习
本文详细介绍了如何使用TorchRL库解决多代理强化学习(MARL)问题,重点讨论了在多代理环境中应用近端策略优化(PPO)。通过使用VMAS模拟器,该文展示了如何在GPU上并行训练多机器人系统,使其在避免碰撞的同时到达目标。文章涵盖了依赖项安装、PPO原理、策略与评论家网络设计、数据收集及训练循环,并强调了TorchRL在简化开发流程、提升计算效率方面的优势。无论是集中式还是分布式评论家配置,TorchRL均能有效支持复杂的MARL研究与实践。
96 5
使用 Python TorchRL 进行多代理强化学习
|
2月前
|
存储 应用服务中间件 开发工具
对象存储OSS-Python设置代理访问请求
通过 Python SDK 配置 nginx 代理地址请求阿里云 OSS 存储桶服务。示例代码展示了如何使用 RAM 账号进行身份验证,并通过代理下载指定对象到本地文件。
107 15
|
5月前
|
SQL JavaScript 前端开发
基于Python访问Hive的pytest测试代码实现
根据《用Java、Python来开发Hive应用》一文,建立了使用Python、来开发Hive应用的方法,产生的代码如下
95 6
基于Python访问Hive的pytest测试代码实现
|
5月前
|
Web App开发 存储 安全
Python编写脚本,打开浏览器输入网址,自动化登陆网站
Python编写脚本,打开浏览器输入网址,自动化登陆网站
316 4
|
5月前
|
API Python
使用Python requests库下载文件并设置超时重试机制
使用Python的 `requests`库下载文件时,设置超时参数和实现超时重试机制是确保下载稳定性的有效方法。通过这种方式,可以在面对网络波动或服务器响应延迟的情况下,提高下载任务的成功率。
239 1
|
5月前
|
NoSQL JavaScript Java
Java Python访问MongoDB
Java Python访问MongoDB
31 4
|
4月前
|
IDE 搜索推荐 网络安全
Python编程:编写被动信息搜集之网址的IP及Whois查询
Python编程:编写被动信息搜集之网址的IP及Whois查询
41 0
|
4月前
|
数据采集 网络安全 Python
Python使用urllib或者urllib2模块打开网页遇到ssl报错
Python使用urllib或者urllib2模块打开网页遇到ssl报错
53 0
|
5月前
|
Python
python编程获取续蜀山剑侠传:从目录名称、网址到内容
python编程获取续蜀山剑侠传:从目录名称、网址到内容
|
5月前
|
Python
python编程获取《续蜀山剑侠传》目录信息:目录名称和网址
python编程获取《续蜀山剑侠传》目录信息:目录名称和网址