开发者社区> 飞天小橘子> 正文

Python3网络爬虫——(3)代理服务器设置(IP代理使用)

简介: 代理服务器设置 西刺代理IP URL:http://www.xicidaili.com/ 使用request.
+关注继续查看
代理服务器设置
西刺代理IP URL:http://www.xicidaili.com/


使用request.ProxyHandler()来设置对应的代理服务器信息
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
    #访问网址
    url = 'https://blog.csdn.net/asialee_bird'
    #这是代理IP
    proxy = {'http':'117.68.192.78:18118'}
    #创建ProxyHandler
    proxy_support = request.ProxyHandler(proxy)
    #创建Opener
    opener = request.build_opener(proxy_support)
    #添加User Angent
    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36')]
    #安装OPener
    request.install_opener(opener)
    #使用自己安装好的Opener
    response = request.urlopen(url)
    #读取相应信息并解码
    html = response.read().decode("utf-8")
    #打印信息
    print(html)








版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 27 章 恢复配置_27.3. 后备服务器设置
27.3. 后备服务器设置 standby_mode (boolean) 指定是否将PostgreSQL服务器作为一个后备服务器启动。如果这个参数为on,当到达已归档 WAL 末尾时该服务器将不会停止恢复,但是将通过使用restore_command获得新的 WAL 段以及/或者通过使用primary_conninfo设置连接到主服务器来尝试继续恢复。
1457 0
树莓派2B设置固定ip
​​不要修改/etc/network/interfaces文件 在/etc/dhcpcd.conf文件后面增加 interface eth0static ip_address=192.
1277 0
阿里云计算网络增强型sn1ne云服务器配置性能评测
阿里云计算网络增强型sn1ne云服务器是企业级高性能云服务器规格,sn1ne是100%独占资源的云服务器,码笔记分享计算网络增强型sn1ne实例的配置、性能评测及优惠信息: 一:计算网络增强型sn1ne实例特点 阿里云计算网络增强型sn1ne云服务器属于企业级高性能云服务器,个人用户和企业用户均可以购买。
2962 0
python3.5 beautiful4.4 扣扣国内新闻 爬虫
            #!/usr/bin/python3 # -*- coding: UTF-8 -*- ''' Created on 2016年11月18日 @author: baoyou curiousby@163.
776 0
python3爬虫(二)实战- 爬糗事百科
2017-3-09 代码如下. 必须加上head否则无法抓取. # -*- coding:utf-8 -*- import urllib.
941 0
python3爬虫(一)
urllib 方式1:(推荐,因为有一个request实例) #!-*-coding:utf-8-*- import urllib.
1094 0
仅使用NumPy完成卷积神经网络CNN的搭建(附Python代码)
现有的Caffe、TensorFlow等工具箱已经很好地实现CNN模型,但这些工具箱需要的硬件资源比较多,不利于初学者实践和理解。因此,本文教大家如何仅使用NumPy来构建卷积神经网络(Convolutional Neural Network , CNN)模型,具体实现了卷积层、ReLU激活函数层以及最大池化层(max pooling),代码简单,讲解详细。
17102 0
7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执行下去 1.
1250 0
83
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载