python 爬虫 自动登录人人网

简介: 简单的python的爬虫,已经看了一周了,里面还是有一些细节搞不懂,最近连做梦都在post数据,想想真是醉了,我的目标是进入学校的教务系统,可能对有些人来说可能轻而易举,但是对我来说也算是一个很大的挑战了,尤其是教务系统登录页面的验证码,看了几天也没搞懂,算了,还是慢慢研究吧,最近想开始试试...

简单的python的爬虫,已经看了一周了,里面还是有一些细节搞不懂,最近连做梦都在post数据,想想真是醉了,我的目标是进入学校的教务系统,可能对有些人来说可能轻而易举,但是对我来说也算是一个很大的挑战了,尤其是教务系统登录页面的验证码,看了几天也没搞懂,算了,还是慢慢研究吧,最近想开始试试写简历了,学长一个劲的要求一定要写项目经验,这才意识到不懂做项目其实也挺可悲的,不过我还有一年,真该为就业想想了,加油了,先贴一个进入人人网的代码!代码只写了进入人人网,并获取页面内容,至于获取之后想怎么玩,那就要看你想做什么了,利用正则表达式处理就行了!

#coding:utf-8
import urllib2
import urllib
import cookielib
import re
def renrenBrower(url,user,password):
    #登陆页面,可以通过抓包工具分析获得,如fiddler,wireshark
    login_page = "http://www.renren.com/PLogin.do"
    try:
        #获得一个cookieJar实例
        cj = cookielib.CookieJar()
        #cookieJar作为参数,获得一个opener的实例
        opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
        #伪装成一个正常的浏览器,避免有些web服务器拒绝访问。此处伪装的火狐
        opener.addheaders = [('User-agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0')]
        #生成Post数据,含有登陆用户名密码。
        data = urllib.urlencode({"email":user,"password":password})
        #以post的方法访问登陆页面,访问之后cookieJar会自定保存cookie
        opener.open(login_page,data)
        #以带cookie的方式访问页面
        op=opener.open(url)
        #读取页面源码
        data= op.read()
        return data
    
#异常处理
    except Exception,e:
        print str(e)
#访问某用户的个人主页,其实这已经实现了人人网的签到功能。
html = renrenBrower("http://www.renren.com/home",'************','********')
print html
倒数第二行的*****处,分别是人人网的账号和密码!
目录
相关文章
|
19天前
|
数据采集 存储 JSON
Python爬虫开发:BeautifulSoup、Scrapy入门
在现代网络开发中,网络爬虫是一个非常重要的工具。它可以自动化地从网页中提取数据,并且可以用于各种用途,如数据收集、信息聚合和内容监控等。在Python中,有多个库可以用于爬虫开发,其中BeautifulSoup和Scrapy是两个非常流行的选择。本篇文章将详细介绍这两个库,并提供一个综合详细的例子,展示如何使用它们来进行网页数据爬取。
|
2天前
|
数据采集 人工智能 数据可视化
Python selenium爬虫被检测到,该怎么破?
Python selenium爬虫被检测到,该怎么破?
|
2天前
|
数据采集 XML Web App开发
6个强大且流行的Python爬虫库,强烈推荐!
6个强大且流行的Python爬虫库,强烈推荐!
|
4天前
|
数据采集 存储 JavaScript
构建你的第一个Python爬虫:从理论到实践
【8月更文挑战第27天】本文旨在为初学者提供一个关于如何构建简单Python网络爬虫的指南。我们将从网络爬虫的基础概念讲起,然后通过一个实际的项目案例来展示如何抓取网页数据,并将其存储在本地文件中。文章将介绍必要的工具和库,并逐步引导读者完成一个简单的爬虫项目,以加深对网络数据抓取过程的理解。
|
3天前
|
数据采集 存储 XML
Python 爬虫实战:从入门到精通
【8月更文挑战第28天】本文将带你进入Python爬虫的世界,从基础概念到实战操作,一步步教你如何用Python编写一个高效的网络爬虫。你将学习到如何解析网页、提取数据、存储数据以及应对反爬策略等技能。无论你是初学者还是有一定经验的开发者,都能在这篇文章中找到有价值的信息和技巧。让我们一起探索Python爬虫的奥秘吧!
|
4天前
|
数据采集 存储 数据库
python爬虫知识
【8月更文挑战第27天】python爬虫知识
15 2
|
4天前
|
数据采集 机器学习/深度学习 人工智能
Python爬虫入门指南探索AI的无限可能:深度学习与神经网络的魅力
【8月更文挑战第27天】本文将带你走进Python爬虫的世界,从基础的爬虫概念到实战操作,你将学会如何利用Python进行网页数据的抓取。我们将一起探索requests库和BeautifulSoup库的使用,以及反爬策略的应对方法。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你打开一扇通往数据抓取世界的大门。
|
8天前
|
数据采集 存储 JSON
Python爬虫
【8月更文挑战第24天】
25 2
|
20天前
|
数据采集 存储 JSON
Python爬虫
【8月更文挑战第11天】
33 14
|
14天前
|
数据采集 存储 中间件
Python进行网络爬虫:Scrapy框架的实践
【8月更文挑战第17天】网络爬虫是自动化程序,用于从互联网收集信息。Python凭借其丰富的库和框架成为构建爬虫的首选语言。Scrapy作为一款流行的开源框架,简化了爬虫开发过程。本文介绍如何使用Python和Scrapy构建简单爬虫:首先安装Scrapy,接着创建新项目并定义爬虫,指定起始URL和解析逻辑。运行爬虫可将数据保存为JSON文件或存储到数据库。此外,Scrapy支持高级功能如中间件定制、分布式爬取、动态页面渲染等。在实践中需遵循最佳规范,如尊重robots.txt协议、合理设置爬取速度等。通过本文,读者将掌握Scrapy基础并了解如何高效地进行网络数据采集。
62 6
下一篇
云函数