如何用 Python 爬取需要登录的网站

简介:

【原文地址:】http://python.jobbole.com/83588/

 

复制代码
import requests
from lxml import html


# 创建 session 对象。这个对象会保存所有的登录会话请求。
session_requests = requests.session()



# 提取在登录时所使用的 csrf 标记
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
 
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

payload = {
    "username": "<你的用户名>", 
    "password": "<你的密码>", 
    "csrfmiddlewaretoken": authenticity_token # 在源代码中,有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
}

# 执行登录
result = session_requests.post(
    login_url, 
    data = payload, 
    headers = dict(referer=login_url)
)


# 已经登录成功了,然后从 bitbucket dashboard 页面上爬取内容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
    url, 
    headers = dict(referer = url)
)


# 测试爬取的内容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
 
print(bucket_names)
复制代码

 

本文转自罗兵博客园博客,原文链接:http://www.cnblogs.com/hhh5460/p/5067678.html ,如需转载请自行联系原作者
相关文章
|
4天前
|
数据采集 存储 架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取!
在如今这个网购风云从不间歇的时代,购物狂欢持续不断,一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时,“如何省钱?”成为了大家最关心的问题。 比价、返利、优惠券都是消费者在网购时的刚需,但在这些“优惠”背后已产生灰色地带。
|
20小时前
|
前端开发 关系型数据库 MySQL
基于python+mysql的宠物领养网站系统
基于python+mysql的宠物领养网站系统
13 2
|
4天前
|
数据采集 前端开发 JavaScript
Python爬虫之Ajax数据爬取基本原理#6
Ajax数据爬取原理【2月更文挑战第19天】
14 1
Python爬虫之Ajax数据爬取基本原理#6
|
27天前
|
数据采集 Linux API
Python爬虫实践指南:利用cpr库爬取技巧
Python爬虫实践指南:利用cpr库爬取技巧
|
27天前
|
Python Go 机器人
Golang每日一练(leetDay0021) 旋转链表、不同路径、不同路径II
Golang每日一练(leetDay0021) 旋转链表、不同路径、不同路径II
23 0
Golang每日一练(leetDay0021) 旋转链表、不同路径、不同路径II
|
1月前
|
数据采集 前端开发 JavaScript
盘点63个Python登录第三方源码Python爱好者不容错过
盘点63个Python登录第三方源码Python爱好者不容错过
25 0
|
1月前
|
数据采集 监控 前端开发
盘点49个Python网站项目Python爱好者不容错过
盘点49个Python网站项目Python爱好者不容错过
14 3
|
1月前
|
数据采集 前端开发 搜索推荐
盘点72个Python网站项目Python爱好者不容错过
盘点72个Python网站项目Python爱好者不容错过
11 0
|
19小时前
|
调度 Python
什么是Python中的协程(Coroutine)?如何使用`async`和`await`进行协程编程?
什么是Python中的协程(Coroutine)?如何使用`async`和`await`进行协程编程?
4 0
|
1天前
|
安全 调度 Python
什么是Python中的事件驱动编程?如何使用`asyncio`模块实现异步事件处理?
【2月更文挑战第4天】【2月更文挑战第9篇】什么是Python中的事件驱动编程?如何使用`asyncio`模块实现异步事件处理?