Python网络爬虫实战-抓取百合网真实相亲数据

简介: 百合网是一个相亲网站,里面拥有一些真实的妹子数据,如何抓取该网站的数据内容呢,接下来随我一探糗竟吧!

第一步:分析网页流程,确定目标

进入百合网首页,分析要抓取的数据内容

image.png

进入到首页推荐表的妹子界面 设置好筛选的条件;可以看到更多展示的妹子。这也是我们接下来要抓取的。

image.png

每张图片点开后 都有相应的详细介绍;比如我们要抓取的数据是 【名字、年龄、身高 、学历、婚姻使、自我介绍等】

image.png

第二步:请求网络网站,获取网页数据

import requests

import json

from lxml import etree

import pandas as pd

cookies = {

   'orderSource': '10130301',

   'accessID': '20220525160212300807',

   'lastLoginDate': 'Wed%20May%2025%202022%2016%3A02%3A12%20GMT+0800%20%28%u4E2D%u56FD%u6807%u51C6%u65F6%u95F4%29',

   'accessToken': 'BH1653465732565956999',

   'Hm_lvt_5caa30e0c191a1c525d4a6487bf45a9d': '1653465735',

   'tempID': '2328584815',

   'NTKF_T2D_CLIENTID': 'guest46B34559-18E8-1BB5-1B84-FA3D400112EF',

   'AuthCookie': '4BFFD62B611D896E561FCDFCA2AC50840C888FC5354A7C8F02C453B1F486849BA543E98E4E32B2920B4F70C256EF513E1B711A8BC10FC1DF9BF608CB30C4F468740A0A3FA06C20992D2ABCEAC15741654D3542C75E463CD2',

   'AuthMsgCookie': 'DF8460C627701442B7016AED70C6828D82D7E467447C72E69E49D2A6B8815481FFB474631E375FBDED51DD0A0BDFCBB06E580573940DA59132515B2BEA677360104068C9C41BBE1272765712500DB8532613ED82D5EDBD2F',

   'GCUserID': '307535896',

   'OnceLoginWEB': '307535896',

   'LoginEmail': '15565222558%40mobile.baihe.com',

   'userID': '307535896',

   'spmUserID': '307535896',

   'nTalk_CACHE_DATA': '{uid:kf_9847_ISME9754_307535896,tid:1653465759744600}',

   'AuthTokenCookie': 'bh.1653466069969_1800.04BE6CEADC682D6A9E8630E1E15B85A5190CC534.bhkOo8o.6',

   'noticeEvent_307535896': '25',

   'hasphoto': '1',

   'AuthCheckStatusCookie': '745B4B48B7EA1CC7BFDEB8D850A700D714D1D3015978705726A127B203C4931405E9D878DCC812E7',

   'tgw_l7_route': '0dd999c63b312678b82b8668ba91d54d',

   'Hm_lpvt_5caa30e0c191a1c525d4a6487bf45a9d': '1653466330',

   '_fmdata': 'Ewvc1t%2BSwfMTVNcjWwP%2B0uotvg7udIoQjotCEf9E17Cze%2FAmFlYoO9ck5kXksZIVSuxOcxl68ouCRX%2FOxc4Mjv2RNI6Ek7XQ8L5kbQaMQeA%3D',

}

headers = {

   'Connection': 'keep-alive',

   'Pragma': 'no-cache',

   'Cache-Control': 'no-cache',

   'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',

   'X-Requested-With': 'XMLHttpRequest',

   'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',

   'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',

   'Origin': 'https://search.baihe.com',

   'Sec-Fetch-Site': 'same-origin',

   'Sec-Fetch-Mode': 'cors',

   'Referer': 'https://search.baihe.com/',

   'Accept-Language': 'zh-CN,zh;q=0.9',

}

data = {

   'minAge': '19',

   'maxAge': '28',

   'minHeight': '155',

   'maxHeight': '170',

   'education': '1-7',

   'loveType': '',

   'marriage': '',

   'income': '1-6',

   'city': '8611',

   'nationality': '',

   'occupation': '',

   'children': '',

   'bloodType': '',

   'constellation': '',

   'religion': '',

   'online': '',

   'isPayUser': '',

   'isCreditedByAuth': '',

   'hasPhoto': '1',

   'housing': '',

   'car': '',

   'homeDistrict': '',

   'page': '1',

   'sorterField': '1',

}

response = requests.post('https://search.baihe.com/Search/getUserID?&jsonCallBack=jQuery183046819546986330085_1653466343209', cookies=cookies, headers=headers, data=data).text

data = response.lstrip('jQuery183046819546986330085_1653466343209(').rstrip(');')

data=json.loads(data)

data = data['data']

print(data)

image.png

第三步:筛选、解析数据 提取

# 存储数据
name=[]

age=[]

hg=[]

x_l=[]

city=[]

h_p=[]

content=[]

for item_id in data:
   # 拼接 url
   url = 'https://profile1.baihe.com/?oppID='+item_id

   response_2 = requests.get(url,headers=headers, cookies=cookies).text

   html=etree.HTML(response_2)

   # 姓名
   name.append(html.xpath('//div[@class="name"]/span[2]/text()')[0])

   # 年龄
   age.append(html.xpath('//div[@class="inter"]/p/text()')[0])

   # 身高
   hg.append(html.xpath('//div[@class="inter"]/p/text()')[1])

   # 学历
   x_l.append(html.xpath('//div[@class="inter"]/p/text()')[2])

   # 所在城市
   city.append(html.xpath('//div[@class="inter"]/p/text()')[3])

   # 是否婚配
   h_p.append(html.xpath('//div[@class="inter"]/p/text()')[4])

   # 自我介绍
   content.append(html.xpath('//div[@class="intr"]/text()')[0])

   print(name,age,hg,x_l,city,h_p,content)

image.png

第四步:持久化保存数据

df = pd.DataFrame()

df['网名']=name

df['年龄']=age

df['身高']=hg

df['学历']=x_l

df['所在城市']=city

df['是否婚配']=h_p

df['自我介绍']=content

df.to_excel('百合网Demo.xls',encoding='utf-8',index=False)

image.png

如此即可获取所有妹子数据,更多的信息,可以按照我的这种方式自己尝试获取呀!

有收获的话 ,可以点赞、关注奥 。

相关文章
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
1373 7
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
存储 分布式计算 测试技术
Python学习之旅:从基础到实战第三章
总体来说,第三章是Python学习路程中的一个重要里程碑,它不仅加深了对基础概念的理解,还引入了更多高级特性,为后续的深入学习和实际应用打下坚实的基础。通过这一章的学习,读者应该能够更好地理解Python编程的核心概念,并准备好应对更复杂的编程挑战。
345 12
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
存储 数据采集 监控
Python文件操作全攻略:从基础到高级实战
本文系统讲解Python文件操作核心技巧,涵盖基础读写、指针控制、异常处理及大文件分块处理等实战场景。结合日志分析、CSV清洗等案例,助你高效掌握文本与二进制文件处理,提升程序健壮性与开发效率。(238字)
895 1
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
1106 0
|
机器学习/深度学习 监控 数据挖掘
Python 高效清理 Excel 空白行列:从原理到实战
本文介绍如何使用Python的openpyxl库自动清理Excel中的空白行列。通过代码实现高效识别并删除无数据的行与列,解决文件臃肿、读取错误等问题,提升数据处理效率与准确性,适用于各类批量Excel清理任务。
1065 0
|
数据采集 测试技术 C++
无headers爬虫 vs 带headers爬虫:Python性能对比
无headers爬虫 vs 带headers爬虫:Python性能对比
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
824 6
|
数据采集 存储 监控
Python 原生爬虫教程:网络爬虫的基本概念和认知
网络爬虫是一种自动抓取互联网信息的程序,广泛应用于搜索引擎、数据采集、新闻聚合和价格监控等领域。其工作流程包括 URL 调度、HTTP 请求、页面下载、解析、数据存储及新 URL 发现。Python 因其丰富的库(如 requests、BeautifulSoup、Scrapy)和简洁语法成为爬虫开发的首选语言。然而,在使用爬虫时需注意法律与道德问题,例如遵守 robots.txt 规则、控制请求频率以及合法使用数据,以确保爬虫技术健康有序发展。
1810 31

热门文章

最新文章

推荐镜像

更多