爬虫练手:某网图书畅销榜排名数据

简介: 爬虫练手:某网图书畅销榜排名数据

本期,练习一下python爬虫,长时间不写爬虫,写个简单的爬虫来练习一下。爬取一下某网图书畅销榜的排名并保存成Excel文件。

这个网站长这个样子:

具体代码为:


import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timeall_data=pd.DataFrame()def crawl(i):    url =f'http://bang.dangdang.com/books/bestsellers/1-{i}'    response = requests.get(url)    soup = BeautifulSoup(response.text, 'html.parser')    book_items = soup.select('.bang_list li')    temp=pd.DataFrame()    for item in book_items:        book_name = item.select('.name a')[0].text.strip()        pic=item.select('.pic > a > img')[0].get('src')        star=item.select('.star a')[0].text.strip()        author = item.select('.publisher_info')[0].text.strip().split('/')[0]        press = item.select('.publisher_info')[1].text.strip().split('\xa0')[-1]        price_r = item.select('.price_r')[0].text.strip()        price_n = item.select('.price_n')[0].text.strip()        data=[{'书名':book_name,'图片':pic,'评论数':star,'作者':author,               '出版社':press,'原价':price_r, '现价':price_n }]        temp=temp.append(data)    return tempfor i in range(1,26):    all_data=all_data.append(crawl(i))    time.sleep(0.5)all_data.to_excel('当当网图书畅销榜排名.xlsx',index=False)

跑一遍,得到的Excel为:

8e4c6fb059200254611682130f27ae9a.png

爬虫时不时要拿出来练习一下,不然很容易忘掉

相关文章
|
2月前
|
数据采集 API 数据处理
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
|
9天前
|
数据采集 安全 定位技术
使用代理IP爬虫时数据不完整的原因探讨
在信息化时代,互联网成为生活的重要部分。使用HTTP代理爬取数据时,可能会遇到失败情况,如代理IP失效、速度慢、目标网站策略、请求频率过高、地理位置不当、网络连接问题、代理配置错误和目标网站内容变化等。解决方法包括更换代理IP、调整请求频率、检查配置及目标网站变化。
41 11
|
28天前
|
数据采集 JSON JavaScript
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
本文介绍了如何使用PHP模拟表单提交并结合代理IP技术抓取京东商品的实时名称和价格,特别是在电商大促期间的数据采集需求。通过cURL发送POST请求,设置User-Agent和Cookie,使用代理IP绕过限制,解析返回数据,展示了完整代码示例。
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
|
1月前
|
数据采集 JavaScript 程序员
探索CSDN博客数据:使用Python爬虫技术
本文介绍了如何利用Python的requests和pyquery库爬取CSDN博客数据,包括环境准备、代码解析及注意事项,适合初学者学习。
81 0
|
3月前
|
数据采集 存储 监控
网络爬虫的最佳实践:结合 set_time_limit() 与 setTrafficLimit() 抓取云盘数据
本文探讨了如何利用 PHP 的 `set_time_limit()` 与爬虫工具的 `setTrafficLimit()` 方法,结合多线程和代理 IP 技术,高效稳定地抓取百度云盘的公开资源。通过设置脚本执行时间和流量限制,使用多线程提高抓取效率,并通过代理 IP 防止 IP 封禁,确保长时间稳定运行。文章还提供了示例代码,展示了如何具体实现这一过程,并加入了数据分类统计功能以监控抓取效果。
74 16
网络爬虫的最佳实践:结合 set_time_limit() 与 setTrafficLimit() 抓取云盘数据
|
2月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
35 1
|
2月前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫,并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法,以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南,帮助他们快速掌握网络数据抓取的基本技能。
64 3
|
3月前
|
数据采集 Python
天天基金数据的Python爬虫
天天基金数据的Python爬虫
73 3
|
3月前
|
数据采集 存储 JavaScript
构建您的第一个Python网络爬虫:抓取、解析与存储数据
【9月更文挑战第24天】在数字时代,数据是新的金矿。本文将引导您使用Python编写一个简单的网络爬虫,从互联网上自动抓取信息。我们将介绍如何使用requests库获取网页内容,BeautifulSoup进行HTML解析,以及如何将数据存储到文件或数据库中。无论您是数据分析师、研究人员还是对编程感兴趣的新手,这篇文章都将为您提供一个实用的入门指南。拿起键盘,让我们开始挖掘互联网的宝藏吧!
|
3月前
|
数据采集 JSON 数据格式
Python:南京地铁每日客流数据的爬虫实现
Python:南京地铁每日客流数据的爬虫实现
80 1