如何用str.format()批量生成网址【以豆瓣读书为例】

简介: 如何用str.format()批量生成网址【以豆瓣读书为例】

1 用法说明


str.format() 方法通过字符串中的花括号 {} 来识别替换字段从而完成字符串的格式化。


1.1 写法

简单字段名有三种写法:

  • 省略不写 {}
  • 数字 {十进制非负整数}
  • 变量名 {合法的Python标识符}:在生成网址中可应用


1.2 举例

# 省略不写
print("hello!{}".format('火柴先生'))
#OUTPUT:hello!火柴先生
# 变量名
print("hello!{name}".format(name='火柴先生'))


2 应用:豆瓣读书


2.1 初步

打开网页选择一个自己感兴趣的标签,这里我选择“股票”标签进行后续操作。

ae7fc932276b43d6813f086df17a5376.png


拖动到最下方有翻页功能,点击后一页

image.png


2.2 分析URL

通过上图中url[(https://book.douban.com/tag/股票?start=20&type=T),不难发现其生成逻辑

  1. tag后为对应的细分书籍标签
  2. start值为对应书本起始数,第三页start值变为40可推测其每页显示数量为20本书


2.3 生成

  • 利用上面学习的方法先生成一条地址
# url:https://book.douban.com/tag/股票?start=20&type=T
"https://book.douban.com/tag/股票?start={num}&type=T".format(num=20)


在notebook中运行结果如下:

image.png


  • 通过简单for循环批量生成网址,构思分为如下几步:
  1. 先创建一个网址模板
  2. 生成一个空列表,用来存储批量生成的网址
  3. 执行循环,注意这里的循环次数根据具体情况来设置


template="https://book.douban.com/tag/股票?start={num}&type=T"
url_list=[]
# 下面设置40,因为股票类的书籍只有40页
for p in range(0,40):
    url=template.format(num=p*20)
    url_list.append(url)
url_list


执行效果如下:

image.png


参考链接:

Python 中 str.format() 方法详解_团子大圆帅的博客-CSDN博客_

目录
相关文章
|
数据采集
【详细步骤解析】爬虫小练习——爬取豆瓣Top250电影,最后以csv文件保存,附源码
【详细步骤解析】爬虫小练习——爬取豆瓣Top250电影,最后以csv文件保存,附源码
334 0
|
人工智能 文字识别 JavaScript
一张截图生成iPhone应用、还能转成代码、创建网站,升级后谷歌Bard真成了
一张截图生成iPhone应用、还能转成代码、创建网站,升级后谷歌Bard真成了
153 0
|
JSON 数据格式 Python
Crawler:基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息
Crawler:基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息
Crawler:基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息
|
数据采集 Web App开发 JavaScript
10分钟教你用Python爬取Baidu文库全格式内容
10分钟教你用Python爬取Baidu文库全格式内容
1403 0
|
Web App开发 数据采集 数据库
2.HtmlAgilityPack 爬取优酷电影名进阶(所有分类+多线程)
上一章节中我们实现了对优酷单页面的爬取,简单进行回顾一下,使用HtmlAgilityPack库,对爬虫的爬取一共分为三步 爬虫步骤 加载页面 解析数据 保存数据 继第一篇文档后的爬虫进阶,本文章主要是对上一篇的进阶。
1006 0
|
8月前
|
Web App开发 Python Windows
经验大分享:PYTHON爬取66影视的电影下载链接,有搜索功能
经验大分享:PYTHON爬取66影视的电影下载链接,有搜索功能
192 2
|
JSON 数据可视化 Android开发
以『公众号』为例,手把手教你爬取PC端数据
思路:主要是通过手机设置代理,然后在pc端开启抓包工具获取数据包,然后在编写python代码(get方式)去请求数据 上次有粉丝说,那个是ios手机安卓手机现在需要root权限才可以安装证书,那么今天就不以手机为例,以电脑PC端为例,这样大家都可以上手尝试 今天教大家抓到post数据包之后,怎么编写python代码去狗仔构造数据包,这里以获取『微信公众号』文章的阅读数、点赞数、在看数为例进行讲解(之所以以这个例子,主要还是有点难度的,所以给大家分享一下这个技术)
698 0
|
数据采集 存储 关系型数据库
基于Python的爬虫演示示例-以电影网站为例
爬取的数据最终会存到MYSQL服务器的表中,可以写程序将数据展示出来。注意的时会对IP进行限制封号,200条为限,超过IP会被限制,可以换一个IP进行抓去。主要研究爬虫的基本使用规范和语法,相对较为简单,供大家学习参考
259 0

热门文章

最新文章