如何使用Python对嵌套结构的JSON进行遍历获取链接并下载文件

简介: JSON(JavaScript Object Notation)是一种基于JavaScript语言的轻量级数据交换格式,它用键值对的方式来表示各种数据类型,包括字符串、数字、布尔值、空值、数组和对象,本文展示如何使用Python对嵌套结构的JSON进行遍历获取链接并下载文件。

显示器10.jpg


JSON(JavaScript Object Notation)是一种基于JavaScript语言的轻量级数据交换格式,它用键值对的方式来表示各种数据类型,包括字符串、数字、布尔值、空值、数组和对象。数组是有序的数据集合,用[]包围,元素用逗号分隔;对象是无序的数据集合,用{}包围,属性用逗号分隔,属性名和属性值用冒号分隔。

JSON可以形成嵌套结构,即数组或对象中包含其他数组或对象。例如:

{
"name": "Alice",
"age": 20,
"hobbies": ["reading", "writing", "singing"],
"friends": [
{
"name": "Bob",
"age": 21,
"hobbies": ["playing", "coding", "dancing"]
},
{
"name": "Charlie",
"age": 19,
"hobbies": ["drawing", "cooking", "watching"]
}
]
}

这个例子中,一个对象表示了Alice和她两个朋友的基本信息。这个对象有四个属性,其中hobbies是一个数组,friends也是一个数组,而friends数组中的每个元素又都是一个对象。

遍历JSON就是按顺序访问其中的每个元素或属性,并进行处理。遍历JSON有很多好处:

  • 1、提取所需信息:我们可以从嵌套结构的JSON中获取特定信息,比如Alice喜欢什么书或Bob会不会跳舞等。
  • 2、修改或更新信息:我们可以修改或更新嵌套结构的JSON中的特定信息,比如Alice年龄加1或Charlie多了一个爱好等。
  • 3、格式化或转换信息:我们可以将嵌套结构的JSON以不同形式展示给用户,比如表格、图表、列表等,或者转换成其他格式,比如XML、CSV等。
  • 4、分析或处理信息:我们可以对嵌套结构的JSON中的特定信息进行分析或处理,比如计算Alice和Bob有多少共同爱好,或者按年龄排序所有人等。

下面通过一段代码演示如何遍历JSON,提取所有的网站链接,并对zip文件使用爬虫代理IP下载:

# 导入需要的模块importjsonimportrequests# 定义爬虫代理加强版的用户名、密码、域名和端口proxy="http://16ip:pass@www.16yun.cn:8080"# 定义嵌套结构的json数据,可以用文件读取等方式替换data= {
"articles": {
"article_1": {
"image": "https://www.16yun.cn/1.jpg",
"reviews": [
                {
"attach": "https://www.16yun.cn/test/22.png"                },
                {
"attaches": [
"https://exa2.com/test/23.png",
"https://exm23.com/file.zip"                    ],
"report_to": "https://data.zzz/count_re"                }
            ]
        },
"article_2": {
"image": "https://example.com/3.jpg",
"related_posts": [
                {
"attach": [
"https://exmdy.com/79488.png",
"https://exmdy.com/file/da/eio.zip"                    ],
report_to: \"https://dafe/do\"                }]        }
}}# 定义一个函数,用于遍历json数据,提取所有的链接,并将链接中.zip后缀的文件使用代理IP进行下载defextract_and_download_links(data):
# 如果数据是字典类型,遍历其键值对ifisinstance(data, dict):
forkey, valueindata.items():
# 如果值是字符串类型,并且以http或https开头,说明是一个链接ifisinstance(value, str) andvalue.startswith(("http", \"https\")):# 打印出链接print(value)
# 如果链接以.zip结尾,说明是一个压缩文件ifvalue.endswith(".zip"):
# 使用requests模块和爬虫代理加强版发送请求,获取响应内容response=requests.get(value, proxies={"http": proxy})
# 从链接中提取文件名filename=value.split("/")[-1]
# 以二进制模式打开一个新文件,写入响应内容withopen(filename, \"wb\") as f:f.write(response.content)
# 否则,递归调用函数处理值else:
extract_and_download_links(value)
# 如果数据是列表类型,遍历其元素elifisinstance(data, list):
forelementindata:
# 递归调用函数处理元素extract_and_download_links(element)
# 调用函数处理json数据            extract_and_download_links(data)

总之,对嵌套结构的JSON进行遍历可以帮助我们更好地理解和利用其中包含的数据,并且提供了更多可能性和灵活性来满足不同场景下的需求。

相关文章
|
11天前
|
Python
python学习3-选择结构、bool值、pass语句
python学习3-选择结构、bool值、pass语句
|
30天前
|
Python
Python学习之路 02 之分支结构
Python学习之路 02 之分支结构
47 0
Python学习之路 02 之分支结构
|
1天前
|
JSON 数据可视化 定位技术
python_将包含汉字的字典数据写入json(将datav的全省数据中的贵州区域数据取出来)
python_将包含汉字的字典数据写入json(将datav的全省数据中的贵州区域数据取出来)
5 0
|
1天前
|
JSON JavaScript 数据格式
python遍历目录文件_结合vue获取所有的html文件并且展示
python遍历目录文件_结合vue获取所有的html文件并且展示
4 0
|
10天前
|
JSON API 数据格式
python的request库如何拿到json的返回值
python的request库如何拿到json的返回值
10 0
|
10天前
|
索引 容器
06-python数据容器-list列表定义/list的10个常用操作/列表的遍历/使用列表取出偶数
06-python数据容器-list列表定义/list的10个常用操作/列表的遍历/使用列表取出偶数
|
11天前
|
存储 Python
Python的结构
【4月更文挑战第15天】Python的结构
17 4
|
14天前
|
存储 JSON JavaScript
「Python系列」Python JSON数据解析
在Python中解析JSON数据通常使用`json`模块。`json`模块提供了将JSON格式的数据转换为Python对象(如列表、字典等)以及将Python对象转换为JSON格式的数据的方法。
31 0
|
18天前
|
存储 JSON 数据挖掘
python逐行读取txt文本中的json数据,并进行处理
Python代码示例演示了如何读取txt文件中的JSON数据并处理。首先,逐行打开文件,然后使用`json.loads()`解析每一行。接着,处理JSON数据,如打印特定字段`name`。异常处理包括捕获`JSONDecodeError`和`KeyError`,确保数据有效性和字段完整性。将`data.txt`替换为实际文件路径运行示例。
14 2
|
19天前
|
Python
Python控制结构学习应用案例详解
Python控制结构包含条件语句、循环语句和异常处理。条件语句用if-elif-else判断数字正负;for循环示例输出1到10的整数,while循环计算1到10的和;异常处理用try-except-finally处理除零错误,打印提示信息并结束。
10 3