Python知识点——高维数据的格式化

简介: Python知识点——高维数据的格式化

常用JSON格式对高维数据进行表达和存储:

常见的高维数据最典型的例子:<key,value>键值对

JSON格式表达键值对<key, value>的基本格式如下,键值对都保存在双引号中:

"key" : "value"

Json库

dumps()和loads()分别对应编码和解码功能

函数 描述
json.dumps(obj,sort_keys=False,indent=None) 将Python的数据类型转换为JSON格式,编码过程
son.loads(string) JSON格式字符串转换为Python的数据类型,解码过程
son.dump(obj, fp, sort_keys=False, indent=None) dumps()功能一致,输出到文件fp
json.load(fp) loads()功能一致,从文件fp读入

常见参数的含义

sort_keys:一个布尔值,表示是否按照键的顺序对字典进行排序。如果设置为 True,生成的 JSON 字符串会按照键的字母顺序排列;默认为 False。


indent:一个整数或者字符串,用于指定生成的 JSON 字符串的缩进格式。如果是一个整数,表示每一级的缩进空格数;如果是一个字符串(比如 '\t'),表示使用指定的字符串作为缩进。如果设置为 None(默认值),则表示不使用缩进,生成的 JSON 字符串会是单行的形式。


skipkeys:一个布尔值,表示是否跳过那些非字符串类型的键。如果设置为 True,在转换字典为 JSON 字符串时,如果字典的键不是字符串类型,会跳过这些键;默认为 False。


ensure_ascii:一个布尔值,表示是否确保生成的 JSON 字符串中只包含 ASCII 字符。如果设置为 False,生成的 JSON 字符串可以包含非 ASCII 字符;默认为 True。


separators:一个元组,用于指定生成的 JSON 字符串中的分隔符。默认为 (','  ,  ':'),表示键值对之间用逗号分隔,键和值之间用冒号分隔。

举例

import json
 
data = {'name': 'Alice', 'age': 30, 'city': 'New York'}
 
# 将字典转换为 JSON 字符串,不排序键,不缩进
json_str1 = json.dumps(data, sort_keys=False, indent=None)
 
# 将字典转换为 JSON 字符串,排序键,使用4个空格作为缩进
json_str2 = json.dumps(data, sort_keys=True, indent=4)
 
# 将字典转换为 JSON 字符串,跳过非字符串类型的键,确保生成的 JSON 字符串中只包含 ASCII 字符
json_str3 = json.dumps(data, skipkeys=True, ensure_ascii=True)
 
print(json_str1)
print(json_str2)
print(json_str3)

注:s1和s2分别代表了按不同方式生成的 JSON 字符串,所以是不同的

>>>dt = {'b':2,'c':4,'a':6}
>>>s1 = json.dumps(dt)  #dumps返回JSON格式的字符串类型
>>>s2 = json.dumps(dt,sort_keys=True,indent=4)
>>>print(s1)
{"c": 4, "a": 6, "b": 2}
>>>print(s2)
{
    "a": 6,
    "b": 2,
    "c": 4
}
>>>print(s1==s2)
False
>>>dt2 = json.loads(s2)
>>>print(dt2, type(dt2))
{'c': 4, 'a': 6, 'b': 2} <class 'dict'>

CSV与JSON格式相互转换

将CSV转换成JSON格式

链接:https://pan.baidu.com/s/1CV6OkG8bc36ppPf8D7GjJw 

提取码:hnlq

import json
fr = open("price2016.csv", "r")
ls = []
for line in fr:
    line = line.replace("\n","")
    ls.append(line.split(','))
fr.close()
fw = open("price2016.json", "w")
for i in range(1,len(ls)):
    ls[i] = dict(zip(ls[0], ls[i]))
json.dump(ls[1:],fw, sort_keys=True, indent=4)
fw.close()

将二维JSON格式数据转换成CSV格式

链接:https://pan.baidu.com/s/1yxE4gdjaym4jupvWk1EnKA 

提取码:5oz1

import json
fr = open("D:\\price2016.json", "r",encoding="utf-8")
ls = json.load(fr)
data = [ list(ls[0].keys()) ]
for item in ls:
    data.append(list(item.values()))
fr.close()
fw = open("D:\\price2016_from_json.csv", "w",encoding="utf-8")
for item in data:
    fw.write(",".join(item) + "\n")
fw.close()

注:打开json文件和写入csv文件时一定要加入encoding="utf-8",否则会报

目录
相关文章
|
4天前
|
存储 JSON JavaScript
【chat-gpt问答记录】python将数据存为json格式和yaml格式
【chat-gpt问答记录】python将数据存为json格式和yaml格式
16 1
|
4天前
|
存储 索引 Python
Python基础第五篇(Python数据容器)
Python基础第五篇(Python数据容器)
|
3天前
|
数据采集 Web App开发 数据挖掘
使用Python和BeautifulSoup轻松抓取表格数据
使用Python和BeautifulSoup,结合代理IP,可以从网页抓取表格数据,如中国气象局的天气信息。通过requests库发送HTTP请求,BeautifulSoup解析HTML提取表格。安装必要库后,设置代理IP,发送请求,解析HTML找到表格,提取数据并存储。通过Pandas进行数据分析,如计算平均气温。这种方法让数据抓取和分析变得更加便捷。
使用Python和BeautifulSoup轻松抓取表格数据
|
3天前
|
数据采集 Web App开发 数据处理
一步步教你用Python Selenium抓取动态网页任意行数据
使用Python Selenium爬取动态网页,结合代理IP提升抓取效率。安装Selenium,配置代理(如亿牛云),设置User-Agent和Cookies以模拟用户行为。示例代码展示如何使用XPath提取表格数据,处理异常,并通过隐式等待确保页面加载完成。代理、模拟浏览器行为和正确配置增强爬虫性能和成功率。
一步步教你用Python Selenium抓取动态网页任意行数据
|
4天前
|
Python
Python列表推导式是一种简洁的创建新列表的方式,它允许你在一行代码中完成对数据的操作和转换
【6月更文挑战第19天】Python列表推导式是创建新列表的简洁语法,它在一行内处理数据。表达式如`[expr for item in iterable if cond]`,其中`expr`是对元素的操作,`item`来自`iterable`,`if cond`是可选过滤条件。例如,将数字列表平方:`[x**2 for x in numbers]`。嵌套列表推导处理复杂结构,如合并二维数组:`[[a+b for a,b in zip(row1, row2)] for row1, row2 in zip(matrix1, matrix2)]`。简洁但勿过度复杂化。
13 5
|
4天前
|
存储 数据安全/隐私保护 计算机视觉
Python教程:一文了解从Bytes到Bits的数据转换
在Python编程中,处理数据时经常需要在字节(bytes)和位(bits)之间进行转换。这种转换在网络通信、数据加密、图像处理等领域尤为常见。本文将详细介绍如何在Python中进行字节与位之间的转换,并提供一个实用的功能:如何在指定的位位置替换位数据。
15 4
|
4天前
|
Python
Python语言提供了多种输出格式化的方法,这些方法随着时间的推移和版本的更新而发展
【6月更文挑战第19天】Python格式化方法包括过时的`%`操作符,`str.format()`,推荐的f-string(Python 3.6+)和Template strings。f-string提供最佳的可读性和性能,`str.format()`是通用的,而`%`不推荐使用。模板字符串用于特定场景。对于旧版Python,使用`str.format()`或`%`。
12 4
|
4天前
|
Python
Python+Jinja2实现接口数据批量生成工具
在做接口测试的时候,我们经常会遇到一种情况就是要对接口的参数进行各种可能的校验,手动修改很麻烦,尤其是那些接口参数有几十个甚至更多的,有没有一种方法可以批量的对指定参数做生成处理呢。
13 3
|
3天前
|
IDE 前端开发 开发工具
怎么在isort Python 代码中的导入语句进行排序和格式化
`isort` 是一个Python工具,用于自动排序和格式化代码中的导入语句,提高代码整洁度和可读性。它支持自动排序、保留空白和注释、自定义排序规则、与多种编辑器集成以及命令行使用。安装`isort`可通过`pip install isort`,使用时可直接在Python代码中导入或通过命令行处理文件。示例展示了如何在代码中使用`isort`进行导入排序,包括基本排序、自定义设置和处理多个文件。`isort`适用于标准库、第三方库和自定义模块的导入排序,还可忽略特定导入,并能与IDE和编辑器插件集成,提升开发效率。
|
4天前
|
IDE 开发工具 开发者
isort——Python 代码中的导入语句进行排序和格式化
isort,全称是 "Import Sorting",是一个 Python 工具,用来对 Python 代码中的导入语句进行排序和格式化。它可以帮助我们按照一定的规则对导入的模块进行排序,使得代码更加整洁,易于阅读和维护。