数据存储的正确规范:csv/xlsx和JSON全方位解析

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: 数据存储的正确规范:csv/xlsx和JSON全方位解析


🔸 CSV/XLSX Python对接库环境搭建

在Python中,我们通常使用pandas库来处理CSV/XLSX文件。首先,安装pandasopenpyxl(用于处理XLSX文件):

pip install pandas openpyxl

🔹 安装完成后,我们就可以开始使用这些库来读取和写入CSV/XLSX文件了。


🔸 文档写入格式规范

我们需要注意CSV/XLSX文件的写入格式,确保数据的完整性和可读性。

写入CSV文件
import pandas as pd
data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'City': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
df.to_csv('output.csv', index=False, encoding='utf-8')
写入XLSX文件
df.to_excel('output.xlsx', index=False, encoding='utf-8')

🔹 这里,我们使用pandas库将数据写入CSV和XLSX文件,并指定了编码格式。


🔸 嵌套列表以及字典格式写入

处理复杂数据结构(如嵌套列表和字典)时,可以将数据转换为适合存储的格式。

写入嵌套列表数据
nested_list = [
    ['Alice', 25, 'New York'],
    ['Bob', 30, 'Los Angeles'],
    ['Charlie', 35, 'Chicago']
]
df = pd.DataFrame(nested_list, columns=['Name', 'Age', 'City'])
df.to_csv('nested_output.csv', index=False, encoding='utf-8')
写入字典数据
nested_dict = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Details': [
        {'Age': 25, 'City': 'New York'},
        {'Age': 30, 'City': 'Los Angeles'},
        {'Age': 35, 'City': 'Chicago'}
    ]
}
df = pd.json_normalize(nested_dict, 'Details', ['Name'])
df.to_csv('dict_output.csv', index=False, encoding='utf-8')

🔹 在这两个示例中,我们分别展示了如何将嵌套列表和字典数据写入CSV文件。


🔸 对接文档实战

接下来,我们将展示一个完整的爬虫示例,并将爬取到的数据写入CSV/XLSX文件。

import requests
from bs4 import BeautifulSoup
import pandas as pd
# 爬取网页数据
url = 'http://example.com/articles'
response = requests.get(url)
html_content = response.content
soup = BeautifulSoup(html_content, 'html.parser')
# 解析数据
articles = soup.find_all('div', class_='article')
data = []
for article in articles:
    title = article.find('h1').text
    author = article.find('span', class_='author').text
    content = article.find('p', class_='content').text
    url = article.find('a')['href']
    
    data.append([title, author, content, url])
# 将数据写入CSV文件
df = pd.DataFrame(data, columns=['Title', 'Author', 'Content', 'URL'])
df.to_csv('articles.csv', index=False, encoding='utf-8')
# 将数据写入XLSX文件
df.to_excel('articles.xlsx', index=False, encoding='utf-8')

🔹 通过这个示例,我们展示了如何将爬虫数据存储到CSV和XLSX文件中。


🔸 JSON对象和数组

JSON是一种常见的数据交换格式,在Python中我们使用json库来处理JSON数据。

JSON对象和数组示例
import json
data = {
    'Name': 'Alice',
    'Age': 25,
    'City': 'New York',
    'Skills': ['Python', 'Data Analysis', 'Machine Learning']
}
json_str = json.dumps(data, indent=4)
print(json_str)

🔹 这里我们将一个字典对象转换为JSON字符串,并使用缩进格式化输出。


🔸 JSON写入规范

将JSON数据写入文件时,确保数据的规范性和易读性。

写入JSON文件
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

🔹 使用json.dump方法将数据写入JSON文件,并设置ensure_ascii=False以支持非ASCII字符。


🔸 JSON数据编码

处理JSON数据时,可能需要对数据进行编码和解码。

JSON编码示例
encoded_data = json.dumps(data, ensure_ascii=False)
print(encoded_data)
JSON解码示例
decoded_data = json.loads(encoded_data)
print(decoded_data)

🔹 通过json.dumpsjson.loads方法,可以方便地对JSON数据进行编码和解码。


🔸 总结

🔹 在本次学习中,我们掌握了如何在Windows和Linux系统下配置CSV/XLSX和JSON环境,了解了数据写入的格式规范,学习了嵌套列表和字典数据的处理方法,并通过实战示例展示了爬虫数据的存储。此外,还学习了JSON对象和数组的处理、写入规范以及数据编码方法。

目录
相关文章
|
5天前
|
编解码 缓存 Prometheus
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
本期内容为「ximagine」频道《显示器测试流程》的规范及标准,我们主要使用Calman、DisplayCAL、i1Profiler等软件及CA410、Spyder X、i1Pro 2等设备,是我们目前制作内容数据的重要来源,我们深知所做的仍是比较表面的活儿,和工程师、科研人员相比有着不小的差距,测试并不复杂,但是相当繁琐,收集整理测试无不花费大量时间精力,内容不完善或者有错误的地方,希望大佬指出我们好改进!
59 16
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
|
27天前
|
存储 搜索推荐 大数据
数据大爆炸:解析大数据的起源及其对未来的启示
数据大爆炸:解析大数据的起源及其对未来的启示
92 15
数据大爆炸:解析大数据的起源及其对未来的启示
|
8天前
|
数据采集 前端开发 API
SurfGen爬虫:解析HTML与提取关键数据
SurfGen爬虫:解析HTML与提取关键数据
|
13天前
|
数据采集 监控 搜索推荐
深度解析淘宝商品详情API接口:解锁电商数据新维度,驱动业务增长
淘宝商品详情API接口,是淘宝开放平台为第三方开发者提供的一套用于获取淘宝、天猫等电商平台商品详细信息的应用程序接口。该接口涵盖了商品的基本信息(如标题、价格、图片)、属性参数、库存状况、销量评价、物流信息等,是电商企业实现商品管理、市场分析、营销策略制定等功能的得力助手。
|
1月前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
30天前
|
JSON 小程序 UED
微信小程序 app.json 配置文件解析与应用
本文介绍了微信小程序中 `app.json` 配置文件的详细
138 12
|
30天前
|
JSON 缓存 API
解析电商商品详情API接口系列,json数据示例参考
电商商品详情API接口是电商平台的重要组成部分,提供了商品的详细信息,支持用户进行商品浏览和购买决策。通过合理的API设计和优化,可以提升系统性能和用户体验。希望本文的解析和示例能够为开发者提供参考,帮助构建高效、可靠的电商系统。
39 12
|
23天前
|
搜索推荐 API 开发者
深度解析:利用商品详情 API 接口实现数据获取与应用
在电商蓬勃发展的今天,数据成为驱动业务增长的核心。商品详情API接口作为连接海量商品数据的桥梁,帮助运营者、商家和开发者获取精准的商品信息(如价格、描述、图片、评价等),优化策略、提升用户体验。通过理解API概念、工作原理及不同平台特点,掌握获取权限、构建请求、处理响应和错误的方法,可以将数据应用于商品展示、数据分析、竞品分析和个性化推荐等场景,助力电商创新与发展。未来,随着技术进步,API接口将与人工智能、大数据深度融合,带来更多变革。
62 3
|
1月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
50 7
|
2月前
|
JSON JavaScript 前端开发
一次采集JSON解析错误的修复
两段采集来的JSON格式数据存在格式问题,直接使用PHP的`json_decode`会报错。解决思路包括:1) 手动格式化并逐行排查错误;2) 使用PHP-V8JS扩展在JavaScript环境中解析。具体方案一是通过正则表达式和字符串替换修复格式,方案二是利用V8Js引擎执行JS代码并返回JSON字符串,最终实现正确解析。 简介: 两段采集的JSON数据因掺杂JavaScript代码导致PHP解析失败。解决方案包括手动格式化修复和使用PHP-V8JS扩展在JavaScript环境中解析,确保JSON数据能被正确处理。

推荐镜像

更多