python数据分析和可视化【1】

简介: python数据分析和可视化【1】

前言

这学期开了门课是python数据分析和可视化,今天第一次实验课主要是复习了一下python基础和常用的一些操作

【1】读取txt,csv文件和文件的写入

#读取txt,csv文件
file=open("C:\\Users\86178\Downloads\泰戈尔的诗.txt",mode='r') #以只读方式打开文件
content=file.read() #一次性读取整个文件内容
print(content)
file.close()
#读取csv文件
import csv
with open("C:\\Users\86178\Downloads\student.csv","r") as f:
    reader=csv.reader(f)
    rows=[row for row in reader]
for item in rows:
    print(item)
#csv文件的写入
content=[
    ["5","hanmeimei","23","81"],
    ["1","mali","18","99"],
    ["2","jcak","21","89"],
    ["3","zhanghua","23","88"], ]
f=open("C:\\Users\86178\Downloads\person.csv", "w",encoding="utf-8", newline="")  #不加newline="",就会出现空行
content_out=csv.writer(f) #1.创建writer对象
for con in content:  #遍历列表,将每一行的数据写入csv
    content_out.writerow(con)
f.close()

写入后的文件:

【2】白葡萄酒的数据分析

1.查看白葡萄酒中共分为几种品质等级

① 查看当前葡萄酒文件的格式,选择合适的方法进行数据载入

② 明确描述“品质等级”的具体位置,即quality属性

③ 遍历数据,将每行数据的quality值放于列表

④ 对此列表进行去重

2.按白葡萄酒等级将数据集划分为7个子集,并统计每种品质等级的数量

① 考虑保存数据的数据结构,要求既有等级又有对应的等级的数量,可用字典

② 遍历文件,相同等级的数据可放于一个列表,每一个等级创建一个列表

③ 计算列表的长度

白葡萄酒的数据集:

代码:

import  csv
f=open("C:\\Users\86178\Desktop\winequality-red.csv","r",encoding="utf-8")
reader=csv.reader(f)
content=[]
for i in reader:
    content.append(i)  #把每一行数据放到列表中,列表中每一个元素是每一行数据
f.close()
quality_list=[]  #存放每列quality的值
for row in content[1:]:
    quality_list.append(int(row[-1]))  #把每列的quality的值放到列表中
quality_count=set(quality_list)#去重
print("白葡萄酒共有%d种等级,分别是:%r"%(len(quality_count),quality_count))
content_dict={}
for row in content[1:]:
    quality = int(row[-1])
    if quality not in content_dict.keys():
        content_dict[quality] = [row]   # 创建values:[ [] ]
    else:
        content_dict[quality].append(row)  #向字典中添加values值,例如[ [],[],[] ]
for key in content_dict:
    print("质量",key,"级的数量:",len(content_dict[key]))

运行结果:

目录
相关文章
|
6天前
|
存储 数据采集 数据挖掘
Python数据分析实验一:Python数据采集与存储
Python数据分析实验一:Python数据采集与存储
28 1
|
7天前
|
数据采集 SQL 数据挖掘
2024年8个Python高效数据分析的技巧_python 数据分析 效率,2024年最新阿里社招p7面试几轮
2024年8个Python高效数据分析的技巧_python 数据分析 效率,2024年最新阿里社招p7面试几轮
|
3天前
|
数据采集 机器学习/深度学习 数据可视化
使用Python进行数据分析
本文介绍了如何使用Python进行网络爬虫和数据分析。首先,网络爬虫通过库如`requests`和`BeautifulSoup`收集数据,而数据分析则依赖于`pandas`、`numpy`和`matplotlib`等库进行数据清洗、转换和可视化。文章还提到了处理动态网页和分页数据的策略,以及使用`Selenium`模拟浏览器行为。在数据分析部分,讨论了高级技术,如数据聚合、相关性分析和机器学习预测模型。最后,介绍了交互式可视化和地理空间数据可视化的工具,如`Plotly`、`Bokeh`、`geopandas`和`folium`。通过不断学习和实践,读者可以提升在网络爬虫和数据分析领域的技能。
|
3天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的强大应用
Python在数据分析中扮演关键角色,凭借其强大的功能和简洁的语法赢得了数据分析师的青睐。pandas库简化了数据处理和清洗,如读取多种格式文件、处理缺失值和重复值。数据可视化方面,matplotlib和seaborn能生成各类图表,帮助直观展示数据。此外,Python的scikit-learn用于机器学习和预测分析,支持线性回归等多种模型。面对复杂任务,Python结合Dask进行并行处理,或利用NLP库处理非结构化数据。通过集成和自动化,Python提高了数据分析效率,成为该领域的首选工具。
|
5天前
|
监控 并行计算 数据挖掘
python数据分析中遇到的问题
在Python数据分析项目中,面对数十GB的日志数据,遇到性能瓶颈和内存溢出问题。通过使用`pandas`的`read_csv(chunksize=)`分块读取、`joblib`实现并行处理、优化数据类型及利用`engine='c'`和`memory_map=True`减少内存占用,成功提升处理速度和效率。这次经历强调了预防性思考、持续学习、性能监控、代码优化和利用社区资源的重要性,促进了技术与思维方式的升级。
28 4
|
7天前
|
存储 数据可视化 算法
最新Python-Matplotlib可视化(9)——精通更多实用图形的绘制,2024年最新小米面试题库
最新Python-Matplotlib可视化(9)——精通更多实用图形的绘制,2024年最新小米面试题库
最新Python-Matplotlib可视化(9)——精通更多实用图形的绘制,2024年最新小米面试题库
|
7天前
|
SQL 数据可视化 数据挖掘
2024年8个Python高效数据分析的技巧。,2024年最新Python基础面试题2024
2024年8个Python高效数据分析的技巧。,2024年最新Python基础面试题2024
2024年8个Python高效数据分析的技巧。,2024年最新Python基础面试题2024
|
7天前
|
数据可视化 数据挖掘 Python
【Python DataFrame专栏】DataFrame的可视化探索:使用matplotlib和seaborn
【5月更文挑战第20天】本文介绍了使用Python的pandas、matplotlib和seaborn库进行数据可视化的步骤,包括创建示例数据集、绘制折线图、柱状图、散点图、热力图、箱线图、小提琴图和饼图。这些图表有助于直观理解数据分布、关系和趋势,适用于数据分析中的探索性研究。
【Python DataFrame专栏】DataFrame的可视化探索:使用matplotlib和seaborn
|
10天前
|
机器学习/深度学习 数据挖掘 Python
Python数据分析 | 泰坦尼克逻辑回归(下)
Python数据分析 | 泰坦尼克逻辑回归
14 1
|
10天前
|
机器学习/深度学习 数据挖掘 BI
Python数据分析 | 泰坦尼克逻辑回归(上)
Python数据分析 | 泰坦尼克逻辑回归
23 0