python数据预处理

简介: 笔记
import pandas as pd
# 缺失值处理
df  = pd.read_excel('/Users/caizhengjie/Desktop/a.xlsx')
print(df)
# 直接调用info方法就会返回每一列的缺失值
print(df.info())
print('.....................')
# isnull方法判断哪个是缺失值
print(df.isnull())
print('.....................')
# 缺失值删除
'''
缺失值分为两种:1一行中某个字段的缺失值,2一行全部为空白
dropna为删除含有缺失值的行,只要某一行有缺失值就把这一行删除,运行dropna()方法之后删除含有NaN值的行,返回删除后的数据
dropna(how = 'all'),指删除全部为空值的行 ,不全为空值的行就不会被删除
'''
# print(df.dropna(how='all'))
print('.....................')
# 缺失值的填充
# fillna(0)即将所有空值填充为0
# fillna({'列名','要填入的值'})
print(df.fillna({'学科':'理科'}))
print('.....................')
# 重复值处理
# drop_duplicates()方法,默认对所有值进行重复值判断,且默认保留第一行的值
# drop_duplicates(subset = '指要判断的列名',keep关键字,keep = 'fist'k或者'last'即默认是保留第一个,keep = false指把重复列全部删除)
# 数据类型
# print(df.info()) #查看全部数据类型
# print(df['学号'].dtype) #查看某一列的数据类型
# 类型转换-astype()转换数据类型
# print(df['学号'].astype('float'))
# 素引设置
# print('.....................')
# df.columns('学号','s','a','r','w','v','x','b')

以上内容仅供参考学习

相关文章
|
1天前
|
Python
Python编程案例:同一工作簿不同表单特定数据添加到工作簿的另一表单里
Python编程案例:同一工作簿不同表单特定数据添加到工作簿的另一表单里
|
2天前
|
Python
你知道 Python 如何解压缩数据吗
你知道 Python 如何解压缩数据吗
9 1
|
11天前
|
数据挖掘 索引 Python
Python数据挖掘编程基础3
字典在数学上是一个映射,类似列表但使用自定义键而非数字索引,键在整个字典中必须唯一。可以通过直接赋值、`dict`函数或`dict.fromkeys`创建字典,并通过键访问元素。集合是一种不重复且无序的数据结构,可通过花括号或`set`函数创建,支持并集、交集、差集和对称差集等运算。
17 9
|
9天前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫,并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法,以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南,帮助他们快速掌握网络数据抓取的基本技能。
20 3
|
11天前
|
安全 Python
Python量化炒股的获取数据函数—get_industry()
Python量化炒股的获取数据函数—get_industry()
21 3
|
11天前
|
存储 索引 Python
python中的数据容器
python中的数据容器
|
11天前
|
Python
Python量化炒股的获取数据函数—get_security_info()
Python量化炒股的获取数据函数—get_security_info()
21 1
|
1天前
|
存储 算法 搜索推荐
算法进阶之路:Python 归并排序深度剖析,让数据排序变得艺术起来!
算法进阶之路:Python 归并排序深度剖析,让数据排序变得艺术起来!
6 0
|
2天前
|
前端开发 JavaScript Python
Python Web应用中的WebSocket实战:前后端分离时代的实时数据交换
在前后端分离的Web应用开发模式中,如何实现前后端之间的实时数据交换成为了一个重要议题。传统的轮询或长轮询方式在实时性、资源消耗和服务器压力方面存在明显不足,而WebSocket技术的出现则为这一问题提供了优雅的解决方案。本文将通过实战案例,详细介绍如何在Python Web应用中运用WebSocket技术,实现前后端之间的实时数据交换。
8 0
|
10天前
|
数据采集 存储 监控
如何使用 Python 爬取京东商品数据
如何使用 Python 爬取京东商品数据
40 0