pandas数据统计

简介: pandas数据统计

1.排序


通过sort_index方法对索引进行排序,默认为升序,降序排序时加参数ascending=False;通过sort_values方法对数值进行排序。


df2= pd.DataFrame(np.random.randn(3,3),columns = ['a','b','c'],
index = ['3','1','2'])
print(df2)
print(df2.sort_index())
print(df2.sort_values(by='c'))
#-------------------------------
   a         b         c
3  1.806440 -0.434671 -0.231771
1  0.678005  0.928023  0.163997
2  1.087088  2.894730 -0.499704
          a         b         c
1  0.678005  0.928023  0.163997
2  1.087088  2.894730 -0.499704
3  1.806440 -0.434671 -0.231771
          a         b         c
2  1.087088  2.894730 -0.499704
3  1.806440 -0.434671 -0.231771
1  0.678005  0.928023  0.163997


2.数据统计


2.1数据汇总


可以通过sum方法对每列进行求和汇总,设置axis=1时可以实现按行汇总。


print('按列汇总:\n',df2.sum())
print('按行汇总:\n',df2.sum(axis = 1))
#---------------------------------------
按列汇总:
 a    3.571533
b    3.388082
c   -0.567478
dtype: float64
按行汇总:
 3    1.139998
1    1.770025
2    3.482114


2.2数据去重计数


unique方法获取不重复的数组,nunique方法将数据去重后计数。


np.random.seed(971)
values_1 = np.random.randint(10, size=8)
groups = ['A','A','B','A','B','C','A','C']
df = pd.DataFrame({'group':groups,  'value_1':values_1})
display(df)
print('group的取值为:',df.group.unique())
print('group的取值个数为:',df.group.nunique())
#---------------------------------------------
  group value_1
0 A 0
1 A 6
2 B 7
3 A 8
4 B 0
5 C 5
6 A 1
7 C 0
group的取值为: ['A' 'B' 'C']
group的取值个数为: 3


2.3频数统计


print('value_1的取值及其个数为:\n',df.value_1.value_counts())
#------------------------------------------------------------
value_1的取值及其个数为:
 0    3
8    1
1    1
5    1
6    1
7    1


2.4 describe方法描述性统计


df2.describe()
#----------------------------------------
            a         b        c
count 3.000000  3.000000  3.000000
mean  0.226340  -0.719726 0.463594
std     0.567288  1.040418  1.157900
min     -0.397886 -1.893800 -0.219601
25%     -0.015700 -1.123508 -0.204866
50%     0.366486  -0.353215 -0.190130
75%     0.538453  -0.132689 0.805192
max     0.710421  0.087838  1.800514


2.5 Pandas常用的描述性统计方法


方法 说明
median 中位数
var 方差
sem 标准误差
skew 样本偏度
quantile 四分位数
ptp 极差
std 标准差
cov 协方差
mode 众数

目录
相关文章
|
BI Python
Pandas 常用函数-数据统计和描述
Pandas 常用函数-数据统计和描述
228 0
|
数据挖掘 BI Python
Python数据分析(三)—— Pandas数据统计
Python数据分析(三)—— Pandas数据统计
量化交易系列【1】常用的Pandas数据统计及计算相关函数
量化交易系列【1】常用的Pandas数据统计及计算相关函数
量化交易系列【1】常用的Pandas数据统计及计算相关函数
|
数据挖掘 BI Python
Python数据分析(三)—— Pandas数据统计
Python数据分析(三)—— Pandas数据统计
Python数据分析(三)—— Pandas数据统计
|
3月前
|
Java 数据处理 索引
(Pandas)Python做数据处理必选框架之一!(二):附带案例分析;刨析DataFrame结构和其属性;学会访问具体元素;判断元素是否存在;元素求和、求标准值、方差、去重、删除、排序...
DataFrame结构 每一列都属于Series类型,不同列之间数据类型可以不一样,但同一列的值类型必须一致。 DataFrame拥有一个总的 idx记录列,该列记录了每一行的索引 在DataFrame中,若列之间的元素个数不匹配,且使用Series填充时,在DataFrame里空值会显示为NaN;当列之间元素个数不匹配,并且不使用Series填充,会报错。在指定了index 属性显示情况下,会按照index的位置进行排序,默认是 [0,1,2,3,...] 从0索引开始正序排序行。
346 0
|
3月前
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
523 0
|
5月前
|
存储 数据采集 数据处理
Pandas与NumPy:Python数据处理的双剑合璧
Pandas与NumPy是Python数据科学的核心工具。NumPy以高效的多维数组支持数值计算,适用于大规模矩阵运算;Pandas则提供灵活的DataFrame结构,擅长处理表格型数据与缺失值。二者在性能与功能上各具优势,协同构建现代数据分析的技术基石。
483 0
|
机器学习/深度学习 数据处理 Python
从NumPy到Pandas:轻松转换Python数值库与数据处理利器
从NumPy到Pandas:轻松转换Python数值库与数据处理利器
360 1
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
371 0
|
存储 数据挖掘 数据处理
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第26天】Python 是数据分析领域的热门语言,Pandas 库以其高效的数据处理功能成为数据科学家的利器。本文介绍 Pandas 在数据读取、筛选、分组、转换和合并等方面的高效技巧,并通过示例代码展示其实际应用。
324 2