Pandas入门:安装与基本操作

本文涉及的产品
应用实时监控服务-应用监控,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
简介: Pandas 是一个强大的 Python 数据处理库,提供高效的数据结构和分析工具。本文从安装开始,介绍 Pandas 的基本操作,包括 `Series` 和 `DataFrame` 的创建、查看、选择、过滤、添加和删除数据等。同时,指出了一些常见的问题和易错点,帮助初学者快速上手。

引言

在数据科学领域,Pandas 是一个非常强大的 Python 库,它提供了高效的数据结构和数据分析工具。Pandas 的名称来源于“面板数据”(Panel Data)和“Python 数据分析”(Python Data Analysis)。本文将从 Pandas 的安装开始,逐步介绍其基本操作,并指出一些常见的问题和易错点,帮助初学者快速上手。
image.png

安装 Pandas

使用 pip 安装

Pandas 可以通过 Python 的包管理工具 pip 来安装。打开命令行或终端,输入以下命令:

pip install pandas

使用 Anaconda 安装

如果你使用的是 Anaconda 发行版,可以通过 Conda 包管理器来安装 Pandas:

conda install pandas

导入 Pandas

安装完成后,可以在 Python 脚本或 Jupyter Notebook 中导入 Pandas:

import pandas as pd

基本数据结构

Pandas 主要提供了两种数据结构:SeriesDataFrame

Series

Series 是一维数组,可以存储任何数据类型(整数、字符串、浮点数等)。每个元素都有一个对应的索引值。

创建 Series

data = [1, 2, 3, 4, 5]
s = pd.Series(data)
print(s)

输出:

0    1
1    2
2    3
3    4
4    5
dtype: int64

DataFrame

DataFrame 是二维表格型数据结构,可以看作是由多个 Series 组成的。每个列可以有不同的数据类型。

创建 DataFrame

data = {
   
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'City': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)

输出:

      Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago

常见操作

查看数据

查看前几行

print(df.head(2))

输出:

      Name  Age       City
0    Alice   25   New York
1      Bob   30  Los Angeles

查看后几行

print(df.tail(2))

输出:

      Name  Age       City
1      Bob   30  Los Angeles
2  Charlie   35    Chicago

选择数据

选择单列

print(df['Name'])

输出:

0     Alice
1       Bob
2    Charlie
Name: Name, dtype: object

选择多列

print(df[['Name', 'Age']])

输出:

      Name  Age
0    Alice   25
1      Bob   30
2  Charlie   35

过滤数据

按条件过滤

filtered_df = df[df['Age'] > 30]
print(filtered_df)

输出:

      Name  Age     City
2  Charlie   35  Chicago

添加数据

添加新列

df['Gender'] = ['Female', 'Male', 'Male']
print(df)

输出:

      Name  Age         City  Gender
0    Alice   25     New York  Female
1      Bob   30  Los Angeles    Male
2  Charlie   35      Chicago    Male

删除数据

删除列

df = df.drop(columns=['Gender'])
print(df)

输出:

      Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago

排序数据

按某一列排序

sorted_df = df.sort_values(by='Age')
print(sorted_df)

输出:

Name  Age         City
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago

常见问题与易错点

1. 忘记导入 Pandas

在使用 Pandas 之前,必须先导入库。忘记导入会导致代码无法运行。

2. 索引错误

在访问 SeriesDataFrame 时,索引错误是一个常见的问题。确保索引存在且正确。

3. 数据类型不一致

DataFrame 中的每一列可以有不同的数据类型。如果数据类型不一致,可能会导致意外的结果或错误。

4. 链式操作

链式操作可以提高代码的可读性和简洁性,但也可能导致性能问题。如果遇到性能瓶颈,可以考虑将中间结果赋值给变量。

5. 空值处理

数据中可能存在空值(NaN),处理不当会导致错误。可以使用 dropna()fillna() 方法来处理空值。

df = df.dropna()
df = df.fillna(0)

6. 大数据集的内存问题

处理大数据集时,要注意内存使用情况。可以使用 read_csv()chunksize 参数来分块读取数据。

chunksize = 10 ** 6
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    process(chunk)

总结

Pandas 是一个功能强大的数据处理库,掌握其基本操作对于数据科学家和分析师来说至关重要。本文从安装到基本操作,再到常见问题和易错点,希望能帮助初学者快速上手 Pandas。随着实践的深入,你会逐渐发现 Pandas 更多的强大功能和应用场景。

目录
相关文章
|
5天前
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
7天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
6184 18
|
18天前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
11天前
|
自然语言处理 数据可视化 API
Qwen系列模型+GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
本文详细记录了作者在短时间内尝试构建中医药知识图谱的过程,涵盖了GraphRAG、LightRAG和Kotaemon三种图RAG架构的对比与应用。通过实际操作,作者不仅展示了如何利用这些工具构建知识图谱,还指出了每种工具的优势和局限性。尽管初步构建的知识图谱在数据处理、实体识别和关系抽取等方面存在不足,但为后续的优化和改进提供了宝贵的经验和方向。此外,文章强调了知识图谱构建不仅仅是技术问题,还需要深入整合领域知识和满足用户需求,体现了跨学科合作的重要性。
|
6天前
|
人工智能 容器
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
本文介绍了如何利用千问开发一款情侣刮刮乐小游戏,通过三步简单指令实现从单个功能到整体框架,再到多端优化的过程,旨在为生活增添乐趣,促进情感交流。在线体验地址已提供,鼓励读者动手尝试,探索编程与AI结合的无限可能。
|
1月前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日,2024云栖大会在杭州云栖小镇举行,阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家,共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力,及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点,专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练,并通过多个客户案例展示了云上大模型训练的显著优势。
104578 10
|
10天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
4024 10
资料合集|Flink Forward Asia 2024 上海站
|
4天前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
617 243
|
6天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
562 38
|
10天前
|
人工智能 自然语言处理 芯片
上千人挑战,用通义灵码从 0 开始打造一款 App 爆火 | 第二课:搭建本机服务
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。