pandas数据处理高级系列001-如何用一行代码优雅的删除一行数据中不包含特定字符串的行

简介: pandas数据处理高级系列001-如何用一行代码优雅的删除一行数据中不包含特定字符串的行

方法一实现起来最简单,但是并不优雅,最优雅的是方法三,用了一行代码实现了。

import pandas as pd
data = pd.read_excel("c:/result/xxx.xlsx")
# print(data.head())
# 只保留行的数据当中含有特定字符的行
target_str = "yyy"
# 方法1-笨方法,遍历每一行,每一列,虽然实现了这个要求,但是很不优雅
result_list = []
for index, row in data.iterrows():
    r = False
    for i in row:
        if target_str in str(i):
            r = True
    if r:
        result_list.append(row)
df1 = pd.DataFrame(result_list)
print(df1)
# 方法2- 使用apply函数
df2 = pd.read_excel("c:/result/xxx.xlsx")
df2["c"] = df2.apply(lambda x: x.str.contains(target_str).any(), axis=1)
df2 = df2[df2['c']==True].drop(columns="c")
print(df2)
# 方法3
df3 = pd.read_excel("c:/result/xxx.xlsx")
df3 = df3[df3.apply(lambda x: x.str.contains(target_str).any(), axis=1)]
print(df3)
assert list(df1.index) == list(df2.index) == list(df3.index)
print("测试成功")


目录
相关文章
|
6天前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
23 0
|
1天前
|
Python
|
1天前
|
Python
|
1天前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
6 1
|
2天前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
8 2
|
2天前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
9 2
|
5天前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
16 2
|
7天前
|
存储 数据挖掘 数据处理
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第26天】Python 是数据分析领域的热门语言,Pandas 库以其高效的数据处理功能成为数据科学家的利器。本文介绍 Pandas 在数据读取、筛选、分组、转换和合并等方面的高效技巧,并通过示例代码展示其实际应用。
19 1
|
25天前
|
数据可视化 数据挖掘 数据处理
模型预测笔记(四):pandas_profiling生成数据报告
本文介绍了pandas_profiling库,它是一个Python工具,用于自动生成包含多种统计指标和可视化的详细HTML数据报告,支持大型数据集并允许自定义配置。安装命令为`pip install pandas_profiling`,使用示例代码`pfr = pandas_profiling.ProfileReport(data_train); pfr.to_file("./example.html")`。
36 1
|
27天前
|
并行计算 大数据 数据处理
亿级数据处理,Pandas的高效策略
在大数据时代,数据量的爆炸性增长对处理技术提出更高要求。本文介绍如何利用Python的Pandas库及其配套工具高效处理亿级数据集,包括:采用Dask进行并行计算,分块读取以减少内存占用,利用数据库进行复杂查询,使用内存映射优化Pandas性能,以及借助PySpark实现分布式数据处理。通过这些方法,亿级数据处理变得简单高效,助力我们更好地挖掘数据价值。
39 1