一日一技:如何对数据进行过滤

简介: 一日一技:如何对数据进行过滤

有一个列表[1, 2, False, '', 'test', 0],现在需要把里面所有非空、非False,非0的数据取出来。


可能有一些人会使用列表推导式:


a = [1, 2, False, '', 'test', 0] 
useful = [x for x in a if x]


但如果过滤规则稍微复杂一些呢?例如,如果列表里面的元素不是字符串,那么先把元素转换为字符串,然后转换为bytes型数据,计算md5值。如果md5值转换成10进制数以后是3的倍数,那么就把这个数筛选出来。


为了实现这个目的,我们可以定义一个函数:


import hashlib 
def check(value): 
    value_str = str(value) 
    value_hex = str(hashlib.md5(value_str.encode()).hexdigest()) 
    value_decimal = int(value_hex, 16) 
    return value_decimal % 3 == 0 
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 
b = [x for x in a if check(x)]


运行效果如下图所示。


4.png


在Python里面,有一个现成的函数filter也能实现这个效果:


a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 
b = filter(check, a)


此时,获得的b变量是一个生成器对象,只有在对它进行迭代的时候,才能获取里面的值。如下图所示。


5.png


filter函数接收两个参数,第一个参数是一个函数名,第二个参数是一个可迭代的对象。filter函数把可迭代对象的每一个值都放进参数1对应的函数中,如果返回True,那么这个值就是有效的,就会被保留。如果返回False,那么这个值就会被丢弃。


Filter的第一个参数也可以是None,此时filter(None, [1, 2, '', False, 'xx'])的效果就是把列表里面所有非空,非0,非False的数据返回出来。


请关注微信公众号【未闻Code】获取更多精彩文章。

目录
相关文章
|
10月前
|
Python
选择和过滤数据DataFrame信息案例解析
该文介绍了如何使用pandas处理DataFrame数据。首先,通过创建字典并调用pd.DataFrame()函数转换为DataFrame。接着展示了使用loc[]选择年龄大于30的记录,iloc[]选取特定位置行,以及query()根据字符串表达式筛选(年龄大于30且城市为北京)数据的方法。
147 1
|
3月前
|
存储 数据挖掘 数据处理
Pandas 数据筛选:条件过滤
Pandas 是 Python 最常用的数据分析库之一,提供了强大的数据结构和工具。本文从基础到高级,介绍如何使用 Pandas 进行条件过滤,包括单一条件、多个条件过滤、常见问题及解决方案,以及动态和复杂条件过滤的高级用法。希望本文能帮助你更好地利用 Pandas 处理数据。
170 78
|
4月前
|
数据采集 机器学习/深度学习 测试技术
数据清洗与过滤中,如何确定哪些数据是高质量的?
数据清洗与过滤中,如何确定哪些数据是高质量的?
|
4月前
|
数据采集 机器学习/深度学习 自然语言处理
数据清洗与过滤
数据清洗与过滤
|
6月前
|
JavaScript 前端开发 Swift
查找和过滤4
查找和过滤4
52 2
|
10月前
|
缓存 索引
7.过滤查询
7.过滤查询
|
数据采集 数据可视化 数据挖掘
如何筛选和过滤ARWU网站上的大学排名数据
ARWU网站(ShanghaiRanking's Academic Ranking of World Universities)是一个公认的全球大学排名的先驱和最值得信赖的大学排名之一。它每年发布世界前1000所研究型大学的排名,基于透明的方法论和客观的第三方数据。ARWU网站上的大学排名数据可以为高考考生、专业选择、就业指导、行业发展等提供有价值的参考信息。
106 0
如何筛选和过滤ARWU网站上的大学排名数据
|
数据挖掘
基于R筛选过滤低丰度物种的几种方式
基于R筛选过滤低丰度物种的几种方式
589 0
charles 过滤器-简单过滤和设置过滤
charles 过滤器-简单过滤和设置过滤