备案控制台
开发者社区 开发与运维 文章 正文

Python中列表和字符串常用的数据去重方法你还记得几个？

2023-11-23 57
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Python中列表和字符串常用的数据去重方法你还记得几个？

1 关于数据去重

  • 关于数据去重，咱们这里简单理解下，就是删除掉重复的数据；
  • 应用的场景比如某些产品产生的大数据，有很多重复的数据，为了不影响分析结果，我们可能需要对这些数据进行去重，删除重复的数据，提高分析效率等等。

2 字符串去重

2.1 for方法

  • 基本思路是for循环先遍历字符串；
  • 遍历的字符要是没在结果字符串中，就添加到结果字符串即可。
  • 代码如下：
import unittest

class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        print(f"原始字符串为：{cls.char_date}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_for(self):
        char_date01 = ""
        for data in self.char_date:
            if data not in char_date01:
                char_date01 += data
        print(f"for方法去重后数据:{char_date01}")

if __name__ == "__main__":
    unittest.main()
  • 结果输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
for方法去重后数据:1234abcdABCD张王李

2.2 while方法

  • 思路和for差不多；
  • 这里主要是通过通过索引的方式查找；
  • 代码如下：
import unittest

class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        print(f"原始字符串为：{cls.char_date}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_while(self):
        char_date02 = ""
        flag = len(self.char_date) - 1
        while True:
            if flag >= 0:
                if self.char_date[flag] not in char_date02:
                    char_date02 += self.char_date[flag]
                flag -= 1
            else:
                break
        print(f"while方法去重后数据:{char_date02}")

if __name__ == "__main__":
    unittest.main()
  • 输出结果为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
while方法去重后数据:张李王ABCDadbc2134

2.3 列表方法

  • 我们先把字符串转为集合去重；
  • 再将集合转为列表；
  • 将列表转为字符串，最后排序进行输出即可；
  • 部分代码如下，其他关于类的内容和以上一样：
    def test_char_list(self):
        char_date03 = set(self.char_date)
        char_date04 = list(char_date03)
        char_date04.sort(key=self.char_date.index)
        print(f"列表方法去重后数据：{''.join(char_date04)}")
  • 输出后为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
列表方法去重后数据：1234abcdABCD张王李

2.4 直接删除法

  • 这个主要是直接对原字符串直接操作；
  • 通过下标以及字符串切片方法实现；
  • 部分代码如下：
    def test_char_delete(self):
        for data in self.char_date:
            if self.char_date[0] in self.char_date[1:len(self.char_date)]:
                self.char_date = self.char_date[1:len(self.char_date)]
            else:
                self.char_date = self.char_date[1:len(self.char_date)] + self.char_date[0]
        print(f"直接删除方法去重后数据：{''.join(self.char_date)}")
  • 输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
直接删除方法去重后数据：4312cbdaDCBA王李张

2.5 fromkeys方法

  • 直接使用fromkeys()方法，它的作用是从序列键和值设置为value来创建一个新的字典；
  • 部分代码如下：
    def test_char_fromkeys(self):
        char_date05 = {
   
   }
        char_date06 = char_date05.fromkeys(self.char_date)
        list_char = list(char_date06.keys())
        print(f"fromkeys方法去重后数据:{''.join(list_char)}")
  • 输出为：
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
fromkeys方法去重后数据:1234abcdABCD张王李

3 列表去重

3.1 for方法

  • 循环遍历列表后添加到新的列表即可；
  • 这个方法不会改变原来的顺序；
  • 代码如下：
class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.list_data = ["A", "B", "C", "D", "E", "C", "A", "B"]
        print(f"原始列表为：{cls.list_data}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_list_for(self):
        list_data01 = []
        for data in self.list_data:
            if data not in list_data01:
                list_data01.append(data)
        print(f"for方法:{list_data01} ")

if __name__ == "__main__":
    unittest.main()
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
for方法:['A', 'B', 'C', 'D', 'E']

3.2 set方法1

  • 直接使用set方法后转为列表即可；
  • 这个方法会改变原来的顺序；
  • 部分代码如下：
 def test_list_set(self):
        list_data02 = list(set(self.list_data))
        print(f"set方法1：{list_data02}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
set方法1：['D', 'C', 'B', 'E', 'A']

3.3 set方法2

  • 直接使用set方法后转为列表；
  • 这个方法会改变原来的顺序，可进行排序；
  • 部分代码：
 def test_list_set01(self):
        list_data03 = list(set(self.list_data))
        list_data03.sort(key=self.list_data.index)
        print(f"set方法2：{list_data03}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
set方法2：['A', 'B', 'C', 'D', 'E']

3.4 count方法

  • 先对原序列进行排序；
  • 循环遍历列表后使用count()方法；
  • 部分代码：
    def test_list_count(self):
        self.list_data.sort()
        for data in self.list_data:
            while self.list_data.count(data) > 1:
                del self.list_data[self.list_data.index(data)]
        print(f"count方法：{self.list_data}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
count方法：['A', 'B', 'C', 'D', 'E']

3.5 转字典法

  • 直接把列表转为字典方法即可；
  • 部分代码：
 def test_list_dict(self):
        list_data04 = {
   
   }
        list_data05 = list_data04.fromkeys(self.list_data).keys()
        list_data06 = list(list_data05)
        print(f"字典法：{list_data06}")
  • 输出为：
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']
字典法：['A', 'B', 'C', 'D', 'E']

4 完整代码

  • 以下为列表和字符串常用的数据去重方法的完整代码；
  • 使用unittest中的TestCase类组织测试用例；
  • 代码如下：
# -*- coding:utf-8 -*-
# 作者：虫无涯
# 日期：2023/11/22 
# 文件名称：test_deduplication.py
# 作用：字符串和列表去重
# 联系：VX(NoamaNelson)
# 博客：https://blog.csdn.net/NoamaNelson


import unittest


class TestDeduplication(unittest.TestCase):
    @classmethod
    def setUpClass(cls) -> None:
        cls.char_date = "12344312abcdcbdaABCDDCBA张王李张"
        cls.list_data = ["A", "B", "C", "D", "E", "C", "A", "B"]
        print(f"原始字符串为：{cls.char_date}")
        print(f"原始列表为：{cls.list_data}")

    @classmethod
    def tearDownClass(cls) -> None:
        pass

    def test_char_for(self):
        char_date01 = ""
        for data in self.char_date:
            if data not in char_date01:
                char_date01 += data
        print(f"for方法去重后数据:{char_date01}")

    def test_char_while(self):
        char_date02 = ""
        flag = len(self.char_date) - 1
        while True:
            if flag >= 0:
                if self.char_date[flag] not in char_date02:
                    char_date02 += self.char_date[flag]
                flag -= 1
            else:
                break
        print(f"while方法去重后数据:{char_date02}")

    def test_char_list(self):
        char_date03 = set(self.char_date)
        char_date04 = list(char_date03)
        char_date04.sort(key=self.char_date.index)
        print(f"列表方法去重后数据：{''.join(char_date04)}")

    def test_char_delete(self):
        for data in self.char_date:
            if self.char_date[0] in self.char_date[1:len(self.char_date)]:
                self.char_date = self.char_date[1:len(self.char_date)]
            else:
                self.char_date = self.char_date[1:len(self.char_date)] + self.char_date[0]
        print(f"直接删除方法去重后数据：{''.join(self.char_date)}")

    def test_char_fromkeys(self):
        char_date05 = {
   
   }
        char_date06 = char_date05.fromkeys(self.char_date)
        list_char = list(char_date06.keys())
        print(f"fromkeys方法去重后数据:{''.join(list_char)}")

    print("===============================================")

    def test_list_for(self):
        list_data01 = []
        for data in self.list_data:
            if data not in list_data01:
                list_data01.append(data)
        print(f"for方法:{list_data01} ")

    def test_list_set(self):
        list_data02 = list(set(self.list_data))
        print(f"set方法1：{list_data02}")

    def test_list_set01(self):
        list_data03 = list(set(self.list_data))
        list_data03.sort(key=self.list_data.index)
        print(f"set方法2：{list_data03}")

    def test_list_count(self):
        self.list_data.sort()
        for data in self.list_data:
            while self.list_data.count(data) > 1:
                del self.list_data[self.list_data.index(data)]
        print(f"count方法：{self.list_data}")

    def test_list_dict(self):
        list_data04 = {
   
   }
        list_data05 = list_data04.fromkeys(self.list_data).keys()
        list_data06 = list(list_data05)
        print(f"字典法：{list_data06}")


if __name__ == "__main__":
    unittest.main()
  • 全部输出为：
===============================================
原始字符串为：12344312abcdcbdaABCDDCBA张王李张
原始列表为：['A', 'B', 'C', 'D', 'E', 'C', 'A', 'B']

直接删除方法去重后数据：4312cbdaDCBA王李张
for方法去重后数据:1234abcdABCD张王李
fromkeys方法去重后数据:1234abcdABCD张王李
列表方法去重后数据：1234abcdABCD张王李
while方法去重后数据:张李王ABCDadbc2134
count方法：['A', 'B', 'C', 'D', 'E']
字典法：['A', 'B', 'C', 'D', 'E']
for方法:['A', 'B', 'C', 'D', 'E'] 
set方法1：['B', 'A', 'D', 'C', 'E']
set方法2：['A', 'B', 'C', 'D', 'E']
  • 放一张图吧（虽然用处不大，哈哈）：
    在这里插入图片描述
文章标签：
Python
测试技术
索引
大数据
关键词：
Python字符串
Python列表
Python数据
Python列表方法
Python方法
虫无涯
目录
相关文章
老板这功能得加钱
|
20小时前
|
机器学习/深度学习 Python
关于python字符串format的一些花式用法_format带加号
关于python字符串format的一些花式用法_format带加号
老板这功能得加钱
11 1
老板这功能得加钱
|
1天前
|
数据采集 数据可视化 Python
Python分析香港26281套在售二手房数据
Python分析香港26281套在售二手房数据
老板这功能得加钱
19 4
1941623231718325
|
1天前
|
数据采集 存储 数据挖掘
Python DataFrame初学者指南：轻松上手构建数据表格
【5月更文挑战第19天】本文是针对初学者的Pandas DataFrame指南，介绍如何安装Pandas、创建DataFrame（从字典或CSV文件）、查看数据（`head()`, `info()`, `describe()`）、选择与操作数据（列、行、缺失值处理、数据类型转换、排序、分组聚合）以及保存DataFrame到CSV文件。通过学习这些基础，你将能轻松开始数据科学之旅。
1941623231718325
22 5
桃李春风一杯酒
|
1天前
|
数据挖掘 数据处理 Python
【Python DataFrame 专栏】Python DataFrame 入门指南：从零开始构建数据表格
【5月更文挑战第19天】本文介绍了Python数据分析中的核心概念——DataFrame，通过导入`pandas`库创建并操作DataFrame。示例展示了如何构建数据字典并转换为DataFrame，以及进行数据选择、添加修改列、计算统计量、筛选和排序等操作。DataFrame适用于处理各种规模的表格数据，是数据分析的得力工具。掌握其基础和应用是数据分析之旅的重要起点。
桃李春风一杯酒
11 2
【Python DataFrame 专栏】Python DataFrame 入门指南：从零开始构建数据表格
游客762btuqu5wybw666
|
2天前
|
机器学习/深度学习 数据处理 Python
如何利用Python实现高效的数据清理与预处理
数据清理和预处理是数据科学家和分析师工作中不可或缺的一环，而Python作为一门强大的编程语言，可以使这个过程变得更加高效和便捷。本文将介绍一些常见的数据清理和预处理技术，并演示如何使用Python来实现这些技术。
游客762btuqu5wybw666
10 2
老板这功能得加钱
|
3天前
|
索引 Python Go
【python学习】字符串详解，面试必问公司的问题
【python学习】字符串详解，面试必问公司的问题
老板这功能得加钱
5 0
老板这功能得加钱
|
4天前
|
JSON JavaScript 数据格式
利用 python 分析基金，合理分析数据让赚钱赢在起跑线！(1)
利用 python 分析基金，合理分析数据让赚钱赢在起跑线！(1)
老板这功能得加钱
18 0
dulu~dulu
|
5天前
|
存储 JSON 数据格式
Python知识点——高维数据的格式化
Python知识点——高维数据的格式化
dulu~dulu
7 0
Python-派大星
|
Python
Python基础 动态绑定属性和方法 （类和对象3）
python类和对象，动态绑定属性，动态绑定方法
Python-派大星
140 0
Python基础 动态绑定属性和方法 （类和对象3）
Redamancy
|
设计模式 安全 Java
Python面向对象、继承的基本语法、单继承和多层继承、子类重写父类的同名方法、子类调用父类的同名方法、继承中的 init 、 多继承、私有权限、类属性、类方法、静态方法、多态、鸭子类型
称为类 B 继承类 A 特点: B类的对象可以使用 A类的属性和方法 优点: 代码复用.重复相同的代码不用多次书写. 名词: 类A: 父类 基类 类B: 子类 派生类 2. 单继承和多层继承[理解] 单继承: 如果一个类只有一个父类,把这种继承关系称为单继承 多继承: 如果一个类有多个父类,把这种继承关系称为多继承 多层继承: C–> B --> A 3. 子类重写父类的同名方法[掌握] 重写: 子类定义和父类名字相同的方法. 为什么重写: 父类中的方法,不能满足子类对象的需求,所以
Redamancy
413 1
Python面向对象、继承的基本语法、单继承和多层继承、子类重写父类的同名方法、子类调用父类的同名方法、继承中的 init 、 多继承、私有权限、类属性、类方法、静态方法、多态、鸭子类型

热门文章

最新文章

  • 1
    人工智能：原理、应用与Python代码实现
  • 2
    Python小项目：利用tkinter开发测手速小游戏
  • 3
    人工智能：原理、应用与Python代码示例
  • 4
    流畅的 Python 第二版（GPT 重译）（一）(1)
  • 5
    流畅的 Python 第二版（GPT 重译）（十一）(1)
  • 6
    Python与NoSQL数据库（MongoDB、Redis等）面试问答
  • 7
    流畅的 Python 第二版（GPT 重译）（九）(2)
  • 8
    Python 多线程编程实战：threading 模块的最佳实践
  • 9
    Python计算股票投资组合的风险价值（VaR）
  • 10
    Python 读写 Excel 文件
  • 1
    请简述Python中的垃圾回收机制。
    15
  • 2
    Python中如何实现二分查找？请提供代码示例。
    26
  • 3
    Python中如何实现列表去重？请提供至少两种方法
    21
  • 4
    Python中的装饰器：概念、用法和实例
    23
  • 5
    Python中的装饰器：概念、用法及实例
    19
  • 6
    使用Python实现图像处理中的边缘检测算法
    99
  • 7
    Python中如何实现字符串反转？请提供至少两种方法。
    26
  • 8
    在Python中，如何创建一个迭代器？
    22
  • 9
    请解释Python中的迭代器和生成器的区别？并分别举例说明。
    21
  • 10
    在Python中，如何使用装饰器重写类的方法？
    293

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 使用Python完成RDS数据开发及分析
  • 函数类型-1：基本语法
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考