Python 按分类样本数占比生成并随机获取样本数据

简介: Python 按分类样本数占比生成并随机获取样本数据

按分类样本数占比生成并随机获取样本数据


开发环境

win 10

python 3.6.5

 

需求

已知样本分类,每种分类的样本占比数,及样本总数,需要随机获取这些分类的样本。比如,我有4种任务,分别为任务A,任务B,任务C,任务D, 每种任务需要重复执行的总次数为1000,每次执行随机获取一种任务来执行,不同分类任务执行次数占比为 A:B:C:D = 3:5:7:9

 

 

代码实现

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

#!/usr/bin/env python

# -*- coding:utf-8 -*-

 

 

__author__ ='shouke'

 

 

importrandom

 

defget_class_instance_by_proportion(class_proportion_dict, amount):

    """

    根据每种分类的样本数比例,及样本总数,为每每种分类构造样本数据

    class_proportion_dict: 包含分类及其分类样本数占比的字典:{"分类(id)": 分类样本数比例}

    amount: 所有分类的样本数量总和

 

    返回一个列表:包含所有分类样本的list

 

    """

 

    bucket =[]

    proportion_sum =sum([weight forgroup_id, weight inclass_proportion_dict.items()])

    residuals ={} # 存放每种分类的样本数计算差值

    forclass_id, weight inclass_proportion_dict.items():

        percent =weight /float(proportion_sum)

        class_instance_num =int(round(amount *percent))

        bucket.extend([class_id forinrange(class_instance_num)])

        residuals[class_id] =amount *percent -round(amount *percent)

    iflen(bucket) < amount:

        # 计算获取的分类样本总数小于给定的分类样本总数,则需要增加分类样本数,优先给样本数计算差值较小的分类增加样本数,每种分类样本数+1,直到满足数量为止

        forclass_id in[l forl, r insorted(residuals.items(), key=lambdax: x[1], reverse=True)][: amount -len(bucket)]:

            bucket.append(class_id)

    eliflen(bucket) > amount:

        # # 计算获取的分类样本总数大于给定的分类样本总数,则需要减少分类样本数,优先给样本数计算差值较大的分类减少样本数,每种分类样本数-1,直到满足数量为止

        forclass_id in[l forl, r insorted(residuals.items(), key=lambdax: x[1])][: len(bucket) -amount]:

            bucket.remove(class_id)

 

    returnbucket

 

 

classA:

    defto_string(self):

        print('A class instance')

 

classB:

    defto_string(self):

        print('B class instance')

 

classC:

    defto_string(self):

        print('C class instance')

 

classD:

    defto_string(self):

        print('D class instance')

 

classes_map ={1: A, 2: B, 3:C, 4: D}

class_proportion_dict ={13253:749# {分类id: 样本数比例} ,即期望4个分类的样本数比例为为 3:5:7:9

class_instance_num =1000# 样本总数

result_list =get_class_instance_by_proportion(class_proportion_dict, class_instance_num)

 

forclass_id inclass_proportion_dict:

    print('%s %s'%(classes_map[class_id], result_list.count(class_id)))

 

# 制造样本并随机获取样本

random.shuffle(result_list)

whileresult_list:

    class_id =random.sample(result_list, 1)[0]

    classes_map[class_id]().to_string()

    result_list.remove(class_id)


 

运行结果

 

 

 

 

说明

以上方式大致实现思路就是在知道总样本数的情况下,提前为每种分类生成样本,然后随机获取,按这种方式可以实现比较准确的结果,但是得提前知道样本总数及不同分类样本数占比

 

 

目录
相关文章
|
26天前
|
数据采集 JSON 数据处理
抓取和分析JSON数据:使用Python构建数据处理管道
在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
抓取和分析JSON数据:使用Python构建数据处理管道
|
10天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
30 3
|
11天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
21 1
|
12天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
12天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
1月前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
49 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
|
1月前
|
计算机视觉 Python
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
这篇文章介绍了如何使用Python的OpenCV库将多张图片合并为一张图片显示,以及如何使用matplotlib库从不同txt文档中读取数据并绘制多条折线图。
42 3
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
|
25天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
53 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
|
1月前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
46 2
|
11天前
|
索引 Python
SciPy 空间数据1
SciPy 通过 `scipy.spatial` 模块处理空间数据,如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形,用于计算面积。Delaunay 三角剖分是一种常用方法,可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
21 0