使用Numpy将数据集中的data和target同时shuffle

简介: 假设现在有图像数据imgs和对应标签targets。数据维度分别如下imgs.shape = (num, channel, width, height)targets.shape = (num, class)因为通常我们需要将数据打散,这样的好处是可以让模型训练更具鲁棒性,那么如何同时打散da...

假设现在有图像数据imgs和对应标签targets。数据维度分别如下

imgs.shape = (num, channel, width, height)
targets.shape = (num, class)

因为通常我们需要将数据打散,这样的好处是可以让模型训练更具鲁棒性,那么如何同时打散data和target,而且还需要保持对应顺序不变呢?方法如下

# 得到打乱后的index
from random import shuffle
index = [i for i in range(len(imgs))]
shuffle(index)

imgs = imgs[index, :, :, :]
targets = targets[index, :]

要注意的是数据的维度要保持正确,也就是上面的:数量要正确,假如在mnist数据集上,target的维度是(num,)维度,所以此时应该写成targets = targets[index]即可。



MARSGGBO原创





2018-10-31



目录
相关文章
|
5月前
|
存储 机器学习/深度学习 Python
NumPy 高级教程——存储和加载数据
NumPy 高级教程——存储和加载数据 【1月更文挑战第1篇】
141 3
NumPy 高级教程——存储和加载数据
|
3月前
|
机器学习/深度学习 数据可视化 搜索推荐
Python在社交媒体分析中扮演关键角色,借助Pandas、NumPy、Matplotlib等工具处理、可视化数据及进行机器学习。
【7月更文挑战第5天】Python在社交媒体分析中扮演关键角色,借助Pandas、NumPy、Matplotlib等工具处理、可视化数据及进行机器学习。流程包括数据获取、预处理、探索、模型选择、评估与优化,以及结果可视化。示例展示了用户行为、话题趋势和用户画像分析。Python的丰富生态使得社交媒体洞察变得高效。通过学习和实践,可以提升社交媒体分析能力。
74 1
|
5月前
|
数据可视化 Linux Python
NumPy 随机数据分布与 Seaborn 可视化详解
数据分布是指数据集中所有可能值出现的频率,并用概率来表示。它描述了数据取值的可能性。 Seaborn 是一个基于 Matplotlib 的 Python 数据可视化库,用于创建统计图表。它提供了一系列高级绘图函数,可以轻松创建美观且信息丰富的统计图形。
|
29天前
|
数据处理 Python
Python数据转换:从Pandas到NumPy转换
Python数据转换:从Pandas到NumPy转换
33 0
|
2月前
|
存储 数据格式 Python
如何使用 numpy 加载 txt 文件数据?
【8月更文挑战第30天】
61 0
|
3月前
|
数据采集 数据挖掘 大数据
Pandas是Python数据分析的核心库,基于NumPy,提供DataFrame结构处理结构化数据
【7月更文挑战第5天】Pandas是Python数据分析的核心库,基于NumPy,提供DataFrame结构处理结构化数据。它支持缺失值处理(dropna()、fillna())、异常值检测(Z-Score、IQR法)和重复值管理(duplicated()、drop_duplicates())。此外,数据转换包括类型转换(astype())、数据标准化(Min-Max、Z-Score)以及类别编码(get_dummies())。这些功能使得Pandas成为大数据预处理的强大工具。
45 0
|
5月前
|
数据可视化 Linux Python
NumPy 随机数据分布与 Seaborn 可视化详解
本文介绍了数据分布的概念,它是统计学和数据科学的基础,描述了数据可能出现的频率。NumPy的`random`模块支持生成不同分布的随机数,如`choice`用于离散分布,`randn`和`rand`等用于连续分布。此外,还介绍了数组的随机洗牌和排列。通过Seaborn库,可以创建统计图表,如`distplot()`函数用于绘制数据分布图,包括正态分布和自定义分布。最后,文章提供了相关练习及解决方案。
197 0
|
机器学习/深度学习 存储 数据挖掘
【100天精通Python】Day53:Python 数据分析_NumPy数据操作和分析进阶
【100天精通Python】Day53:Python 数据分析_NumPy数据操作和分析进阶
84 0
|
5月前
|
数据挖掘 C语言 Python
使用NumPy进行高效数据模拟的实践
【4月更文挑战第17天】本文介绍了使用Python的NumPy库进行高效数据模拟的方法。NumPy是科学计算的基础库,提供高性能的多维数组对象和相关函数。利用NumPy进行数据模拟的优势包括高性能、易用性和灵活性。文章展示了如何生成随机数,如均匀分布、正态分布,并演示了多维数组和自定义分布的模拟。同时,强调了设置随机数种子、选择合适数据类型及优化性能的重要性。掌握NumPy数据模拟技巧对数据分析和科学研究大有裨益。
|
5月前
|
存储 并行计算 数据挖掘
利用Numpy和Pandas对地铁客量数据进行实战分析(附源码)
利用Numpy和Pandas对地铁客量数据进行实战分析(附源码)
107 1