写在前面
当我们好不容易从视频或者摄像头获取到了想要的步态轮廓图，却发现无法投入神经网络训练，这是为什么呢？其实是因为像GaitSet等步态识别网络对输入图像有标准的格式：64×44且裁剪过的人体步态轮廓图，我们只有满足这样的格式才能够投入训练。
而本文章主要就是提供一个方式可以将获得的步态轮廓图进行裁剪，使得其符合神经网络的输入格式，可以投入训练
实现code
使用这个函数我们文件夹下的图片需要满足的格式是类似这样子的二值图：
函数的原理其实就是找到图中白色像素的最高点、最低点、最右边的点和最左边的点，所以我们要确保图中仅仅出现了白色的人。
简单来讲就是需要图片是二值图的步态轮廓图！
核心代码：
def cut(image): ''' 通过找到人的最小最大高度与宽度把人的轮廓分割出来，、 因为原始轮廓图为二值图，因此头顶为将二值图像列相加后，形成一列后第一个像素值不为0的索引。 同理脚底为形成一列后最后一个像素值不为0的索引。 人的宽度也同理。 :param image: 需要裁剪的图片 N*M的矩阵 :return: temp: 裁剪后的图片 size*size的矩阵。flag：是否是符合要求的图片 ''' image = np.array(image) # 找到人的最小最大高度与宽度 height_min = (image.sum(axis=1) != 0).argmax() height_max = ((image.sum(axis=1) != 0).cumsum()).argmax() width_min = (image.sum(axis=0) != 0).argmax() width_max = ((image.sum(axis=0) != 0).cumsum()).argmax() head_top = image[height_min, :].argmax() # 设置切割后图片的大小，为size*size，因为人的高一般都会大于宽 size = height_max - height_min temp = np.zeros((size, size)) # 将width_max-width_min（宽）乘height_max-height_min（高，szie）的人的轮廓图，放在size*size的图片中央 # l = (width_max-width_min)//2 # r = width_max-width_min-l # 以头为中心，将width_max-width_min（宽）乘height_max-height_min（高，size）的人的轮廓图，放在size*size的图片中央 l1 = head_top-width_min r1 = width_max-head_top # 若宽大于高，或头的左侧或右侧身子比要生成图片的一般要大。则此图片为不符合要求的图片 flag = False if size <= width_max-width_min or size//2 < r1 or size//2 < l1: flag = True return temp, flag # centroid = np.array([(width_max+width_min)/2,(height_max+height_min)/2],dtype='int') temp[:, (size//2-l1):(size//2+r1)] = image[height_min:height_max, width_min:width_max] return temp, flag
枝干代码：
def get_cImg(path, size=64): ''' 剪切图片 :param path: 输入图片路径 :param cut_path: 剪切图片后的输出路径 :param size: 要剪切的图片大小 :return: ''' save_path = path.replace('Fgmask', 'Cuted') if not os.path.exists(save_path): os.makedirs(save_path) img_list = os.listdir(path) start = int(img_list[0].split('.')[0]) end = int(img_list[-1].split('.')[0]) for id in range(start, end): img_name = str(id) + '.png' img = Image.open(os.path.join(path, img_name)) image, flag = cut(img) if not flag: Image.fromarray(image).convert('L').resize((size, size)).save(os.path.join(save_path, img_name)) print(path + ' is Cuted!')
使用教程：
# 使用案例 if __name__ == "__main__": path = 'Package/Fgmask/tds_nm_03' # 数据集路径 get_cImg(path) 只需要将没有裁剪过的人体轮廓图存放的路径填入其中， 便可以自动生成符合标准的步态轮廓图。
回顾：
import os import numpy as np from PIL import Imagedef get_cImg(path, size=64): ''' 剪切图片 :param path: 输入图片路径 :param cut_path: 剪切图片后的输出路径 :param size: 要剪切的图片大小 :return: ''' save_path = path.replace('Fgmask', 'Cuted') if not os.path.exists(save_path): os.makedirs(save_path) img_list = os.listdir(path) start = int(img_list[0].split('.')[0]) end = int(img_list[-1].split('.')[0]) for id in range(start, end): img_name = str(id) + '.png' img = Image.open(os.path.join(path, img_name)) image, flag = cut(img) if not flag: Image.fromarray(image).convert('L').resize((size, size)).save(os.path.join(save_path, img_name)) print(path + ' is Cuted!' def cut(image): ''' 通过找到人的最小最大高度与宽度把人的轮廓分割出来，、 因为原始轮廓图为二值图，因此头顶为将二值图像列相加后，形成一列后第一个像素值不为0的索引。 同理脚底为形成一列后最后一个像素值不为0的索引。 人的宽度也同理。 :param image: 需要裁剪的图片 N*M的矩阵 :return: temp: 裁剪后的图片 size*size的矩阵。flag：是否是符合要求的图片 ''' image = np.array(image) # 找到人的最小最大高度与宽度 height_min = (image.sum(axis=1) != 0).argmax() height_max = ((image.sum(axis=1) != 0).cumsum()).argmax() width_min = (image.sum(axis=0) != 0).argmax() width_max = ((image.sum(axis=0) != 0).cumsum()).argmax() head_top = image[height_min, :].argmax() # 设置切割后图片的大小，为size*size，因为人的高一般都会大于宽 size = height_max - height_min temp = np.zeros((size, size)) # 将width_max-width_min（宽）乘height_max-height_min（高，szie）的人的轮廓图，放在size*size的图片中央 # l = (width_max-width_min)//2 # r = width_max-width_min-l # 以头为中心，将width_max-width_min（宽）乘height_max-height_min（高，size）的人的轮廓图，放在size*size的图片中央 l1 = head_top-width_min r1 = width_max-head_top # 若宽大于高，或头的左侧或右侧身子比要生成图片的一般要大。则此图片为不符合要求的图片 flag = False if size <= width_max-width_min or size//2 < r1 or size//2 < l1: flag = True return temp, flag # centroid = np.array([(width_max+width_min)/2,(height_max+height_min)/2],dtype='int') temp[:, (size//2-l1):(size//2+r1)] = image[height_min:height_max, width_min:width_max] return temp, flag if __name__ == "__main__": path = 'Package/Fgmask/tds_nm_03' # 数据集路径 get_cImg(path)
尾声
截止至2022年6月份，目前最主流的步态识别框架应该就是中国人研发的OpenGait了，里面整合了顶会最好的几个步态识别网络，并且结合了github上许多优秀的项目部署方式，支持多种训练方式，尽力适用各种实验环境，值得一试！
