Dataset之CASIA-WebFace:CASIA-WebFace 数据集的简介、安装、使用方法之详细攻略

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: Dataset之CASIA-WebFace:CASIA-WebFace 数据集的简介、安装、使用方法之详细攻略

CASIA-WebFace 数据集的简介


       CASIA-WebFace数据集包含了10575 个人的494414 张图像。CASIA-webface数据库,压缩包有4个多g,里面包含了10000个人,一共50万张人脸图片,无论是做SVM,DNN还是别的训练,都是非常好的数据库。


1、英文原文介绍


    Pushing by big data and deep convolutional neural network (CNN), the performance of face recognition is becoming comparable to human. Using private large scale training datasets, several groups achieve very high performance on LFW, i.e., 97% to 99%. While there are many open source implementations of CNN, none of large scale face dataset is publicly available. The current situation in the field of face recognition is that data is more important than algorithm. To solve this problem, we propose a semi-automatical way to collect face images from Internet and build a large scale dataset containing 10,575 subjects and 494,414 images, called CASIA-WebFace. To the best of our knowledge, the size of this dataset rank second in the literature, only smaller than the private dataset of Facebook (SCF). We encourage those data-consuming methods training on this dataset and reporting performance on LFW.

       在大数据和深度卷积神经网络(美国有线电视新闻网)的推动下,人脸识别的性能已与人类相比。使用私有的大规模训练数据集,若干组在LFW上实现非常高的性能,即97%到99%。虽然有许多开源的美国有线电视新闻网的实现,没有大规模的面部数据集是公开可用的。人脸识别领域的研究现状是数据比算法更重要。为了解决这个问题,我们提出了一种半自动的方式来收集来自互联网的人脸图像,并建立一个大型数据集包含10575个主题和494414个图像,称为CASIA WebFACTS。据我们所知,该数据集的大小在文献中排名第二,仅比脸谱网(SCF)的私有数据集小。我们鼓励在这个数据集上的数据消耗方法训练和LFW上的报告性能。


image.png





CASIA-WebFace 数据集的安装


因为数据集太大,4个多G,无法直接给各位网友,获取方法:

T1、官网下载

T2、留言向博主索取!






CASIA-WebFace 数据集的使用方法


更新……



1、基础用法


通过人脸识别方法提取人脸特征;

使用每个名人的mainphoto作为它的种子(因为mainphoto一般都是正脸,而且不会出现其他人);

使用那些只有1个人脸的图片去增加每个名人的种子的数量;

在photo gallery剩下的图片中,通过与种子的相似度来找到属于每个名人的其余照片。

裁剪人脸,将同一个名人的脸单独存入一个路径内,之后再进行人工纠错,进一步提高数据集纯度。



2、Tensorflow以CASIA-Webface为例子读取tfrecords数据数据


import mxnet as mx

import argparse

import PIL.Image

import io

import numpy as np

import cv2

import tensorflow as tf

import os

def parse_function(example_proto):

   features = {'image_raw': tf.FixedLenFeature([], tf.string),

               'label': tf.FixedLenFeature([], tf.int64)}

   features = tf.parse_single_example(example_proto, features)

   # You can do more image distortion here for training data

   img = tf.image.decode_jpeg(features['image_raw'])

   img = tf.reshape(img, shape=(112, 112, 3))

   r, g, b = tf.split(img, num_or_size_splits=3, axis=-1)

   img = tf.concat([b, g, r], axis=-1)

   img = tf.cast(img, dtype=tf.float32)

   #归一化

   img = tf.subtract(img, 127.5)

   img = tf.multiply(img,  0.0078125)

   #一些图像增强操作

   img = tf.image.random_flip_left_right(img)

   label = tf.cast(features['label'], tf.int64)

   return img, label

if __name__ == '__main__':

   args = parse_args()

   config = tf.ConfigProto(allow_soft_placement=True)

   sess = tf.Session(config=config)

   # training datasets api config

   tfrecords_f = os.path.join(args.tfrecords_file_path, 'tran.tfrecords')

   dataset = tf.data.TFRecordDataset(tfrecords_f)

   dataset = dataset.map(parse_function)

   #队列缓冲区长度30000,并且打乱顺序

   dataset = dataset.shuffle(buffer_size=30000)

   #这样每次迭代就是32张图片

   dataset = dataset.batch(32)

   iterator = dataset.make_initializable_iterator()

   next_element = iterator.get_next()

   # begin iteration

   for i in range(1000):

       sess.run(iterator.initializer)

       while True:

           try:

               images, labels = sess.run(next_element)

               plt.imshow(images[0])

               fig = plt.gcf()

               plt.show()

               fig.savefig('test.jpg')

           except tf.errors.OutOfRangeError:

               print("End of dataset")







相关文章
|
数据挖掘 PyTorch 算法框架/工具
人脸识别中的损失函数ArcFace及其实现过程代码(pytorch)--理解softmax损失函数及Arcface
人脸识别中的损失函数ArcFace及其实现过程代码(pytorch)--理解softmax损失函数及Arcface
2328 0
Win10 汇编工具 EMU8086安装教程
EMU8086是一种学习汇编工具,它结合了一个原始编辑器、组译器、反组译器、具除错功能的软件模拟工具(虚拟PC),还有一个循序渐进的指导工具。下面的这一教程是 bs.aiesst.cn 专门为初学者入门而准备的一个安装教程,以及下载地址。
9320 1
|
Web App开发 域名解析 缓存
如何在 Ubuntu 20.04 上安装 Node.js 和 npm
本文我们主要为大家介绍在 Ubuntu 20.04 上安装 Node.js 和 npm 的三种不同的方式。
171462 7
如何在 Ubuntu 20.04 上安装 Node.js 和 npm
|
机器学习/深度学习 编解码 人工智能
人脸表情[七种表情]数据集(15500张图片已划分、已标注)|适用于YOLO系列深度学习分类检测任务【数据集分享】
本数据集包含15,500张已划分、已标注的人脸表情图像,覆盖惊讶、恐惧、厌恶、高兴、悲伤、愤怒和中性七类表情,适用于YOLO系列等深度学习模型的分类与检测任务。数据集结构清晰,分为训练集与测试集,支持多种标注格式转换,适用于人机交互、心理健康、驾驶监测等多个领域。
|
搜索推荐 物联网 PyTorch
Qwen2.5-7B-Instruct Lora 微调
本教程介绍如何基于Transformers和PEFT框架对Qwen2.5-7B-Instruct模型进行LoRA微调。
14576 34
Qwen2.5-7B-Instruct Lora 微调
|
机器学习/深度学习
神经网络与深度学习---验证集(测试集)准确率高于训练集准确率的原因
本文分析了神经网络中验证集(测试集)准确率高于训练集准确率的四个可能原因,包括数据集大小和分布不均、模型正则化过度、批处理后准确率计算时机不同,以及训练集预处理过度导致分布变化。
|
机器学习/深度学习 人工智能 算法
基于YOLOV8的口罩佩戴实时检测系统【训练和系统源码+Pyside6+数据集+包运行】
本文介绍了基于YOLOv8算法的口罩佩戴实时检测系统,该系统通过7959张训练图片训练出有效识别模型,开发了带GUI界面的系统,支持图片、视频和摄像头实时检测口罩佩戴情况,提高疫情防控效率。
1341 3
基于YOLOV8的口罩佩戴实时检测系统【训练和系统源码+Pyside6+数据集+包运行】
|
XML JSON 数据可视化
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
本文详细介绍了不同数据集格式之间的转换方法,包括YOLO、VOC、COCO、JSON、TXT和PNG等格式,以及如何可视化验证数据集。
5220 1
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
|
人工智能 算法 前端开发
首个 AI 编程认证课程上线!阿里云 AI Clouder 认证:基于通义灵码实现高效 AI 编码
为了帮助企业和开发者更好使用通义灵码,阿里云上线了“AI Clouder 认证课程--基于通义灵码实现高效 AI 编码”。本课程汇聚了后端、前端、算法领域 5 名实战派专家,带你体验 4 大研发场景实践,上手 3 大实操演练,深度掌握智能编码助手通义灵码,实现全栈 AI 编码技能跃升。
|
存储 缓存 监控
聊聊JIT是如何影响JVM性能的!
聊聊JIT是如何影响JVM性能的!
428 6