Dataset之CASIA-WebFace:CASIA-WebFace 数据集的简介、安装、使用方法之详细攻略

简介: Dataset之CASIA-WebFace:CASIA-WebFace 数据集的简介、安装、使用方法之详细攻略

CASIA-WebFace 数据集的简介


       CASIA-WebFace数据集包含了10575 个人的494414 张图像。CASIA-webface数据库,压缩包有4个多g,里面包含了10000个人,一共50万张人脸图片,无论是做SVM,DNN还是别的训练,都是非常好的数据库。


1、英文原文介绍


    Pushing by big data and deep convolutional neural network (CNN), the performance of face recognition is becoming comparable to human. Using private large scale training datasets, several groups achieve very high performance on LFW, i.e., 97% to 99%. While there are many open source implementations of CNN, none of large scale face dataset is publicly available. The current situation in the field of face recognition is that data is more important than algorithm. To solve this problem, we propose a semi-automatical way to collect face images from Internet and build a large scale dataset containing 10,575 subjects and 494,414 images, called CASIA-WebFace. To the best of our knowledge, the size of this dataset rank second in the literature, only smaller than the private dataset of Facebook (SCF). We encourage those data-consuming methods training on this dataset and reporting performance on LFW.

       在大数据和深度卷积神经网络(美国有线电视新闻网)的推动下,人脸识别的性能已与人类相比。使用私有的大规模训练数据集,若干组在LFW上实现非常高的性能,即97%到99%。虽然有许多开源的美国有线电视新闻网的实现,没有大规模的面部数据集是公开可用的。人脸识别领域的研究现状是数据比算法更重要。为了解决这个问题,我们提出了一种半自动的方式来收集来自互联网的人脸图像,并建立一个大型数据集包含10575个主题和494414个图像,称为CASIA WebFACTS。据我们所知,该数据集的大小在文献中排名第二,仅比脸谱网(SCF)的私有数据集小。我们鼓励在这个数据集上的数据消耗方法训练和LFW上的报告性能。


image.png





CASIA-WebFace 数据集的安装


因为数据集太大,4个多G,无法直接给各位网友,获取方法:

T1、官网下载

T2、留言向博主索取!






CASIA-WebFace 数据集的使用方法


更新……



1、基础用法


通过人脸识别方法提取人脸特征;

使用每个名人的mainphoto作为它的种子(因为mainphoto一般都是正脸,而且不会出现其他人);

使用那些只有1个人脸的图片去增加每个名人的种子的数量;

在photo gallery剩下的图片中,通过与种子的相似度来找到属于每个名人的其余照片。

裁剪人脸,将同一个名人的脸单独存入一个路径内,之后再进行人工纠错,进一步提高数据集纯度。



2、Tensorflow以CASIA-Webface为例子读取tfrecords数据数据


import mxnet as mx

import argparse

import PIL.Image

import io

import numpy as np

import cv2

import tensorflow as tf

import os

def parse_function(example_proto):

   features = {'image_raw': tf.FixedLenFeature([], tf.string),

               'label': tf.FixedLenFeature([], tf.int64)}

   features = tf.parse_single_example(example_proto, features)

   # You can do more image distortion here for training data

   img = tf.image.decode_jpeg(features['image_raw'])

   img = tf.reshape(img, shape=(112, 112, 3))

   r, g, b = tf.split(img, num_or_size_splits=3, axis=-1)

   img = tf.concat([b, g, r], axis=-1)

   img = tf.cast(img, dtype=tf.float32)

   #归一化

   img = tf.subtract(img, 127.5)

   img = tf.multiply(img,  0.0078125)

   #一些图像增强操作

   img = tf.image.random_flip_left_right(img)

   label = tf.cast(features['label'], tf.int64)

   return img, label

if __name__ == '__main__':

   args = parse_args()

   config = tf.ConfigProto(allow_soft_placement=True)

   sess = tf.Session(config=config)

   # training datasets api config

   tfrecords_f = os.path.join(args.tfrecords_file_path, 'tran.tfrecords')

   dataset = tf.data.TFRecordDataset(tfrecords_f)

   dataset = dataset.map(parse_function)

   #队列缓冲区长度30000,并且打乱顺序

   dataset = dataset.shuffle(buffer_size=30000)

   #这样每次迭代就是32张图片

   dataset = dataset.batch(32)

   iterator = dataset.make_initializable_iterator()

   next_element = iterator.get_next()

   # begin iteration

   for i in range(1000):

       sess.run(iterator.initializer)

       while True:

           try:

               images, labels = sess.run(next_element)

               plt.imshow(images[0])

               fig = plt.gcf()

               plt.show()

               fig.savefig('test.jpg')

           except tf.errors.OutOfRangeError:

               print("End of dataset")







相关文章
|
数据挖掘 PyTorch 算法框架/工具
人脸识别中的损失函数ArcFace及其实现过程代码(pytorch)--理解softmax损失函数及Arcface
人脸识别中的损失函数ArcFace及其实现过程代码(pytorch)--理解softmax损失函数及Arcface
2515 0
|
Oracle Java 关系型数据库
在macOS系统中 下载、安装、使用Java8
在macOS系统中 下载、安装、使用Java8
18206 0
在macOS系统中 下载、安装、使用Java8
|
28天前
|
人工智能 自然语言处理 语音技术
Token Plan是什么?订阅阿里百炼的Token Plan省钱吗?Credits如何计费?
阿里云Token Plan是百炼推出的AI大模型订阅服务,以Credits统一计量,支持文本、图像、视频、语音等多模态模型及主流编程/智能体工具。个人版39元起,团队版150元/坐席起,按需选档更省;是否划算取决于实际用量与套餐匹配度。阿里云百炼Token Plan官网:https://t.aliyun.com/U/EsRjVx
|
28天前
|
Rust JavaScript 前端开发
告别 450MB 五语言缝合怪!我们如何用 TypeScript + Rust 侧车重构下一代桌面效率启动器?
在构建跨平台桌面效率启动器(Launcher)时,工程团队往往陷入两难:要么采用纯前端框架导致系统底层能力残缺、唤醒卡顿;要么为了复用历史跨端资产,把多种语言运行时硬塞进同一个安装包,沦为体积超过 450MB、常驻内存突破 350MB 的“多语言缝合怪”。本文深度拆解开源效率中枢 **ZTools** 的架构演进之路,揭秘如何通过 **“轻量 TypeScript 微内核宿主 + 独立预编译 Rust Native 侧车(Sidecar) + 双模态声明式渲染器”** 的四层解耦设计,在将安装包压缩至 **~100MB**、待机内存压制在 **< 200MB** 的同时
328 0
|
11月前
|
文字识别 数据可视化 算法
基于 YOLOv8 的智能车牌定位检测系统设计与实现—从模型训练到 PyQt 可视化落地的完整实战方案
本项目基于YOLOv8实现智能车牌定位检测,涵盖数据处理、模型训练、评估优化及PyQt5可视化界面开发,支持图片、视频、摄像头实时检测。系统精度高、响应快,提供完整代码与预训练模型,适合毕设、课程设计及二次开发,助力智慧交通应用落地。(238字)
767 7
基于 YOLOv8 的智能车牌定位检测系统设计与实现—从模型训练到 PyQt 可视化落地的完整实战方案
|
机器学习/深度学习 监控 数据可视化
基于YOLOv8的打架斗殴暴力行为智能识别项目源码(目标检测)
本系统结合 YOLOv8检测模型 与 PyQt5界面工具,不仅提供完整训练流程,还支持自定义数据集训练,帮助用户快速搭建 开箱即用的打架斗殴行为识别系统。
2059 28
基于YOLOv8的打架斗殴暴力行为智能识别项目源码(目标检测)
|
8月前
|
机器学习/深度学习 人工智能 计算机视觉
猫的6类行为检测数据集(6000张高清标注)| YOLO实战 宠物行为识别与智能监护
本数据集开源6000张高清标注图像,涵盖猫咪进食、玩耍、休憩、端坐、伸展、打哈欠6类核心行为,YOLO格式,严格划分训练/验证/测试集,支持YOLOv5/v8/v11直接训练,助力宠物AI与智能硬件开发。
|
机器学习/深度学习 编解码 PyTorch
CVPR 2023 | 主干网络FasterNet 核心解读 代码分析
本文分享来自CVPR 2023的论文,提出了一种快速的主干网络,名为FasterNet。核心算子是PConv,partial convolution,部分卷积,通过减少冗余计算和内存访问来更有效地提取空间特征。
11774 58
Python实现PowerPoint演示文稿到图片的批量转换
PowerPoint演示文稿作为展示创意、分享知识和表达观点的重要工具,被广泛应用于教育、商务汇报及个人项目展示等领域。然而,面对不同的分享场景与接收者需求,有时需要我们将PPT内容以图片形式保存与传播。 这样能够避免软件兼容性的限制,确保信息接收者无需安装特定软件即可查看内容,还便于在网络社交平台、博客、电子邮件中快速分享与嵌入。而用Python代码可以高效地实现PowerPoint演示文稿到图片的批量转换,从而提升工作效率。
|
机器学习/深度学习
神经网络与深度学习---验证集(测试集)准确率高于训练集准确率的原因
本文分析了神经网络中验证集(测试集)准确率高于训练集准确率的四个可能原因,包括数据集大小和分布不均、模型正则化过度、批处理后准确率计算时机不同,以及训练集预处理过度导致分布变化。

热门文章

最新文章