取代MNIST?德国时尚圈的科学家们推出基准数据集,全是衣裤鞋包

简介:
本文来自AI新媒体量子位(QbitAI)

MNIST,是一个手写数字数据集,除了用在机器学习入门的教学中,它还是对机器学习算法进行基准测试的常用数据集。

但是,总有人觉得MNIST不够好,想要扩充、改进、替代它。

ae6a4be1e5a6ef207751057a1ff847d520015361

今天,德国研究机构Zalando Research在GitHub上发布了一个名叫Fashion-MNIST的数据集,其中训练集包含60000个样例,测试集包含10000个样例,分为10类。样例都来自日常穿着的衣裤鞋包,每一个都是28×28的灰度图像。

除了内容不一样,这个数据集的图片尺寸、训练/测试集划分、文件的存储结构,都和MNIST一模一样。

这个数据集虽然名字里带有“fashion”,内容也都是服饰,但它的目标用途和时尚毫无关系:它致力于成为MNIST的替代品,用作机器学习算法的基准测试。

30dec54f2a17f0c8040de3ecb06d63b3c24b287d

 Fashion-MNIST(左)和原始MNIST(右)的t-SNE可视化展示

为什么要替代MNIST呢?

Zalando Research在这个数据集的说明中称,AI/机器学习/数据科学界的同学们搞出一个新算法之后,往往会先在MNIST上做基准测试,来验证这个算法。

于是,在这些群体之间流传着这样一种说法:如果一种算法连MNIST都搞不定,那它就是真没用;如果它能搞定MNIST,放到别的地方也不一定管用……

MNIST不好用,主要是因为它太简单了。甚至有人证明过,如果只是想区分开两个手写数字,很多时候识别一个像素就够了。

Google研究员、Keras作者François Chollet也曾经说,MNIST有很多问题,但其中最严重的一个,是它对于计算机视觉任务真的不具有代表性,做计算机视觉的算法,至少应该用CIFAR10这个复杂程度的数据集。

0e90454ec6c2d3202f596bb787dd135c4f6d4b76

这次推出fashion-MNIST,想要取代MNIST的是德国研究机构Zalando Research,隶属于主营衣服鞋子的德国电商公司Zalando。

最后,如果你想试试这个fashion-MNIST数据集,请到https://github.com/zalandoresearch/fashion-mnist

本文作者:李林
原文发布时间: 2017-08-26 
相关文章
|
2月前
|
机器学习/深度学习 自然语言处理 测试技术
CoT神话破灭,并非LLM标配!三大学府机构联手证实,CoT仅在数学符号推理有用
【10月更文挑战第17天】链式思维(CoT)曾被认为是大型语言模型(LLM)激发推理能力的关键方法,但最新研究显示,CoT仅在数学和符号推理任务中有效,其他任务中效果不明显。加州大学伯克利分校、斯坦福大学和卡内基梅隆大学的联合研究打破了CoT作为LLM标配的神话,为重新评估LLM的推理能力提供了新视角。
46 1
|
24天前
|
人工智能 API
EvolveDirector:阿里联合南洋理工推出文本到图像生成模型的高效训练技术
EvolveDirector是由阿里巴巴和南洋理工大学联合推出的文本到图像生成模型的高效训练技术。该框架通过与高级模型的API交互获取数据对,并利用预训练的大型视觉语言模型(VLMs)动态优化训练数据集,显著减少了数据量和训练成本。EvolveDirector能够从多个高级模型中选择最佳样本进行学习,使最终训练出的模型在多个方面超越现有高级模型。
39 0
EvolveDirector:阿里联合南洋理工推出文本到图像生成模型的高效训练技术
|
1月前
|
人工智能
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
【10月更文挑战第21天】普林斯顿大学研究人员提出了CORE-Bench,一个基于计算可重复性的AI代理基准,涵盖计算机科学、社会科学和医学领域的270个任务。该基准旨在评估AI代理在科学研究中的准确性,具有多样性、难度级别和现实相关性等特点,有助于推动AI代理的发展并提高计算可重复性。
54 4
|
4月前
|
人工智能 安全 机器人
LLM对齐数据全自动合成!UW华人博士生提出Magpie方法,Macbook Air即可运行
【8月更文挑战第11天】在AI领域,大型语言模型(LLM)的行为对齐一直是个挑战。华盛顿大学研究人员提出名为Magpie的新方法,能自动高效生成高质量指令数据,减少人工干预,提升LLM的对齐效果。通过输入模板,Magpie利用已对齐LLM生成能力自动生成指令数据,仅需少量GPU资源即可创建大规模数据集。实验显示,使用Magpie数据集微调的模型性能媲美传统监督方法。尽管如此,Magpie仍需进一步优化以生成特定领域指令并确保数据安全性。[论文](https://arxiv.org/abs/2406.08464)
177 60
|
3月前
|
人工智能 安全 数据处理
21.5万张X光,78万个问题!德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA
【9月更文挑战第2天】近年来,人工智能在医学领域的应用取得显著进展,特别是医学视觉问答(VQA)技术。德州大学与美国国立卫生研究院(NIH)联合发布的Medical-CXR-VQA数据集包含21.5万张X光图像和78万个问题,是当前最大的医学VQA数据集之一。其多样化的问题类型和高质量的标注,为研究者提供了丰富资源,推动医学视觉问答技术的发展。该数据集的开放共享促进了领域内的合作与交流,并有望提升临床诊断和病情评估的效率与质量,成为医学人工智能领域的重要里程碑。然而,数据隐私、标注一致性和模型可解释性等问题仍需进一步解决。
93 13
|
7月前
|
机器学习/深度学习 自然语言处理
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
【4月更文挑战第17天】香港中文大学(深圳)研究团队发表综述论文,探讨大型语言模型(LLMs)与强化学习(RL)结合的四条技术路线:信息处理器、奖励设计者、决策制定者和生成器。LLMs提升RL在多任务学习和样本效率,但处理复杂环境时仍有挑战。它们能设计奖励函数,但预训练知识限制在专业任务中的应用。作为决策者和生成器,LLMs提高样本效率和行为解释,但计算开销是问题。
407 1
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
|
机器学习/深度学习 人工智能 自然语言处理
两次登顶常识推理问答榜单ProtoQA,哈工大深圳创新掩码模型重排序策略
两次登顶常识推理问答榜单ProtoQA,哈工大深圳创新掩码模型重排序策略
147 0
|
机器学习/深度学习 人工智能 运维
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
144 0
|
人工智能 自然语言处理 安全
1370亿参数、接近人类水平,谷歌对话AI模型LaMDA放出论文
1370亿参数、接近人类水平,谷歌对话AI模型LaMDA放出论文
185 0
|
机器学习/深度学习 人工智能 自然语言处理
威大哥大等联合发文!最新多模态大模型LLaVA问世,水平直逼GPT-4
威大哥大等联合发文!最新多模态大模型LLaVA问世,水平直逼GPT-4
300 0
下一篇
DataWorks