南开大学开源新图像分割算法,刷新精度记录 | 资源

简介:

最近,南开大学提出一种边缘检测和图像分割算法,被称为首个在图像分割数据集BSDS500上F值(F-Feature)超越数据集本身人工标注平均值的实时算法。

作者之一程明明在微博介绍说,算法中每一步(stage)里的所有卷积层都是有用的,而非过去只要每步最后一个卷积层。

“这是很通用的技巧,基本上干什么任务都用得着,改几行代码就能实现。”程明明说。

目前算法已经开源,一起看一下。

方法介绍

简单来说,研究人员提出一种利用RCF(richer convolutional features)的精准边缘检测器,还能通过反向传播进行训练。

在广泛使用的图像分割数据集BSDS500上进行基准测试时,这个算法在ODS(固定轮廓阈值)情况下,F值达到0.811;在评估速度为30FPS(每秒帧率)情况下,RCF OSD F值达到0.806,达到了比较好的结果。

这是怎么做到的?

研究人员先基于VGG16框架,构建了一个简单的神经网络。可以看出,从conv3_1层到conv4_3层,生成的图像在不断变粗糙,且中间层中包含的很多细节并没有被其它层利用。

21abcf5eff0e5a3a6de97985e9aa31f1a0e6c8b5

这可不行。在研究人员提出这种RCF架构,输入任意大小的图像,就能输出相同大小的边缘映射图。

研究人员将所有来自卷积层的层次特征组合成一个整体框架,其中所有参数均可自动学习多尺度和多水平的特征,检测边缘信息。

80295b7a7d00a56043bf6684edc06d2d388e7cab

这个多尺度算法的pipeline如下:

8bc277fbf1c4438490fc34a796209b710e8ce835

先改变原始图像的大小构建一组图像金字塔(image pyramid),将这些图像输入到RCF网络进行前向传递。随后,用双线性插值法将边缘检测图恢复为原始大小,这些边缘图的平均值将输出成高质量边缘检测图。

在BSDS500数据集上评估时,这种方法超过了数据集原始的人类标注平均值。

a3483c41fe0e17e606065b76e3d47e3619fa414d

当被问到这个算法是否超越人类时,程明明表示,算法目前只能获得比BSDS500基准测试的普通人类注释更好的F值,还不能说是“超越”人类。

“如果给人类标注员更多的时间和训练,人类会做得更好。”程明明说。

来自南开大学

目前,这项研究的论文Richer Convolutional Features for Edge Detection已被IEEE TPAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence)期刊收录。

06e9a680116e961246089f52f9b171e1d02e9869

论文由Yun Liu(刘云)、Ming-Ming Cheng(程明明)、Xiaowei Hu(胡晓伟)、Jia-Wang Bia、 Le Zhang、Xiang Bai和Jinhui Tang 7人完成,其中前四位研究人员均来自南开大学媒体计算实验室。

媒体计算实验室主要研究针对可视媒体信息的智能计算方法,在实验室主页上我们看到,实验室“2019级入学的博士生和硕士生已经招满”。

一作刘云本科也毕业于南开大学,现为程明明的博士生,参与的论文经常在CVPR、ACCV和PRCV等顶会现身。

论文二作程明明本科毕业于西电 ,在牛津大学深造完成后回国,虽然只有34岁,已经是南开大学教授、国家“万人计划”青年拔尖人才,首批天津市杰出青年基金获得者了。

82f839fdea36e16e2cddf1f83d6cab2c446e4348

程明明

原文发布时间为:2018-10-29
本文作者:关注前沿科技
本文来自云栖社区合作伙伴“ 量子位”,了解相关信息可以关注“ 量子位”。
相关文章
|
19天前
|
算法 数据挖掘 数据安全/隐私保护
基于FCM模糊聚类算法的图像分割matlab仿真
本项目展示了基于模糊C均值(FCM)算法的图像分割技术。算法运行效果良好,无水印。使用MATLAB 2022a开发,提供完整代码及中文注释,附带操作步骤视频。FCM算法通过隶属度矩阵和聚类中心矩阵实现图像分割,适用于灰度和彩色图像,广泛应用于医学影像、遥感图像等领域。
|
1月前
|
存储 缓存 算法
优化轮询算法以提高资源分配的效率
【10月更文挑战第13天】通过以上这些优化措施,可以在一定程度上提高轮询算法的资源分配效率,使其更好地适应不同的应用场景和需求。但需要注意的是,优化策略的选择和实施需要根据具体情况进行详细的分析和评估,以确保优化效果的最大化。
|
4月前
|
算法 数据处理 数据安全/隐私保护
|
6月前
|
数据采集 算法 安全
CVPR 2024:给NeRF开透视眼!稀疏视角下用X光进行三维重建,9类算法工具包全开源
【6月更文挑战第28天】CVPR 2024亮点:SAX-NeRF框架开源!融合X光与NeRF,提升3D重建效果。X3D数据集验证,Lineformer+MLG策略揭示物体内部结构,增强几何理解。虽有计算成本及泛化挑战,但为计算机视觉和医学影像开辟新路径。[论文链接](https://arxiv.org/abs/2311.10959)**
175 5
|
6月前
|
算法 数据可视化 网络安全
清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法
【6月更文挑战第27天】清华大学等高校发布了开源工具MarkLLM,这是首个专注于大语言模型水印的工具包,支持近10种先进算法。该工具统一了水印实现,便于比较和使用,旨在促进水印技术在保障信息真实性和网络安全上的应用。MarkLLM提供直观界面、可视化及自动化评估,推动了大模型水印研究的进步。[论文链接:](https://arxiv.org/abs/2405.10051)**
160 5
|
6月前
|
机器学习/深度学习 算法 TensorFlow
算法金 | 只需十四步:从零开始掌握Python机器学习(附资源)
```markdown ## 摘要 全网同名「算法金」的作者分享了一篇针对Python机器学习入门的教程。教程旨在帮助零基础学习者掌握Python和机器学习,利用免费资源成为实践者。内容分为基础篇和进阶篇,覆盖Python基础、机器学习概念、数据预处理、科学计算库(如NumPy、Pandas和Matplotlib)以及深度学习(TensorFlow、Keras)。此外,还包括进阶算法如SVM、随机森林和神经网络。教程还强调了实践和理解最新趋势的重要性。
75 0
算法金 | 只需十四步:从零开始掌握Python机器学习(附资源)
|
5月前
|
机器学习/深度学习 算法 搜索推荐
一个开源且全面的C#算法实战教程
一个开源且全面的C#算法实战教程
|
6月前
|
算法 Java 数据挖掘
使用MeanShift算法进行图像分割的实现
使用MeanShift算法进行图像分割的实现
|
7月前
|
机器学习/深度学习 算法 图形学
告别3D高斯Splatting算法,带神经补偿的频谱剪枝高斯场SUNDAE开源了
【5月更文挑战第26天】SUNDAE,一种结合频谱剪枝和神经补偿的高斯场方法,已开源,解决了3D高斯Splatting的内存消耗问题。SUNDAE通过建模基元间关系并剪枝不必要的元素,降低内存使用,同时用神经网络补偿质量损失。在Mip-NeRF360数据集上,SUNDAE实现26.80 PSNR和145 FPS,内存仅为104MB,优于传统算法。然而,其计算复杂性、参数优化及对其他3D表示方法的适用性仍有待改进。代码开源,期待进一步研究。[论文链接](https://arxiv.org/abs/2405.00676)
52 2
|
7月前
|
数据采集 人工智能 自然语言处理
综述170篇自监督学习推荐算法,港大发布SSL4Rec:代码、资料库全面开源!
【5月更文挑战第20天】港大团队发布SSL4Rec,一个全面开源的自监督学习推荐算法框架,基于170篇相关文献的深入分析。SSL4Rec利用未标记数据提升推荐系统性能,解决了传统方法依赖大量标记数据的问题。开源代码与资料库促进研究复现与交流,为推荐系统领域带来新思路和工具。尽管面临数据需求大和依赖数据质量的挑战,但SSL4Rec展现出巨大的发展潜力和跨领域应用前景。[链接:https://arxiv.org/abs/2404.03354]
161 1