每日学术速递4.10

简介: 雨雪天气去除是天气退化图像恢复中的一项专门任务,旨在消除共存的雨条纹和雪颗粒。在本文中,我们提出了 RSFormer,这是一种高效且有效的 Transformer,可以应对这一挑战。最初,我们探索了层次结构中卷积网络 (ConvNets) 和视觉变换器 (ViTs) 的接近程度,并通过实验发现它们在阶段内特征学习中的表现大致相同。

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理

Subjects: cs.CV


1.Super-Resolving Face Image by Facial Parsing Information

3dc7ce10f87921d3198e3acd7688f56c.png

标题:通过人脸解析信息超分辨人脸图像

作者:Chenyang Wang, Junjun Jiang, Zhiwei Zhong, Deming Zhai, Xianming Liu

文章链接:https://arxiv.org/abs/2304.02923v1

5925d31d150588e10ea5afaa2d1a7cdc.png

0ed2afa17911d80349bc3d78924b641d.png

b64a91ba72f7f90ec6c92224de0c67ef.png

d984964bb22528cb440d6da42b528f79.png

摘要:

       人脸超分辨率是一种将低分辨率的人脸图像转换成对应的高分辨率图像的技术。在本文中,我们构建了一个新的解析图引导人脸超分辨率网络,它直接从低分辨率人脸图像中提取人脸先验(即解析图)以供后续使用。为了充分利用提取的先验,精心设计了一个解析图注意力融合块,它不仅可以有效地探索解析图的信息,而且还结合了强大的注意力机制。此外,鉴于高分辨率特征包含更精确的空间信息,而低分辨率特征提供强大的上下文信息,我们希望保持和利用这些互补信息。为了实现这一目标,我们开发了一个多尺度细化块来维护空间和上下文信息,并利用多尺度特征来细化特征表示。实验结果表明,我们的方法在定量指标和视觉质量方面优于最先进的方法。源代码将在这个 https URL 上可用。

2.GA-HQS: MRI reconstruction via a generically accelerated unfolding approach

14f5639db92bbb83eeee2154ee693c71.png

标题:GA-HQS:通过一般加速展开方法进行 MRI 重建

作者:Jiawei Jiang, Yuchao Feng, Honghui Xu, Wanjun Chen, Jianwei Zheng

文章链接:https://arxiv.org/abs/2304.02883v1

e647d42d158b20b25ded61fe15a753f5.png

52789817208670bed9311ed3926c125b.png

f694e5db731dea8249b332725406d722.png

9b0ae223d62c5049f3deb0134155be80.png

摘要:

       深度展开网络 (DUN) 是压缩感知 MRI 领域中最重要的方法,因为它们可以使用可学习的网络来促进可解释的前向推理运算符。然而,仍然存在一些令人生畏的问题,包括对一阶优化算法的严重依赖、信息融合机制的不足以及捕获远程关系的局限性。为了解决这些问题,我们提出了一种通用加速半二次分裂 (GA-HQS) 算法,该算法结合了二阶梯度信息和金字塔注意模块,用于像素级输入的精细融合。此外,还设计了多尺度分裂变换器来增强全局特征表示。综合实验表明,我们的方法在单线圈 MRI 加速任务上优于以前的方法。

3.Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal


标题:迈向一个有效和高效的Transformer,用于去除雨雪天气

作者:Ioannis Siglidis, Nicolas Gonthier, Julien Gaubil, Tom Monnier, Mathieu Aubry

文章链接:https://arxiv.org/abs/2304.02860v1

项目代码:https://github.com/chdwyb/RSFormer

bf9230ccc2f3051223d4c130c5add435.png

3c9836502c6f81cfb40413ef170a5c7f.png

7d680c745781467424b40b161bd98bf4.png

8cf1ca50bf01e971107bb8d53f5289ef.png

ee7ecf477303ef98df890c022a92edca.png

摘要:

       雨雪天气去除是天气退化图像恢复中的一项专门任务,旨在消除共存的雨条纹和雪颗粒。在本文中,我们提出了 RSFormer,这是一种高效且有效的 Transformer,可以应对这一挑战。最初,我们探索了层次结构中卷积网络 (ConvNets) 和视觉变换器 (ViTs) 的接近程度,并通过实验发现它们在阶段内特征学习中的表现大致相同。在此基础上,我们利用类似 Transformer 的卷积块 (TCB) 代替计算量大的自注意力,同时保留适应输入内容的注意力特性。我们还证明了跨阶段进展对于性能改进至关重要,并提出了一种全局-局部自注意采样机制 (GLASM),该机制在捕获全局和局部依赖性的同时对特征进行向下/向上采样。最后,我们合成了两个新的雨雪数据集 RSCityScape 和 RS100K,以评估我们提出的 RSFormer。大量实验证明,与其他恢复方法相比,RSFormer 在性能和时间消耗之间取得了最佳平衡。例如,它优于 Restormer,参数数量减少了 1.53%,推理时间减少了 15.6%。数据集、源代码和预训练模型可在 \url{ 此 https URL } 获得。

目录
相关文章
|
JSON 编解码 人工智能
labelme 安装使用及常见问题汇总
labelme批量使用、安装、问题解决 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xff in position 0 module 'labelme.utils' has no attribute 'draw_label' Polygon must have points more than 2 ModuleNotFoundError: No module named 'skimage' Inconsistent use of tabs and s
labelme 安装使用及常见问题汇总
|
11月前
|
人工智能 搜索推荐 数据可视化
当AI学会“使用工具”:智能体(Agent)如何重塑人机交互
当AI学会“使用工具”:智能体(Agent)如何重塑人机交互
986 115
|
存储 人工智能 自然语言处理
RAG:增强大模型知识库的新范式
RAG:增强大模型知识库的新范式
839 99
|
存储 人工智能 自然语言处理
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库
本文由镜舟科技解决方案架构师石强与StarRocks TSC Member赵恒联合撰写,围绕RAG(检索增强生成)技术展开,结合DeepSeek和StarRocks构建智能问答系统。RAG通过外部知识检索与AI生成相结合,解决大模型知识静态、易编造信息的问题。文章详细介绍了系统组成、操作流程及优化方法,包括DeepSeek部署、StarRocks向量索引配置、知识存储与提取等环节,并通过代码示例演示了从文本向量化到生成回答的完整过程。最后,加入RAG机制后,系统性能显著提升,支持企业级知识库与智能客服场景。文中还提供了Web可视化界面实现方案,助力开发者快速上手。
|
9月前
|
数据挖掘 BI 数据库
Python实现Excel数据自动化处理:从繁琐操作到智能流程的蜕变
Python高效处理Excel,告别手动复制粘贴!利用pandas、openpyxl等库,实现数据读取、清洗、分析到报表生成的全流程自动化。处理速度提升数十倍,准确率近100%,支持定时运行、邮件发送与数据库同步,广泛应用于销售、财务等场景,大幅提升工作效率与决策质量。(239字)
1058 0
|
人工智能 监控 安全
使用 Ollama + FastAPI 打造轻量级 AI 应用部署方案
本文介绍了一套基于 Ollama 和 FastAPI 的轻量级 AI 模型部署方案,解决云端部署成本高、本地部署复杂的问题。通过 200 行核心代码实现模型加载到 API 服务的全流程,适用于中小型应用。方案结合 Ollama 的本地化运行能力和 FastAPI 的高性能特性,支持模型量化、并发控制和资源监控,提供 Docker 容器化及 K8s 扩展配置,优化性能与安全性。开发者可在 2 小时内完成环境搭建与部署,满足日均百万级请求需求,为 AI 应用快速落地提供有效支持。
1615 0
|
存储 人工智能 搜索推荐
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
WiseMindAI 是一款由 Chris 开发的 AI 智能学习助手,支持数据完全本地化存储,确保用户隐私安全。它兼容多种文档格式(如 PDF、Markdown 等),并提供 AI 文档总结、智能笔记、沉浸式翻译、知识卡片生成等功能。此外,WiseMindAI 支持 10+ 大语言模型和自定义 AI 插件,适用于 Windows 和 Mac 平台,支持简体中文、繁体中文及英文。
1758 74
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
|
人工智能 监控 算法
构建时序感知的智能RAG系统:让AI自动处理动态数据并实时更新知识库
本文系统构建了一个基于时序管理的智能体架构,旨在应对动态知识库(如财务报告、技术文档)在问答任务中的演进与不确定性。通过六层设计(语义分块、原子事实提取、实体解析、时序失效处理、知识图构建、优化知识库),实现了从原始文档到结构化、时间感知知识库的转化。该架构支持RAG和多智能体系统,提升了推理逻辑性与准确性,并通过LangGraph实现自动化工作流,强化了对持续更新信息的处理能力。
1525 5
|
存储 人工智能 关系型数据库
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
HiveChat 是一款专为中小团队设计的开源 AI 聊天应用,支持多种主流 AI 模型,提供高效的团队沟通和智能辅助功能。
931 9
HiveChat:告别模型选择困难!开源ChatGPT聚合神器上线:一键切换10+模型,权限管控全免费
|
机器学习/深度学习 编解码 人工智能
Kimi开源MoE架构多模态推理模型,小激活参数,大能量!
最近Moonshot AI推出了 Kimi-VL,这是一个高效的开源混合专家(MoE)视觉-语言模型(VLM),它提供了先进的多模态推理、长上下文理解以及强大的代理能力——所有这些功能都只需激活其语言解码器中的2.8B参数(Kimi-VL-A3B)。
1298 1