AiCharm_社区达人页

2023年05月

• 05.14 19:31:06
  发表了文章 2023-05-14 19:31:06

  Anchor Free的孪生目标跟踪

  以DCF和SiamFC为主的跟踪器，构建多尺度金字塔，将搜索区域缩放到多个比例，选择最高得分对应的尺度，这种方式是最不精确的同时先验的固定长宽比不适合现实任务；
• 05.14 19:26:17
  发表了文章 2023-05-14 19:26:17

  每日学术速递2.7

  视觉对象追踪通常采用多阶段的管道，包括特征提取、目标信息整合和边界框估计。为了简化这个管道，统一特征提取和目标信息整合的过程，在本文中，我们提出了一个紧凑的跟踪框架，被称为MixFormer，建立在变换器之上。
• 05.14 19:24:08
  发表了文章 2023-05-14 19:24:08

  深度学习相关概念：感知器

  如今，Keras、TensorFlow 或 PyTorch 等框架提供了对大多数深度学习解决方案的交钥匙访问，而不必深入了解它们。但是，一旦您的模型没有按预期工作，这就会出现问题。您可能需要自己调整它。所以，如果你是来理解深度学习中感知器的概念，我认为你走在正确的轨道上，如果你想有一天能够以任何方式为这个生态系统做出贡献，那么了解这些的根源是必不可少的系统
• 05.14 19:20:55
  发表了文章 2023-05-14 19:20:55

  每日学术速递2.6

  小样本的类增量学习（FSCIL）一直是一个具有挑战性的问题，因为在新的环节中，每个新的类只有少数训练样本可以获得。对骨干进行微调或调整之前训练的分类器原型将不可避免地导致旧类的特征和分类器之间的错位，这就是众所周知的灾难性遗忘问题。
• 05.14 19:17:47
  发表了文章 2023-05-14 19:17:47

  每日学术速递2.5

  预训练的语言模型在生物医学领域引起了越来越多的关注，这是受其在一般自然语言领域的巨大成功的启发。在一般语言领域的预训练语言模型的两个主要分支，即BERT（及其变体）和GPT（及其变体）中，第一个分支已经在生物医学领域得到了广泛的研究，如BioBERT和PubMedBERT。虽然它们在各种鉴别性的下游生物医学任务上取得了巨大的成功
• 05.14 19:15:57
  发表了文章 2023-05-14 19:15:57

  每日学术速递2.4

  我们引入了神经符号持续学习，在这种情况下，一个模型必须解决一连串的神经符号任务，也就是说，它必须将亚符号输入映射到高级概念，并通过与先前知识一致的推理来计算预测。我们的关键观察是，神经符号任务虽然不同，但往往共享概念，其语义随着时间的推移保持稳定。
• 05.14 19:13:46
  发表了文章 2023-05-14 19:13:46

  目标检测框架在目标跟踪中的应用

  从SiamRPN将跟踪问题定义为one-shot detection任务之后，出现了大量将检测组件由于跟踪的研究。不过Siamese系列一个很大的问题在于其本质仍然是一个模板匹配问题，网络关注的是寻找与target相似的东西，而忽视了区分target和distractor的判别能力，这正是目标检测任务所擅长的。目标检测和目标跟踪的关键差异在于检测是一个class-level的任务，而跟踪是一个instance-level的任务（即检测只关注类间差异而不重视类内差异，跟踪需要关注每一个实例，同时跟踪的类别是不可知的）。
• 05.14 19:09:08
  发表了文章 2023-05-14 19:09:08

  每日学术速递2.3

  用大规模预训练的视觉语言模型进行提示调谐，可以增强在有限的基础类别上训练的开放式词汇预测，例如物体分类和检测。在本文中，我们提出了带有运动线索的合成提示调谐：一种用于视频数据合成预测的扩展提示调谐范式
• 05.14 19:06:42
  发表了文章 2023-05-14 19:06:42

  人工智能趋势——2023 年综述

  如果一年前 LLM 已经是 AI 领域的主角，那么现在的情况更接近于独白。萨顿的惨痛教训像美酒一样陈年。有了 ChatGPT，LLM 成为了主流——甚至我的非 AI 非技术朋友都在问这个问题——我们预计 2023 年将是这项技术真正普及的一年。微软——已经在考虑将其在 OpenAI 中的股份扩大到 49% ——而谷歌不想错过，所以这将是一场巨头的冲突。
• 05.14 19:04:25
  发表了文章 2023-05-14 19:04:25

  每日学术速递2.2

  自从引入零点学习是指对训练期间未见的类的实例进行预测的问题。零点学习的一个方法是为模型提供辅助的类信息。此前的工作在很大程度上使用了昂贵的每实例注释或单一的类级描述，但每实例描述很难扩展，单一的类描述可能不够丰富
• 05.14 19:02:23
  发表了文章 2023-05-14 19:02:23

  每日学术速递2.1

  自从引入视觉变换器后，许多计算机视觉任务（如语义分割）的格局，最近被CNN压倒性地主宰，发生了显著的变化。然而，计算成本和内存要求使得这些方法不适合在移动设备上使用，特别是对于高分辨率的每像素语义分割任务。
• 05.14 19:00:14
  发表了文章 2023-05-14 19:00:14

  每日学术速递1.31

  最近几十年来，通过语言模型构建知识图谱（KG）嵌入取得了经验上的成功。然而，基于语言模型的KG嵌入通常被部署为静态的人工制品，在部署后不重新训练的情况下进行修改是具有挑战性的。为了解决这个问题，我们在本文中提出了一个编辑基于语言模型的KG嵌入的新任务。
• 05.14 18:58:06
  发表了文章 2023-05-14 18:58:06

  卷积神经网络CNN ：1.基础知识

  ​卷积神经网络是一种深度学习概念，专为处理图像而构建。机器学习是计算机从过去的经验中学习的概念。深度学习是机器学习的高级部分。CNN 旨在寻找视觉模式。
• 05.14 18:55:56
  发表了文章 2023-05-14 18:55:56

  每日学术速递1.30

  由于大型的预训练语言模型、大规模的训练数据以及可扩展的模型系列（如扩散和自回归模型）的引入，文本-图像合成最近取得了重大进展。然而，表现最好的模型需要迭代评估以生成单一样本。相比之下，生成式对抗网络（GANs）只需要一次前向传递。
• 05.14 18:53:33
  发表了文章 2023-05-14 18:53:33

  每日学术速递1.29

  变换器框架在视觉物体追踪中表现出了卓越的性能，因为它在模板和搜索图像的信息聚合方面具有众所周知的注意力机制。最近的进展主要集中在探索注意力机制的变种，以实现更好的信息聚合。我们发现这些方案等同于甚至只是基本的自我注意机制的一个子集。在本文中，我们证明了虚无缥缈的自我注意结构对于信息聚合来说是足够的，而结构调整是不必要的。关键不在于注意力结构，而在于如何提取用于跟踪的鉴别性特征，加强目标和搜索图像之间的交流。
• 05.14 18:51:17
  发表了文章 2023-05-14 18:51:17

  Siam R-CNN: 通过重检测进行视觉跟踪

  将重检测思想用于跟踪。通过判断建议区域（region proposal）是否与模板区域（template region）相同，重检测图像中任何位置的模板对象，并对该对象的边界框进行回归，这种方法对目标大小和长宽比变化比较鲁棒；
• 05.14 18:42:51
  发表了文章 2023-05-14 18:42:51

  每日学术速递1.28

  图像-文本预训练模型，例如CLIP，已经显示出从大规模图像-文本数据对中学习到的令人印象深刻的通用多模式知识，因此它们在改善视频领域的视觉表征学习方面的潜力引起了越来越多的关注。在本文中，基于CLIP模型，我们重新审视了图像到视频知识转移背景下的时间建模，这是扩展图像-文本预训练模型到视频领域的关键点。我们发现，目前的时间建模机制要么是针对高层次的语义主导任务（如检索）
• 05.14 18:34:05
  发表了文章 2023-05-14 18:34:05

  机器学习入门详解（一）：理解监督学习中的最大似然估计

   这篇文章在统计学的背景下对机器学习学习建模过程进行了解密。将带你了解如何对数据的假设使我们能够创建有意义的优化问题。事实上，我们将推导出常用的标准，如分类中的交叉熵和回归中的均方误差。

  
• 05.14 18:33:28
  发表了文章 2023-05-14 18:33:28

  深度学习论文阅读目标检测篇（七）中文版：YOLOv4《Optimal Speed and Accuracy of Object Detection》

  大多数基于 CNN 的目标检测器基本上都仅适用于推荐系统。例 如：通过城市摄像头寻找免费停车位，它由精确的慢速模型完成，而 汽车碰撞警报需要由快速、低精度模型完成。改善实时目标检测器的 精度，使其能够不仅可以用于提示生成推荐系统，也可以用于独立的 流程管理和减少人力投入。传统 GPU 使得目标检测可以以实惠的价 格运行。最准确的现代神经网络不是实时运行的，需要大量的训练的 GPU 与大的 mini bacth size。我们通过创建一个 CNN 来解决这样的 问题，在传统的 GPU 上进行实时操作，而对于这些训练只需要一个 传统的 GPU。
• 05.14 18:20:43
  发表了文章 2023-05-14 18:20:43

  深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》

   有大量的技巧可以提高卷积神经网络（CNN）的精度。需要在大 数据集下对这种技巧的组合进行实际测试，并需要对结果进行理论论 证。某些技巧仅在某些模型上使用和专门针对某些问题，或只针对小 规模的数据集；而一些技巧，如批处理归一化、残差连接等，适用于 大多数的模型、任务和数据集。我们假设这种通用的技巧包括加权残 差连接（Weighted-Residual-Connection，WRC）
• 05.14 18:10:13
  发表了文章 2023-05-14 18:10:13

  深度学习实战（十）：使用 PyTorch 进行 3D 医学图像分割

  深度网络在计算机视觉领域的兴起，为经典的图像处理技术表现不佳的问题提供了最先进的解决方案。在泛化的图像识别任务中，包括物体检测、图像分类和分割、活动识别、光流和姿势估计等问题，可以轻松地声称DNN（深度神经网络）已经取得了卓越的性能。
• 05.14 17:01:34
  发表了文章 2023-05-14 17:01:34

  计算机视觉论文速递（九）EfficientFormer： Vision Transformers at MobileNet Speed 轻量化实时推理的Transformer模型

  Vision Transformers (ViT) 在计算机视觉任务中取得了快速进展，在各种基准测试中取得了可喜的成果。然而，由于大量的参数和模型设计，例如注意力机制，基于 ViT 的模型通常比轻量级卷积网络慢几倍。因此，应用部署 ViT 具有很大的挑战性，尤其是在移动设备等资源受限的硬件上。
• 05.14 16:53:27
  发表了文章 2023-05-14 16:53:27

  深度学习实战（九）：使用自动编码器生成图像

  除了一小部分的算法可以。这就是所谓的无监督学习（Unsupervised Learning）。无监督学习通过自己的方式从未标记的数据中推断出一个函数。最著名的无监督算法是K-Means，它被广泛用于将数据聚类，而PCA则是降维的首选方案。K-Means和PCA可能是有史以来最好的两种机器学习算法。而让它们更出色的是它们的简单性。如果你掌握了它们，你就会觉得：“为什么我没有早点想到呢？

  
• 05.14 16:51:10
  发表了文章 2023-05-14 16:51:10

  机器学习实战（一）：Document clustering 文档聚类

  文档聚类是指根据文档的文本和语义背景将其归入不同的组别。它是一种无监督的技术，因为我们没有文件的标签，它在信息检索和搜索引擎中得到了应用。
• 05.14 16:47:05
  发表了文章 2023-05-14 16:47:05

  动手强化学习（九）：策略梯度算法

   首先定义策略网络PolicyNet，其输入是某个状态，输出则是该状态下的动作概率分布，这里采用在离散动作空间上的softmax()函数来实现一个可学习的多项分布（multinomial distribution）。
• 05.14 16:30:59
  发表了文章 2023-05-14 16:30:59

  动手强化学习（十）：Actor-Critic 算法

  在之前的内容中，我们学习了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么一个很自然的问题，有没有什么方法既学习价值函数，又学习策略函数呢？答案就是 Actor-Critic。Actor-Critic 是一系列算法，目前前沿的很多高效算法都属于 Actor-Critic 算法，今天我们将会介绍一种最简单的 Actor-Critic 算法。需要明确的是，Actor-Critic 算法本质上是基于策略的算法，因为这系列算法都是去优化一个带参数的策略，只是其中会额外学习价值函数来帮助策略函数的学习。
• 05.14 16:22:10
  发表了文章 2023-05-14 16:22:10

  深度学习论文阅读目标检测篇（六）中文版：YOLOv3《 An Incremental Improvement》

    有时候，一年内你主要都在玩手机，你知道吗？今年我没有做很 多研究。我在 Twitter 上花了很多时间。研究了一下 GAN。去年我留 下了一点点的精力[12] [1]；我设法对 YOLO 进行了一些改进。但是， 实话实说，除了仅仅一些小的改变使得它变得更好之外，没有什么超 级有趣的事情。我也稍微帮助了其他人的一些研究。
• 05.14 16:18:34
  发表了文章 2023-05-14 16:18:34

  深度学习论文阅读目标检测篇（六）中英对照版：YOLOv3《 An Incremental Improvement》

  我们对 YOLO 进行了一系列更新！它包含一堆小设计，可以使 系统的性能得到更新。我们也训练了一个新的、比较大的神经网络。 虽然比上一版更大一些，但是精度也提高了。不用担心，它的速度依 然很快。YOLOv3 在 320×320 输入图像上运行时只需 22ms，并能达 到 28.2mAP，其精度和 SSD 相当，但速度要快上 3 倍。使用之前 0.5 IOU mAP 的检测指标，YOLOv3 的效果是相当不错。YOLOv3 使用 Titan X GPU
• 05.14 16:13:33
  发表了文章 2023-05-14 16:13:33

  解决numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array

  但实际上它保存的不是模型文件，而是参数文件文件。在模型文件中，存储完整的模型，而在状态文件中，仅存储参数。因此，collections.OrderedDict只是模型的值。
• 05.14 16:10:41
  发表了文章 2023-05-14 16:10:41

  动手强化学习（八）：DQN 改进算法——Dueling DQN

  DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN 和 Dueling DQN，这两个算法的实现非常简单，只需要在 DQN 的基础上稍加修改，它们能在一定程度上改善 DQN 的效果。
• 05.14 16:01:27
  发表了文章 2023-05-14 16:01:27

  深度学习论文阅读目标检测篇（五）中英对照版：YOLOv2《 YOLO9000: Better, Faster, Stronger》

  摘要我们引入了一个先进的实时目标检测系统YOLO9000，可以检测超过9000个目标类别。首先，我们提出了对YOLO检测方法的各种改进，既有新发明的一些东西，也参考了前人的工作。改进后的模型YOLOv2在PASCALVOC和COCO等标准检测任务上性能是最好的。使用一种新颖的、多尺度训练方法，同样的YOLOv2模型可以以不同的尺度运行，从而在速度和准确性之间获得了良好的权衡。以67FPS的检测速度，YOLOv2在VOC2007上获得了76.8mAP。
• 05.14 15:52:23
  发表了文章 2023-05-14 15:52:23

  深度学习论文阅读目标检测篇（五）中文版：YOLOv2《 YOLO9000: Better, Faster, Stronger》

   与分类和标记等其他任务的数据集相比，目前目标检测数据集是有限的。最常见的检测数据集包含成千上万到数十万张具有成百上千个标签的图像[3][10][2]。分类数据集有数以百万计的图像，数十或数十万个类别[20][2]。

  
• 05.14 15:47:27
  发表了文章 2023-05-14 15:47:27

  计算机视觉论文速递（八）ViTAE：COCO人体姿态估计新模型取得最高精度81.1AP

   人体姿态估计是计算机视觉领域的基本研究问题之一，具有很广泛的实际应用，例如医疗健康领域的行为分析、元宇宙领域的AIGC内容生成等。但是，由于人体姿态丰富，人物衣着表观变化多样，光照和遮挡等因素，人体姿态估计任务非常具有挑战性。之前的深度学习方法主要研究了新的骨干网络设计、多尺度特征融合、更强的解码器结构和损失函数设计等。
• 05.14 15:44:06
  发表了文章 2023-05-14 15:44:06

  解决AttributeError: ‘model‘ object has no attribute ‘copy‘

  原因是没有使用model.state_dict()进行模型保存，但是使用了model.load_state_dict()加载模型。这两者要配套使用。
• 05.14 15:43:02
  发表了文章 2023-05-14 15:43:02

  解决AttributeError: ‘collections.OrderedDict‘ object has no attribute ‘eval‘

  但实际上它保存的不是模型文件，而是参数文件文件。在模型文件中，存储完整的模型，而在状态文件中，仅存储参数。因此，collections.OrderedDict只是模型的值
• 05.14 15:41:53
  发表了文章 2023-05-14 15:41:53

  动手强化学习（七）：DQN 改进算法——Double DQN

  DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN 和 Dueling DQN，这两个算法的实现非常简单，只需要在 DQN 的基础上稍加修改，它们能在一定程度上改善 DQN 的效果。
• 05.14 15:28:38
  发表了文章 2023-05-14 15:28:38

  解决RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cp

  对应两种保存模型的方式，pytorch也有两种加载模型的方式。对应第一种保存方式，加载模型时通过torch.load(‘.pth’)直接初始化新的神经网络对象；对应第二种保存方式，需要首先导入对应的网络，再通过net.load_state_dict(torch.load(‘.pth’))完成模型参数的加载。
• 05.14 15:25:31
  发表了文章 2023-05-14 15:25:31

  计算机视觉论文速递（六）GANet: A Keypoint-based Global Association Network for Lane Detection 基于关键点建模的全局关联网络

   在CVPR 2022上，商汤智能汽车-创新研发中心团队提出一种新的基于关键点建模的车道线检测范式，即全局关联网络（GANet），通过直接回归车道线关键点到车道线起始点的偏移，来完成对车道线关键点的并行聚合，从而实现高效且准确的车道线检测。除此以外，本文还提出一个车道线感知的特征增强模块，以增强车道线的局部关键点关联，提升车道线局部连续性。本文所提方法在多个公开数据集上均超越已有方法，取得了良好的精度-速度均衡。
• 05.14 15:22:00
  发表了文章 2023-05-14 15:22:00

  计算机视觉论文速递（七）FAN：提升ViT和CNN的鲁棒性和准确性

  在本文中研究了Self-Attention在学习鲁棒表征中的作用。本研究是基于Vision Transformer中新出现的Visual Grouping的特性进行深入研究的，Visual Grouping也表明Self-Attention可能是通过改进的中层表征来促进鲁棒性。
• 05.14 15:06:25
  发表了文章 2023-05-14 15:06:25

  动手强化学习（六）：DQN 算法

  在车杆环境中，有一辆小车，智能体的任务是通过左右移动保持车上的杆竖直，若杆的倾斜度数过大，或者车子离初始位置左右的偏离程度过大，或者坚持时间到达 200 帧，则游戏结束。智能体的状态是一个维数为 4 的向量，每一维都是连续的，其动作是离散的，动作空间大小为 2，详情参见表 7-1 和表 7-2。在游戏中每坚持一帧，智能体能获得分数为 1 的奖励，坚持时间越长，则最后的分数越高，坚持 200 帧即可获得最高的分数。
• 05.14 14:51:19
  发表了文章 2023-05-14 14:51:19

  计算机视觉论文速递（五）MiniViT：Compressing Vision Transformers with Weight Multiplexing 极致压缩视觉Transformer

   Vision Transformer由于其较高的模型性能在计算机视觉领域受到广泛关注。然而，Vision Transformer受到大量参数的影响，限制了它们在内存有限的设备上的适用性。为了缓解这一问题，本文提出了一种新的压缩框架MiniViT，MiniViT能够在保持相同性能的同时实现了Vision Transformer的参数缩减。
• 05.14 14:34:03
  发表了文章 2023-05-14 14:34:03

  强化学习基础篇（五）：Dyna-Q 算法

   在强化学习中，“模型”通常指与智能体交互的环境模型，即对环境的状态转移概率和奖励函数进行建模。根据是否具有环境模型，强化学习算法分为两种：基于模型的强化学习（model-based reinforcement learning）和无模型的强化学习（model-free reinforcement learning）。无模型的强化学习根据智能体与环境交互采样到的数据直接进行策略提升或者价值估计，第 5 章讨论的两种时序差分算法，即 Sarsa 和 Q-learning 算法，便是两种无模型的强化学习方法，本书在后续章节中将要介绍的方法也大多是无模型的强化学习算法。
• 05.14 14:30:19
  发表了文章 2023-05-14 14:30:19

  计算机视觉论文速递（四）Dynamic Sparse R-CNN：Sparse R-CNN升级版，使用ResNet50也能达到47.2AP

   首先，Sparse R-CNN采用一对一标签分配方案，其中匈牙利算法对每个Ground truth只匹配一个正样本。这种一对一标签分配对于学习到的proposal boxes和Ground truth之间的匹配可能不是最佳的。为了解决这一问题，作者提出了基于最优传输算法的动态标签分配(DLA)，在Sparse R-CNN的迭代训练阶段分配递增的正样本。随着后续阶段产生精度更高的精细化proposal boxes，在后续阶段对匹配进行约束，使其逐渐松散。
• 05.14 14:19:21
  发表了文章 2023-05-14 14:19:21

  深度学习实战（五）：通过scikit-learn模板两步构建自己的机器学习模型

   常见的问题类型只有三种：分类、回归、聚类。而明确具体问题对应的类型也很简单。比如，如果你需要通过输入数据得到一个类别变量，那就是分类问题。分成两类就是二分类问题，分成两类以上就是多分类问题。常见的有：判别一个邮件是否是垃圾邮件、根据图片分辩图片里的是猫还是狗等等。
• 05.14 14:13:20
  发表了文章 2023-05-14 14:13:20

  深度学习论文阅读目标检测篇（四）中文版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》

  我们的统一架构非常快。我们的基础YOLO模型以45帧/秒的速度实时处理图像。FastYOLO是YOLO的一个较小版本，每秒能处理惊人的155帧图像，同时实现其它实时检测器两倍的mAP。与最先进的检测系统相比，YOLO虽然存在较多的定位错误，但很少将背景预测成假阳性（译者注：其它先进的目标检测算法将背景预测成目标的概率较大）。最后，YOLO能学习到目标非常通用的表示。当从自然图像到艺术品等其它领域泛化时，它都优于其它检测方法，包括DPM和R-CNN。
• 05.14 14:09:21
  发表了文章 2023-05-14 14:09:21

  raise RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format( RuntimeError: Error(s)..报错

  即load_state_dict(fsd,strict=False) 属性strict;当strict=True,要求预训练练权重层数的键值与新构建的模型中的权重层数名称完全吻合;
• 05.14 14:07:25
  发表了文章 2023-05-14 14:07:25

  bash: cd: too many arguments 报错解决方法

  bash: cd: too many arguments 报错解决方法