Deephub_社区达人页

2023年10月

• 10.11 09:34:31
  发表了文章 2023-10-11 09:34:31

  GPU 虚拟化技术MIG简介和安装使用教程

  使用多实例GPU (MIG/Multi-Instance GPU)可以将强大的显卡分成更小的部分，每个部分都有自己的工作，这样单张显卡可以同时运行不同的任务。本文将对其进行简单介绍并且提供安装和使用的示例。
• 10.10 09:47:16
  发表了文章 2023-10-10 09:47:16

  常用的相似度度量总结：余弦相似度，点积，L1，L2

  相似性度量在机器学习中起着至关重要的作用。这些度量以数学方式量化对象、数据点或向量之间的相似性。理解向量空间中的相似性概念并采用适当的度量是解决广泛的现实世界问题的基础。本文将介绍几种常用的用来计算两个向量在嵌入空间中的接近程度的相似性度量。

  
• 10.09 09:36:28
  发表了文章 2023-10-09 09:36:28

  三个主要降维技术对比介绍：PCA, LCA,SVD

  本文将深入研究三种强大的降维技术——主成分分析(PCA)、线性判别分析(LDA)和奇异值分解(SVD)。我们不仅介绍这些方法的基本算法，而且提供各自的优点和缺点。
• 10.08 09:45:27
  发表了文章 2023-10-08 09:45:27

  XGBoost 2.0:对基于树的方法进行了重大更新

  XGBoost是处理不同类型表格数据的最著名的算法，LightGBM 和Catboost也是为了修改他的缺陷而发布的。9月12日XGBoost发布了新的2.0版，本文除了介绍让XGBoost的完整历史以外，还将介绍新机制和更新。

  
• 10.07 09:29:07
  发表了文章 2023-10-07 09:29:07

  从GPU的内存访问视角对比NHWC和NCHW

  NHWC和NCHW是卷积神经网络(cnn)中广泛使用的数据格式。它们决定了多维数据，如图像、点云或特征图如何存储在内存中。

  

2023年09月

• 09.30 09:30:28
  发表了文章 2023-09-30 09:30:28

  LongLoRA:不需要大量计算资源的情况下增强了预训练语言模型的上下文能力

  麻省理工学院和香港中文大学推出了LongLoRA，这是一种革命性的微调方法，可以在不需要大量计算资源的情况下提高大量预训练语言模型的上下文能力。

  
• 09.29 09:34:59
  发表了文章 2023-09-29 09:34:59

  处理不平衡数据的十大Python库

  数据不平衡是机器学习中一个常见的挑战，其中一个类的数量明显超过其他类，这可能导致有偏见的模型和较差的泛化。有各种Python库来帮助有效地处理不平衡数据。在本文中，我们将介绍用于处理机器学习中不平衡数据的十大Python库，并为每个库提供代码片段和解释。

  
• 09.28 09:02:16
  发表了文章 2023-09-28 09:02:16

  使用高斯混合模型拆分多模态分布

  本文介绍如何使用高斯混合模型将一维多模态分布拆分为多个分布。

  
• 09.27 09:51:26
  发表了文章 2023-09-27 09:51:26

  9月人工智能论文和项目推荐

  因为LLM的火爆，所以最近的论文都是和LLM相关的
• 09.26 09:54:59
  发表了文章 2023-09-26 09:54:59

  EfficientFormer:高效低延迟的Vision Transformers

  我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。
• 09.25 09:04:01
  发表了文章 2023-09-25 09:04:01

  基于对数谱图的深度学习心音分类

  这是一篇很有意思的论文，他基于心音信号的对数谱图，提出了两种心率音分类模型，我们都知道：频谱图在语音识别上是广泛应用的，这篇论文将心音信号作为语音信号处理，并且得到了很好的效果。

  
• 09.24 09:27:13
  发表了文章 2023-09-24 09:27:13

  快速找到离群值的三种方法

  本文将介绍3个在数据集中查找离群值的Python方法

  
• 09.23 09:12:46
  发表了文章 2023-09-23 09:12:46

  在Python中创建相关系数矩阵的6种方法

  相关系数矩阵（Correlation matrix）是数据分析的基本工具。它们让我们了解不同的变量是如何相互关联的。在Python中，有很多个方法可以计算相关系数矩阵，今天我们来对这些方法进行一个总结

  
• 09.21 11:21:30
  发表了文章 2023-09-21 11:21:30

  使用QLoRA对Llama 2进行微调的详细笔记

  使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。

  
• 09.20 09:54:19
  发表了文章 2023-09-20 09:54:19

  ChatGPT可以取代搜索引擎吗？

  ChatGPT对于一些简单的问题，可以完美的完成任务。但是我让它写一篇完整的文章，看看它能否代替我进行写作地的时候，我确定它不能完全取代人类。

  
• 09.19 09:40:11
  发表了文章 2023-09-19 09:40:11

  时间序列的重采样和pandas的resample方法介绍

  重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率，它可以更改数据的时间间隔，通过上采样增加粒度，或通过下采样减少粒度。在本文中，我们将深入研究Pandas中重新采样的关键问题。

  
• 09.18 09:30:37
  发表了文章 2023-09-18 09:30:37

  Stability AI发布基于稳定扩散的音频生成模型Stable Audio

  近日Stability AI推出了一款名为Stable Audio的尖端生成模型，该模型可以根据用户提供的文本提示来创建音乐。

  
• 09.16 09:11:22
  发表了文章 2023-09-16 09:11:22

  Python中进行特征重要性分析的9个常用方法

  特征重要性分析用于了解每个特征(变量或输入)对于做出预测的有用性或价值。目标是确定对模型输出影响最大的最重要的特征，它是机器学习中经常使用的一种方法。
• 09.15 09:42:08
  发表了文章 2023-09-15 09:42:08

  Recognize Anything:一个强大的图像标记模型

  Recognize Anything是一种新的图像标记基础模型，与传统模型不同，它不依赖于手动注释进行训练

  
• 09.14 09:35:54
  发表了文章 2023-09-14 09:35:54

  向量数据库简介和5个常用的开源项目介绍

  在人工智能领域，有大量的数据需要有效的处理。随着我们对人工智能应用，如图像识别、语音搜索或推荐引擎的深入研究，数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同，向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维度的数据，可以被认为是指向空间中特定方向和大小的箭头。
• 09.13 10:12:01
  发表了文章 2023-09-13 10:12:01

  Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型

  大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比较大的模型，经过我的测试，7B的模型可以在3080（8G）上跑起来，这对于我们进行简单的研究是非常有帮助的，但是如果需要更深入的研究，还是需要专业的硬件。

  
• 09.12 09:32:57
  发表了文章 2023-09-12 09:32:57

  Falcon 180B 目前最强大的开源模型

  Technology Innovation Institute最近发布了Falcon 180B大型语言模型(LLM)，它击败了Llama-2 70b，与谷歌Bard的基础模型PaLM-2 Large不相上下。

  
• 09.10 09:14:20
  发表了文章 2023-09-10 09:14:20

  Langchain的一些问题和替代选择

  Langchain因其简化大型语言模型(llm)的交互方面的到关注。凭借其高级的API可以简化将llm集成到各种应用程序中的过程。

  
• 09.09 11:42:18
  发表了文章 2023-09-09 11:42:18

  SplitMask:大规模数据集是自我监督预训练的必要条件吗?

  自监督预训练需要大规模数据集吗?这是2021年发布的一篇论文，它在自监督预训练场景中使用小数据集，如Stanford Cars, Sketch或COCO，它们比ImageNet小几个数量级。并提出了一种类似于BEiT的去噪自编码器的变体SplitMask，它对预训练数据的类型和大小具有更强的鲁棒性。

  
• 09.08 09:35:17
  发表了文章 2023-09-08 09:35:17

  Nougat：一种用于科学文档OCR的Transformer 模型

  随着人工智能领域的不断进步，其子领域，包括自然语言处理，自然语言生成，计算机视觉等，由于其广泛的用例而迅速获得了大量的普及。光学字符识别(OCR)是计算机视觉中一个成熟且被广泛研究的领域。它有许多用途，如文档数字化、手写识别和场景文本识别。数学表达式的识别是OCR在学术研究中受到广泛关注的一个领域。

  
• 09.07 09:23:12
  发表了文章 2023-09-07 09:23:12

  CMT:卷积与Transformers的高效结合

  论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。

  
• 09.06 10:39:24
  发表了文章 2023-09-06 10:39:24

  使用GPT-4生成训练数据微调GPT-3.5 RAG管道

  OpenAI在2023年8月22日宣布，现在可以对GPT-3.5 Turbo进行微调了。也就是说，我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本，集成了微调OpenAI gpt-3.5 turbo的功能
• 09.05 10:25:58
  发表了文章 2023-09-05 10:25:58

  Pandas DataFrame 数据存储格式比较

  Pandas 支持多种存储格式，在本文中将对不同类型存储格式下的Pandas Dataframe的读取速度、写入速度和大小的进行测试对比。

  
• 09.04 10:34:19
  发表了文章 2023-09-04 10:34:19

  量化自定义PyTorch模型入门教程

  在以前Pytorch只有一种量化的方法，叫做“eager mode qunatization”，在量化我们自定定义模型时经常会产生奇怪的错误，并且很难解决。但是最近，PyTorch发布了一种称为“fx-graph-mode-qunatization”的方方法。在本文中我们将研究这个fx-graph-mode-qunatization”看看它能不能让我们的量化操作更容易，更稳定。

  
• 09.03 10:45:07
  发表了文章 2023-09-03 10:45:07

  15个基本且常用Pandas代码片段

  Pandas提供了强大的数据操作和分析功能，是数据科学的日常基本工具。在本文中，我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务，从数据集中提取有价值的见解。

  
• 09.02 09:49:21
  发表了文章 2023-09-02 09:49:21

  20用于深度学习训练和研究的数据集

  无论是图像识别，自然语言处理，医疗保健还是任何其他人工智能领域感兴趣，这些数据集都是非常重要的，所以本文将整理常用且有效的20个数据集。

  
• 09.01 09:24:46
  发表了文章 2023-09-01 09:24:46

  Pandas 2.1发布了

  2023年3月1日，Pandas 发布了2.0版本。6个月后（8月30日），更新了新的2.1版。让我们看看他有什么重要的更新。

  

2023年08月

• 08.31 10:47:25
  发表了文章 2023-08-31 10:47:25

  是否在业务中使用大语言模型？

  ChatGPT取得了巨大的成功，在短短一个月内就获得了1亿用户，并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。
• 08.30 10:40:15
  发表了文章 2023-08-30 10:40:15

  使用卷积操作实现因子分解机

  本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。

  
• 08.29 09:30:26
  发表了文章 2023-08-29 09:30:26

  Fooocus：一个简单且功能强大的Stable Diffusion webUI

  Stable Diffusion是一个强大的图像生成AI模型，但它通常需要大量调整和提示工程。Fooocus的目标是改变这种状况。
• 08.28 09:18:01
  发表了文章 2023-08-28 09:18:01

  Dynamic ReLU：根据输入动态确定的ReLU

  这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。

  
• 08.26 10:08:27
  发表了文章 2023-08-26 10:08:27

  理解图傅里叶变换和图卷积

  图神经网络（GNN）代表了一类强大的深度神经网络架构。在一个日益互联的世界里，因为信息的联通性，大部分的信息可以被建模为图。例如，化合物中的原子是节点，它们之间的键是边。

  
• 08.25 10:51:10
  发表了文章 2023-08-25 10:51:10

  微调llama2模型教程：创建自己的Python代码生成器

  本文将演示如何使用PEFT、QLoRa和Huggingface对新的lama-2进行微调，生成自己的代码生成器。所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。

  
• 08.24 11:22:35
  发表了文章 2023-08-24 11:22:35

  StableVideo：使用Stable Diffusion生成连续无闪烁的视频

  使用Stable Diffusion生成视频一直是人们的研究目标，但是我们遇到的最大问题是视频帧和帧之间的闪烁，但是最新的论文则着力解决这个问题。

  
• 08.23 10:01:00
  发表了文章 2023-08-23 10:01:00

  Pandas字符串操作的各种方法速度测试

  由于LLM的发展， 很多的数据集都是以DF的形式发布的，所以通过Pandas操作字符串的要求变得越来越高了，所以本文将对字符串操作方法进行基准测试，看看它们是如何影响pandas的性能的。因为一旦Pandas在处理数据时超过一定限制，它们的行为就会很奇怪。

  
• 08.22 09:59:03
  发表了文章 2023-08-22 09:59:03

  使用Pytorch和OpenCV实现视频人脸替换

  “DeepFaceLab”项目已经发布了很长时间了，作为研究的目的，本文将介绍他的原理，并使用Pytorch和OpenCV创建一个简化版本。
• 08.21 10:27:19
  发表了文章 2023-08-21 10:27:19

  FlashAttention算法详解

  这篇文章的目的是详细的解释Flash Attention，为什么要解释FlashAttention呢？因为FlashAttention 是一种重新排序注意力计算的算法，它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案，本文介绍经典的V1版本，最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍，所以我们来研究一下它到底是怎么实现的。

  
• 08.20 09:45:21
  发表了文章 2023-08-20 09:45:21

  知识图谱入门：使用Python创建知识图，分析并训练嵌入模型

  本文中我们将解释如何构建KG、分析它以及创建嵌入模型。

  
• 08.19 09:34:28
  发表了文章 2023-08-19 09:34:28

  Google开源了可视化编程框架Visual Blocks for ML

  Visual Blocks for ML是一个由Google开发的开源可视化编程框架。它使你能够在易于使用的无代码图形编辑器中创建ML管道。

  
• 08.18 09:27:00
  发表了文章 2023-08-18 09:27:00

  马修斯相关系数MCC简介

  在评估机器学习模型的性能时，F1score都被首选指标。在本文中，我们将介绍一个值得更多关注和认可的替代度量:马修斯相关系数(MCC)。

  
• 08.16 09:43:33
  发表了文章 2023-08-16 09:43:33

  Prompt、RAG、微调还是重新训练？如何选择正确的生成式AI的使用方法

  生成式人工智能正在快速发展，许多人正在尝试使用这项技术来解决他们的业务问题。一般情况下有4种常见的使用方法：
• 08.15 10:06:37
  发表了文章 2023-08-15 10:06:37

  使用Pandas进行数据清理的入门示例

  数据清理是数据分析过程中的关键步骤，它涉及识别缺失值、重复行、异常值和不正确的数据类型。获得干净可靠的数据对于准确的分析和建模非常重要。

  
• 08.14 09:46:51
  发表了文章 2023-08-14 09:46:51

  时间序列去趋势化和傅里叶变换

  在计算傅里叶变换之前对信号去趋势是一种常见的做法，特别是在处理时间序列时。在这篇文章中，我将从数学和视觉上展示信号去趋势是如何影响傅里叶变换的。

  
• 08.13 10:15:55
  发表了文章 2023-08-13 10:15:55

  使用LSH 进行特征提取

  局部敏感哈希(LSH)通常用于近似最近邻算法(ANN) 操作(向量搜索)。LSH的特性也可以在以矢量为输入的神经网络模型中得到利用(例如，各种的音频、视频和文本嵌入等内容信号)。

  
• 08.12 09:50:12
  发表了文章 2023-08-12 09:50:12

  基于时态差分法的强化学习：Sarsa和Q-learning

  时态差分法（Temporal Difference, TD）是一类在强化学习中广泛应用的算法，用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法，用于解决马尔可夫决策过程（Markov Decision Process, MDP）中的强化学习问题。