Deephub_社区达人页

2023年09月

• 09.27 09:51:26
  发表了文章 2023-09-27 09:51:26

  9月人工智能论文和项目推荐

  因为LLM的火爆，所以最近的论文都是和LLM相关的
• 09.26 09:54:59
  发表了文章 2023-09-26 09:54:59

  EfficientFormer:高效低延迟的Vision Transformers

  我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。
• 09.25 09:04:01
  发表了文章 2023-09-25 09:04:01

  基于对数谱图的深度学习心音分类

  这是一篇很有意思的论文，他基于心音信号的对数谱图，提出了两种心率音分类模型，我们都知道：频谱图在语音识别上是广泛应用的，这篇论文将心音信号作为语音信号处理，并且得到了很好的效果。

  
• 09.24 09:27:13
  发表了文章 2023-09-24 09:27:13

  快速找到离群值的三种方法

  本文将介绍3个在数据集中查找离群值的Python方法

  
• 09.23 09:12:46
  发表了文章 2023-09-23 09:12:46

  在Python中创建相关系数矩阵的6种方法

  相关系数矩阵（Correlation matrix）是数据分析的基本工具。它们让我们了解不同的变量是如何相互关联的。在Python中，有很多个方法可以计算相关系数矩阵，今天我们来对这些方法进行一个总结

  
• 09.21 11:21:30
  发表了文章 2023-09-21 11:21:30

  使用QLoRA对Llama 2进行微调的详细笔记

  使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。

  
• 09.20 09:54:19
  发表了文章 2023-09-20 09:54:19

  ChatGPT可以取代搜索引擎吗？

  ChatGPT对于一些简单的问题，可以完美的完成任务。但是我让它写一篇完整的文章，看看它能否代替我进行写作地的时候，我确定它不能完全取代人类。

  
• 09.19 09:40:11
  发表了文章 2023-09-19 09:40:11

  时间序列的重采样和pandas的resample方法介绍

  重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率，它可以更改数据的时间间隔，通过上采样增加粒度，或通过下采样减少粒度。在本文中，我们将深入研究Pandas中重新采样的关键问题。

  
• 09.18 09:30:37
  发表了文章 2023-09-18 09:30:37

  Stability AI发布基于稳定扩散的音频生成模型Stable Audio

  近日Stability AI推出了一款名为Stable Audio的尖端生成模型，该模型可以根据用户提供的文本提示来创建音乐。

  
• 09.16 09:11:22
  发表了文章 2023-09-16 09:11:22

  Python中进行特征重要性分析的9个常用方法

  特征重要性分析用于了解每个特征(变量或输入)对于做出预测的有用性或价值。目标是确定对模型输出影响最大的最重要的特征，它是机器学习中经常使用的一种方法。
• 09.15 09:42:08
  发表了文章 2023-09-15 09:42:08

  Recognize Anything:一个强大的图像标记模型

  Recognize Anything是一种新的图像标记基础模型，与传统模型不同，它不依赖于手动注释进行训练

  
• 09.14 09:35:54
  发表了文章 2023-09-14 09:35:54

  向量数据库简介和5个常用的开源项目介绍

  在人工智能领域，有大量的数据需要有效的处理。随着我们对人工智能应用，如图像识别、语音搜索或推荐引擎的深入研究，数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同，向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维度的数据，可以被认为是指向空间中特定方向和大小的箭头。
• 09.13 10:12:01
  发表了文章 2023-09-13 10:12:01

  Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型

  大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比较大的模型，经过我的测试，7B的模型可以在3080（8G）上跑起来，这对于我们进行简单的研究是非常有帮助的，但是如果需要更深入的研究，还是需要专业的硬件。

  
• 09.12 09:32:57
  发表了文章 2023-09-12 09:32:57

  Falcon 180B 目前最强大的开源模型

  Technology Innovation Institute最近发布了Falcon 180B大型语言模型(LLM)，它击败了Llama-2 70b，与谷歌Bard的基础模型PaLM-2 Large不相上下。

  
• 09.10 09:14:20
  发表了文章 2023-09-10 09:14:20

  Langchain的一些问题和替代选择

  Langchain因其简化大型语言模型(llm)的交互方面的到关注。凭借其高级的API可以简化将llm集成到各种应用程序中的过程。

  
• 09.09 11:42:18
  发表了文章 2023-09-09 11:42:18

  SplitMask:大规模数据集是自我监督预训练的必要条件吗?

  自监督预训练需要大规模数据集吗?这是2021年发布的一篇论文，它在自监督预训练场景中使用小数据集，如Stanford Cars, Sketch或COCO，它们比ImageNet小几个数量级。并提出了一种类似于BEiT的去噪自编码器的变体SplitMask，它对预训练数据的类型和大小具有更强的鲁棒性。

  
• 09.08 09:35:17
  发表了文章 2023-09-08 09:35:17

  Nougat：一种用于科学文档OCR的Transformer 模型

  随着人工智能领域的不断进步，其子领域，包括自然语言处理，自然语言生成，计算机视觉等，由于其广泛的用例而迅速获得了大量的普及。光学字符识别(OCR)是计算机视觉中一个成熟且被广泛研究的领域。它有许多用途，如文档数字化、手写识别和场景文本识别。数学表达式的识别是OCR在学术研究中受到广泛关注的一个领域。

  
• 09.07 09:23:12
  发表了文章 2023-09-07 09:23:12

  CMT:卷积与Transformers的高效结合

  论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。

  
• 09.06 10:39:24
  发表了文章 2023-09-06 10:39:24

  使用GPT-4生成训练数据微调GPT-3.5 RAG管道

  OpenAI在2023年8月22日宣布，现在可以对GPT-3.5 Turbo进行微调了。也就是说，我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本，集成了微调OpenAI gpt-3.5 turbo的功能
• 09.05 10:25:58
  发表了文章 2023-09-05 10:25:58

  Pandas DataFrame 数据存储格式比较

  Pandas 支持多种存储格式，在本文中将对不同类型存储格式下的Pandas Dataframe的读取速度、写入速度和大小的进行测试对比。

  
• 09.04 10:34:19
  发表了文章 2023-09-04 10:34:19

  量化自定义PyTorch模型入门教程

  在以前Pytorch只有一种量化的方法，叫做“eager mode qunatization”，在量化我们自定定义模型时经常会产生奇怪的错误，并且很难解决。但是最近，PyTorch发布了一种称为“fx-graph-mode-qunatization”的方方法。在本文中我们将研究这个fx-graph-mode-qunatization”看看它能不能让我们的量化操作更容易，更稳定。

  
• 09.03 10:45:07
  发表了文章 2023-09-03 10:45:07

  15个基本且常用Pandas代码片段

  Pandas提供了强大的数据操作和分析功能，是数据科学的日常基本工具。在本文中，我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务，从数据集中提取有价值的见解。

  
• 09.02 09:49:21
  发表了文章 2023-09-02 09:49:21

  20用于深度学习训练和研究的数据集

  无论是图像识别，自然语言处理，医疗保健还是任何其他人工智能领域感兴趣，这些数据集都是非常重要的，所以本文将整理常用且有效的20个数据集。

  
• 09.01 09:24:46
  发表了文章 2023-09-01 09:24:46

  Pandas 2.1发布了

  2023年3月1日，Pandas 发布了2.0版本。6个月后（8月30日），更新了新的2.1版。让我们看看他有什么重要的更新。

  

2023年08月

• 08.31 10:47:25
  发表了文章 2023-08-31 10:47:25

  是否在业务中使用大语言模型？

  ChatGPT取得了巨大的成功，在短短一个月内就获得了1亿用户，并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。
• 08.30 10:40:15
  发表了文章 2023-08-30 10:40:15

  使用卷积操作实现因子分解机

  本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。

  
• 08.29 09:30:26
  发表了文章 2023-08-29 09:30:26

  Fooocus：一个简单且功能强大的Stable Diffusion webUI

  Stable Diffusion是一个强大的图像生成AI模型，但它通常需要大量调整和提示工程。Fooocus的目标是改变这种状况。
• 08.28 09:18:01
  发表了文章 2023-08-28 09:18:01

  Dynamic ReLU：根据输入动态确定的ReLU

  这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。

  
• 08.26 10:08:27
  发表了文章 2023-08-26 10:08:27

  理解图傅里叶变换和图卷积

  图神经网络（GNN）代表了一类强大的深度神经网络架构。在一个日益互联的世界里，因为信息的联通性，大部分的信息可以被建模为图。例如，化合物中的原子是节点，它们之间的键是边。

  
• 08.25 10:51:10
  发表了文章 2023-08-25 10:51:10

  微调llama2模型教程：创建自己的Python代码生成器

  本文将演示如何使用PEFT、QLoRa和Huggingface对新的lama-2进行微调，生成自己的代码生成器。所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。

  
• 08.24 11:22:35
  发表了文章 2023-08-24 11:22:35

  StableVideo：使用Stable Diffusion生成连续无闪烁的视频

  使用Stable Diffusion生成视频一直是人们的研究目标，但是我们遇到的最大问题是视频帧和帧之间的闪烁，但是最新的论文则着力解决这个问题。

  
• 08.23 10:01:00
  发表了文章 2023-08-23 10:01:00

  Pandas字符串操作的各种方法速度测试

  由于LLM的发展， 很多的数据集都是以DF的形式发布的，所以通过Pandas操作字符串的要求变得越来越高了，所以本文将对字符串操作方法进行基准测试，看看它们是如何影响pandas的性能的。因为一旦Pandas在处理数据时超过一定限制，它们的行为就会很奇怪。

  
• 08.22 09:59:03
  发表了文章 2023-08-22 09:59:03

  使用Pytorch和OpenCV实现视频人脸替换

  “DeepFaceLab”项目已经发布了很长时间了，作为研究的目的，本文将介绍他的原理，并使用Pytorch和OpenCV创建一个简化版本。
• 08.21 10:27:19
  发表了文章 2023-08-21 10:27:19

  FlashAttention算法详解

  这篇文章的目的是详细的解释Flash Attention，为什么要解释FlashAttention呢？因为FlashAttention 是一种重新排序注意力计算的算法，它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案，本文介绍经典的V1版本，最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍，所以我们来研究一下它到底是怎么实现的。

  
• 08.20 09:45:21
  发表了文章 2023-08-20 09:45:21

  知识图谱入门：使用Python创建知识图，分析并训练嵌入模型

  本文中我们将解释如何构建KG、分析它以及创建嵌入模型。

  
• 08.19 09:34:28
  发表了文章 2023-08-19 09:34:28

  Google开源了可视化编程框架Visual Blocks for ML

  Visual Blocks for ML是一个由Google开发的开源可视化编程框架。它使你能够在易于使用的无代码图形编辑器中创建ML管道。

  
• 08.18 09:27:00
  发表了文章 2023-08-18 09:27:00

  马修斯相关系数MCC简介

  在评估机器学习模型的性能时，F1score都被首选指标。在本文中，我们将介绍一个值得更多关注和认可的替代度量:马修斯相关系数(MCC)。

  
• 08.16 09:43:33
  发表了文章 2023-08-16 09:43:33

  Prompt、RAG、微调还是重新训练？如何选择正确的生成式AI的使用方法

  生成式人工智能正在快速发展，许多人正在尝试使用这项技术来解决他们的业务问题。一般情况下有4种常见的使用方法：
• 08.15 10:06:37
  发表了文章 2023-08-15 10:06:37

  使用Pandas进行数据清理的入门示例

  数据清理是数据分析过程中的关键步骤，它涉及识别缺失值、重复行、异常值和不正确的数据类型。获得干净可靠的数据对于准确的分析和建模非常重要。

  
• 08.14 09:46:51
  发表了文章 2023-08-14 09:46:51

  时间序列去趋势化和傅里叶变换

  在计算傅里叶变换之前对信号去趋势是一种常见的做法，特别是在处理时间序列时。在这篇文章中，我将从数学和视觉上展示信号去趋势是如何影响傅里叶变换的。

  
• 08.13 10:15:55
  发表了文章 2023-08-13 10:15:55

  使用LSH 进行特征提取

  局部敏感哈希(LSH)通常用于近似最近邻算法(ANN) 操作(向量搜索)。LSH的特性也可以在以矢量为输入的神经网络模型中得到利用(例如，各种的音频、视频和文本嵌入等内容信号)。

  
• 08.12 09:50:12
  发表了文章 2023-08-12 09:50:12

  基于时态差分法的强化学习：Sarsa和Q-learning

  时态差分法（Temporal Difference, TD）是一类在强化学习中广泛应用的算法，用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法，用于解决马尔可夫决策过程（Markov Decision Process, MDP）中的强化学习问题。

  
• 08.11 09:53:25
  发表了文章 2023-08-11 09:53:25

  Streamlit 入门教程：构建一个Dashboard

  Streamlit 是一个用于创建数据科学和机器学习应用程序的开源 Python 库。它的主要目标是使开发人员能够以简单的方式快速构建交互式的数据应用，而无需过多的前端开发经验。Streamlit 提供了一种简单的方法来转换数据脚本或分析代码为具有可视化界面的应用程序，这些应用程序可以通过网络浏览器访问。

  
• 08.10 09:27:53
  发表了文章 2023-08-10 09:27:53

  用于3D MRI和CT扫描的深度学习模型总结

  医学成像数据与其他我们日常图像的最大区别之一是它们很多都是3D的，比如在处理DICOM系列数据时尤其如此。DICOM图像由很多的2D切片组成了一个扫描或身体的特定部分。

  
• 08.09 09:46:05
  发表了文章 2023-08-09 09:46:05

  使用Automatic1111在本地PC上运行SDXL 1.0

  这是我们部署Stable Diffusion的第三篇文章了，前两篇文章都详细介绍了Automatic1111的stable-diffusion-webui的安装，这次主要介绍如何使用SDXL 1.0模型。

  
• 08.08 09:59:40
  发表了文章 2023-08-08 09:59:40

  使用Python中从头开始构建决策树算法

  决策树（Decision Tree）是一种常见的机器学习算法，被广泛应用于分类和回归任务中。并且再其之上的随机森林和提升树等算法一直是表格领域的最佳模型，所以本文将介绍理解其数学概念，并在Python中动手实现，这可以作为了解这类算法的基础知识。
• 08.07 09:35:26
  发表了文章 2023-08-07 09:35:26

  4个将Pandas换为交互式表格Python包

  Pandas是我们日常处理表格数据最常用的包，但是对于数据分析来说，Pandas的DataFrame还不够直观，所以今天我们将介绍4个Python包，可以将Pandas的DataFrame转换交互式表格，让我们可以直接在上面进行数据分析的操作。

  
• 08.06 10:45:54
  发表了文章 2023-08-06 10:45:54

  Pandas 的Merge函数详解

  在日常工作中，我们可能会从多个数据集中获取数据，并且希望合并两个或多个不同的数据集。这时就可以使用Pandas包中的Merge函数。在本文中，我们将介绍用于合并数据的三个函数

  
• 08.05 09:59:06
  发表了文章 2023-08-05 09:59:06

  在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

  LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。

  
• 08.04 09:57:50
  发表了文章 2023-08-04 09:57:50

  使用 CausalPy 进行因果推理

  这篇文章通过一个实际的例子简要介绍了因果推理，这个例子来自于《The Brave and True》一书，我们使用 CausalPy 来实现。