Deephub_社区达人页

2024年05月

• 01.26 09:46:11
  发表了文章 2024-01-26 09:46:11

  使用mergekit 合并大型语言模型

  模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量，还可以获得额外的好处。

  
• 01.25 10:44:01
  发表了文章 2024-01-25 10:44:01

  Mistral AI vs. Meta:顶级开源LLM比较

  为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。

  
• 01.24 10:26:31
  发表了文章 2024-01-24 10:26:31

  通过4个任务比较LangChain和LlamaIndex

  我们在本地使用大模型的时候，尤其是构建RAG应用的时候，一般会有2个成熟的框架可以使用

  
• 01.23 09:39:54
  发表了文章 2024-01-23 09:39:54

  Vision Mamba:将Mamba应用于计算机视觉任务的新模型

  Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。就像VIT一样现在已经有人将他应用到了计算机视觉领域，让我们来看看最近的这篇论文“Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Models,”
• 01.22 09:25:26
  发表了文章 2024-01-22 09:25:26

  针对特定领域较小的语言模型是否与较大的模型同样有效?

  经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis》中，作者全面分析了微调大语言模型(llm)及其在金融情绪分析中的零样本和少样本的能力。

  
• 01.21 09:49:34
  发表了文章 2024-01-21 09:49:34

  2024年1月论文推荐

  2024年1月论文推荐
• 01.20 09:41:46
  发表了文章 2024-01-20 09:41:46

  RAG中的3个高级检索技巧

  RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。当文档可能缺乏查询的完整答案或者包含冗余信息或包含不相关的细节，或者文档的顺序可能与用户的意图不一致时，就会经常出现这种情况。

  
• 01.19 09:56:21
  发表了文章 2024-01-19 09:56:21

  4种通过LLM进行文本知识图谱的构建方法对比介绍

  我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。

  
• 01.18 10:04:17
  发表了文章 2024-01-18 10:04:17

  使用SPIN技术对LLM进行自我博弈微调训练

  2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大量需求。这一挑战使得微调成为一个充满活力的研究领域，研究人员积极致力于开发能够有效利用人类数据的方法。

  
• 01.17 10:20:12
  发表了文章 2024-01-17 10:20:12

  Tokenization 指南：字节对编码，WordPiece等方法Python代码详解

  在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。

  
• 01.16 09:46:32
  发表了文章 2024-01-16 09:46:32

  提高代码效率的6个Python内存优化技巧

  当项目变得越来越大时，有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比，似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用，这些方法可能在实际应用中并没有人注意，所以本文将重点介绍Python的内置机制，掌握它们将大大提高Python编程技能。
• 01.15 09:35:59
  发表了文章 2024-01-15 09:35:59

  RoSA: 一种新的大模型参数高效微调方法

  随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。

  
• 01.14 09:53:46
  发表了文章 2024-01-14 09:53:46

  基于协方差矩阵自适应演化策略（CMA-ES）的高效特征选择

  特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。

  
• 01.13 09:43:25
  发表了文章 2024-01-13 09:43:25

  使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B

  Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。
• 01.12 09:37:07
  发表了文章 2024-01-12 09:37:07

  在Colab上测试Mamba

  我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba
• 01.11 10:39:17
  发表了文章 2024-01-11 10:39:17

  使用CLIP和LLM构建多模态RAG系统

  在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。

  
• 01.10 09:54:19
  发表了文章 2024-01-10 09:54:19

  使用PyTorch实现混合专家(MoE)模型

  在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。
• 01.09 09:56:42
  发表了文章 2024-01-09 09:56:42

  挑战Transformer的新架构Mamba解析以及Pytorch复现

  今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”

  
• 01.08 09:39:46
  发表了文章 2024-01-08 09:39:46

  使用知识图谱提高RAG的能力，减少大模型幻觉

  在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。

  
• 01.07 10:37:46
  发表了文章 2024-01-07 10:37:46

  使用PyTorch实现去噪扩散模型

  在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。

  
• 01.06 09:40:27
  发表了文章 2024-01-06 09:40:27

  Python 中的==操作符 和 is关键字

  Python是一种功能强大的通用编程语言，提供了各种比较值和对象的方法。其中包括==操作符和is关键字，它们的用途不同，但由于它们有时可以达到相同的目的，所以经常会被混淆。在本文中，我们将深入研究==和is之间的区别，探索它们如何工作以及何时适当地使用它们。
• 01.05 09:57:04
  发表了文章 2024-01-05 09:57:04

  4种SVM主要核函数及相关参数的比较

  本文将用数据可视化的方法解释4种支持向量机核函数和参数的区别

  
• 01.04 10:02:46
  发表了文章 2024-01-04 10:02:46

  使用pytorch构建图卷积网络预测化学分子性质

  在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。

  
• 01.03 09:41:01
  发表了文章 2024-01-03 09:41:01

  如何避免LLM的“幻觉”(Hallucination)

  生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
• 01.02 10:43:52
  发表了文章 2024-01-02 10:43:52

  加速Python循环的12种方法,最高可以提速900倍

  在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。
• 01.01 09:57:43
  发表了文章 2024-01-01 09:57:43

  Jupyter Notebook的10个常用扩展介绍

  Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、方程、可视化和文本。

  
• 12.31 10:00:54
  发表了文章 2023-12-31 10:00:54

  神经网络中的分位数回归和分位数损失

  在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。

  
• 12.30 09:46:06
  发表了文章 2023-12-30 09:46:06

  使用LOTR合并检索提高RAG性能

  RAG结合了两个关键元素:检索和生成。它首先使用语义搜索等高级技术来浏览大量数据，包括文本、图像、音频和视频。RAG的本质在于它能够检索相关信息，然后作为下一阶段的基础。生成组件利用大型语言模型的能力，解释这些数据块，制作连贯的、类似人类的响应。与传统的生成模型相比，这个过程确保RAG系统可以提供更细致和准确的输出。

  
• 12.29 19:10:35
  发表了文章 2023-12-29 19:10:35

  基于CNN和双向gru的心跳分类系统

  CNN and Bidirectional GRU-Based Heartbeat Sound Classification Architecture for Elderly People是发布在2023 MDPI Mathematics上的论文，提出了基于卷积神经网络和双向门控循环单元(CNN + BiGRU)注意力的心跳声分类，论文不仅显示了模型还构建了完整的系统。

  
• 12.28 10:39:06
  发表了文章 2023-12-28 10:39:06

  人工智能生成文本检测在实践中使用有效性探讨

  人工智能辅助撰写文章的技术现在无处不在!ChatGPT已经解锁了许多基于语言的人工智能应用程序，人工智能在任何类型的内容生成中的使用都已经达到了以前前所未有的高度。

  
• 12.27 10:41:16
  发表了文章 2023-12-27 10:41:16

  一文读懂分类模型评估指标

  模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。

  
• 12.26 10:17:29
  发表了文章 2023-12-26 10:17:29

  处理不平衡数据的过采样技术对比总结

  在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。

  
• 12.24 10:20:04
  发表了文章 2023-12-24 10:20:04

  2023年小型计算机视觉总结

  在过去的十年中，出现了许多涉及计算机视觉(CV)的项目，无论是小型的概念验证项目还是更大规模的生产应用。应用计算机视觉的方法是相当标准化的:

  
• 12.23 10:27:00
  发表了文章 2023-12-23 10:27:00

  论文推荐：大型语言模型能自我解释吗?

  这篇论文的研究主要贡献是对LLM生成解释的优缺点进行了调查。详细介绍了两种方法，一种是做出预测，然后解释它，另一种是产生解释，然后用它来做出预测。

  
• 12.22 10:04:29
  发表了文章 2023-12-22 10:04:29

  神经网络可视化新工具：TorchExplorer

  TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下：

  
• 12.21 10:07:12
  发表了文章 2023-12-21 10:07:12

  MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试

  如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。

  
• 12.20 10:59:15
  发表了文章 2023-12-20 10:59:15

  高维向量压缩方法IVFPQ :通过创建索引加速矢量搜索

  向量相似性搜索是从特定嵌入空间中的给定向量列表中找到相似的向量。它能有效地从大型数据集中检索相关信息，在各个领域和应用中发挥着至关重要的作用。

  
• 12.19 10:48:50
  发表了文章 2023-12-19 10:48:50

  从头开始实现LoRA以及一些实用技巧

  LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。

  
• 12.18 09:59:40
  发表了文章 2023-12-18 09:59:40

  2023年12月 论文推荐

  12月已经过了一半了，还有2周就是2024年了，我们来推荐下这两周我发现的一些好的论文，另外再推荐2篇很好的英文文章。
• 12.17 10:05:47
  发表了文章 2023-12-17 10:05:47

  使用LM Studio在本地运行LLM完整教程

  GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。

  
• 12.16 09:59:31
  发表了文章 2023-12-16 09:59:31

  使用subplot_mosaic创建复杂的子图布局

  在本文中，我将介绍matplotlib一个非常有价值的用于管理子图的函数——subplot_mosaic()。如果你想处理多个图的，那么subplot_mosaic()将成为最佳解决方案。我们将用四个不同的图实现不同的布局。

  
• 12.15 09:20:43
  发表了文章 2023-12-15 09:20:43

  一种用于心音分类的轻量级1D-CNN+DWT网络

  这是由National Institute of Technology Rourkela, Central University of Rajasthan发布在**2022 ICETCI**的论文，利用离散小波变换(DWT)得到的多分辨率域特征对1D-CNN模型进行心音分类训练。

  
• 12.14 09:51:11
  发表了文章 2023-12-14 09:51:11

  使用GAN进行异常检测

  自从基于Stable Diffusion的生成模型大火以后，基于GAN的研究越来越少了，但是这并不能说明他就没有用了。异常检测是多个研究领域面临的重要问题，包括金融、医疗保健和网络安全。
• 12.13 09:52:33
  发表了文章 2023-12-13 09:52:33

  AutoGen多代理对话项目示例和工作流程分析

  在这篇文章中，我将介绍AutoGen的多个代理的运行。这些代理将能够相互对话，协作评估股票价格，并使用AmCharts生成图表。
• 12.12 09:31:51
  发表了文章 2023-12-12 09:31:51

  CLIP的升级版Alpha-CLIP：区域感知创新与精细控制

  为了增强CLIP在图像理解和编辑方面的能力，上海交通大学、复旦大学、香港中文大学、上海人工智能实验室、澳门大学以及MThreads Inc.等知名机构共同合作推出了Alpha-CLIP。这一创新性的突破旨在克服CLIP的局限性，通过赋予其识别特定区域（由点、笔画或掩码定义）的能力。Alpha-CLIP不仅保留了CLIP的视觉识别能力，而且实现了对图像内容强调的精确控制，使其在各种下游任务中表现出色。

  
• 12.11 09:45:08
  发表了文章 2023-12-11 09:45:08

  使用PyTorch II的新特性加快LLM推理速度

  Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括:

  
• 12.10 10:35:25
  发表了文章 2023-12-10 10:35:25

  System 2 Attention：可以提高不同LLM问题的推理能力

  推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人们已经做出了各种努力来解决这些缺点，包括增加监督训练数据或应用强化学习方法。

  
• 12.09 11:18:04
  发表了文章 2023-12-09 11:18:04

  Matplotlib中的titles（标题）、labels（标签）和legends（图例）

  本文讨论Python的Matplotlib绘图库中可用的不同标记选项。
• 12.08 09:52:52
  发表了文章 2023-12-08 09:52:52

  RAG应用程序的12种调优策略：使用“超参数”和策略优化来提高检索性能

  本文从数据科学家的角度来研究检索增强生成(retrieve - augmented Generation, RAG)管道。讨论潜在的“超参数”，这些参数都可以通过实验来提高RAG管道的性能。与本文还将介绍可以应用的不同策略，这些策略虽然不是超参数，但对性能也会产生很大的影响。

  
• 12.07 11:35:41
  发表了文章 2023-12-07 11:35:41

  2023年5个自动化EDA库推荐

  EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间