Deephub_社区达人页

2024年05月

• 01.17 10:20:12
  发表了文章 2024-01-17 10:20:12

  Tokenization 指南：字节对编码，WordPiece等方法Python代码详解

  在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。

  
• 01.16 09:46:32
  发表了文章 2024-01-16 09:46:32

  提高代码效率的6个Python内存优化技巧

  当项目变得越来越大时，有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比，似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用，这些方法可能在实际应用中并没有人注意，所以本文将重点介绍Python的内置机制，掌握它们将大大提高Python编程技能。
• 01.15 09:35:59
  发表了文章 2024-01-15 09:35:59

  RoSA: 一种新的大模型参数高效微调方法

  随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。

  
• 01.14 09:53:46
  发表了文章 2024-01-14 09:53:46

  基于协方差矩阵自适应演化策略（CMA-ES）的高效特征选择

  特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。

  
• 01.13 09:43:25
  发表了文章 2024-01-13 09:43:25

  使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B

  Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。
• 01.12 09:37:07
  发表了文章 2024-01-12 09:37:07

  在Colab上测试Mamba

  我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba
• 01.11 10:39:17
  发表了文章 2024-01-11 10:39:17

  使用CLIP和LLM构建多模态RAG系统

  在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。

  
• 01.10 09:54:19
  发表了文章 2024-01-10 09:54:19

  使用PyTorch实现混合专家(MoE)模型

  在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。
• 01.09 09:56:42
  发表了文章 2024-01-09 09:56:42

  挑战Transformer的新架构Mamba解析以及Pytorch复现

  今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”

  
• 01.08 09:39:46
  发表了文章 2024-01-08 09:39:46

  使用知识图谱提高RAG的能力，减少大模型幻觉

  在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。

  
• 01.07 10:37:46
  发表了文章 2024-01-07 10:37:46

  使用PyTorch实现去噪扩散模型

  在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。

  
• 01.06 09:40:27
  发表了文章 2024-01-06 09:40:27

  Python 中的==操作符 和 is关键字

  Python是一种功能强大的通用编程语言，提供了各种比较值和对象的方法。其中包括==操作符和is关键字，它们的用途不同，但由于它们有时可以达到相同的目的，所以经常会被混淆。在本文中，我们将深入研究==和is之间的区别，探索它们如何工作以及何时适当地使用它们。
• 01.05 09:57:04
  发表了文章 2024-01-05 09:57:04

  4种SVM主要核函数及相关参数的比较

  本文将用数据可视化的方法解释4种支持向量机核函数和参数的区别

  
• 01.04 10:02:46
  发表了文章 2024-01-04 10:02:46

  使用pytorch构建图卷积网络预测化学分子性质

  在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。

  
• 01.03 09:41:01
  发表了文章 2024-01-03 09:41:01

  如何避免LLM的“幻觉”(Hallucination)

  生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
• 01.02 10:43:52
  发表了文章 2024-01-02 10:43:52

  加速Python循环的12种方法,最高可以提速900倍

  在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。
• 01.01 09:57:43
  发表了文章 2024-01-01 09:57:43

  Jupyter Notebook的10个常用扩展介绍

  Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、方程、可视化和文本。

  
• 12.31 10:00:54
  发表了文章 2023-12-31 10:00:54

  神经网络中的分位数回归和分位数损失

  在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。

  
• 12.30 09:46:06
  发表了文章 2023-12-30 09:46:06

  使用LOTR合并检索提高RAG性能

  RAG结合了两个关键元素:检索和生成。它首先使用语义搜索等高级技术来浏览大量数据，包括文本、图像、音频和视频。RAG的本质在于它能够检索相关信息，然后作为下一阶段的基础。生成组件利用大型语言模型的能力，解释这些数据块，制作连贯的、类似人类的响应。与传统的生成模型相比，这个过程确保RAG系统可以提供更细致和准确的输出。

  
• 12.29 19:10:35
  发表了文章 2023-12-29 19:10:35

  基于CNN和双向gru的心跳分类系统

  CNN and Bidirectional GRU-Based Heartbeat Sound Classification Architecture for Elderly People是发布在2023 MDPI Mathematics上的论文，提出了基于卷积神经网络和双向门控循环单元(CNN + BiGRU)注意力的心跳声分类，论文不仅显示了模型还构建了完整的系统。

  
• 12.28 10:39:06
  发表了文章 2023-12-28 10:39:06

  人工智能生成文本检测在实践中使用有效性探讨

  人工智能辅助撰写文章的技术现在无处不在!ChatGPT已经解锁了许多基于语言的人工智能应用程序，人工智能在任何类型的内容生成中的使用都已经达到了以前前所未有的高度。

  
• 12.27 10:41:16
  发表了文章 2023-12-27 10:41:16

  一文读懂分类模型评估指标

  模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。

  
• 12.26 10:17:29
  发表了文章 2023-12-26 10:17:29

  处理不平衡数据的过采样技术对比总结

  在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。

  
• 12.24 10:20:04
  发表了文章 2023-12-24 10:20:04

  2023年小型计算机视觉总结

  在过去的十年中，出现了许多涉及计算机视觉(CV)的项目，无论是小型的概念验证项目还是更大规模的生产应用。应用计算机视觉的方法是相当标准化的:

  
• 12.23 10:27:00
  发表了文章 2023-12-23 10:27:00

  论文推荐：大型语言模型能自我解释吗?

  这篇论文的研究主要贡献是对LLM生成解释的优缺点进行了调查。详细介绍了两种方法，一种是做出预测，然后解释它，另一种是产生解释，然后用它来做出预测。

  
• 12.22 10:04:29
  发表了文章 2023-12-22 10:04:29

  神经网络可视化新工具：TorchExplorer

  TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下：

  
• 12.21 10:07:12
  发表了文章 2023-12-21 10:07:12

  MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试

  如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。

  
• 12.20 10:59:15
  发表了文章 2023-12-20 10:59:15

  高维向量压缩方法IVFPQ :通过创建索引加速矢量搜索

  向量相似性搜索是从特定嵌入空间中的给定向量列表中找到相似的向量。它能有效地从大型数据集中检索相关信息，在各个领域和应用中发挥着至关重要的作用。

  
• 12.19 10:48:50
  发表了文章 2023-12-19 10:48:50

  从头开始实现LoRA以及一些实用技巧

  LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。

  
• 12.18 09:59:40
  发表了文章 2023-12-18 09:59:40

  2023年12月 论文推荐

  12月已经过了一半了，还有2周就是2024年了，我们来推荐下这两周我发现的一些好的论文，另外再推荐2篇很好的英文文章。
• 12.17 10:05:47
  发表了文章 2023-12-17 10:05:47

  使用LM Studio在本地运行LLM完整教程

  GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。

  
• 12.16 09:59:31
  发表了文章 2023-12-16 09:59:31

  使用subplot_mosaic创建复杂的子图布局

  在本文中，我将介绍matplotlib一个非常有价值的用于管理子图的函数——subplot_mosaic()。如果你想处理多个图的，那么subplot_mosaic()将成为最佳解决方案。我们将用四个不同的图实现不同的布局。

  
• 12.15 09:20:43
  发表了文章 2023-12-15 09:20:43

  一种用于心音分类的轻量级1D-CNN+DWT网络

  这是由National Institute of Technology Rourkela, Central University of Rajasthan发布在**2022 ICETCI**的论文，利用离散小波变换(DWT)得到的多分辨率域特征对1D-CNN模型进行心音分类训练。

  
• 12.14 09:51:11
  发表了文章 2023-12-14 09:51:11

  使用GAN进行异常检测

  自从基于Stable Diffusion的生成模型大火以后，基于GAN的研究越来越少了，但是这并不能说明他就没有用了。异常检测是多个研究领域面临的重要问题，包括金融、医疗保健和网络安全。
• 12.13 09:52:33
  发表了文章 2023-12-13 09:52:33

  AutoGen多代理对话项目示例和工作流程分析

  在这篇文章中，我将介绍AutoGen的多个代理的运行。这些代理将能够相互对话，协作评估股票价格，并使用AmCharts生成图表。
• 12.12 09:31:51
  发表了文章 2023-12-12 09:31:51

  CLIP的升级版Alpha-CLIP：区域感知创新与精细控制

  为了增强CLIP在图像理解和编辑方面的能力，上海交通大学、复旦大学、香港中文大学、上海人工智能实验室、澳门大学以及MThreads Inc.等知名机构共同合作推出了Alpha-CLIP。这一创新性的突破旨在克服CLIP的局限性，通过赋予其识别特定区域（由点、笔画或掩码定义）的能力。Alpha-CLIP不仅保留了CLIP的视觉识别能力，而且实现了对图像内容强调的精确控制，使其在各种下游任务中表现出色。

  
• 12.11 09:45:08
  发表了文章 2023-12-11 09:45:08

  使用PyTorch II的新特性加快LLM推理速度

  Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括:

  
• 12.10 10:35:25
  发表了文章 2023-12-10 10:35:25

  System 2 Attention：可以提高不同LLM问题的推理能力

  推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人们已经做出了各种努力来解决这些缺点，包括增加监督训练数据或应用强化学习方法。

  
• 12.09 11:18:04
  发表了文章 2023-12-09 11:18:04

  Matplotlib中的titles（标题）、labels（标签）和legends（图例）

  本文讨论Python的Matplotlib绘图库中可用的不同标记选项。
• 12.08 09:52:52
  发表了文章 2023-12-08 09:52:52

  RAG应用程序的12种调优策略：使用“超参数”和策略优化来提高检索性能

  本文从数据科学家的角度来研究检索增强生成(retrieve - augmented Generation, RAG)管道。讨论潜在的“超参数”，这些参数都可以通过实验来提高RAG管道的性能。与本文还将介绍可以应用的不同策略，这些策略虽然不是超参数，但对性能也会产生很大的影响。

  
• 12.07 11:35:41
  发表了文章 2023-12-07 11:35:41

  2023年5个自动化EDA库推荐

  EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间

  
• 12.06 10:00:14
  发表了文章 2023-12-06 10:00:14

  使用Python代码识别股票价格图表模式

  在股票市场交易的动态环境中，技术和金融的融合催生了分析市场趋势和预测未来价格走势的先进方法。本文将使用Python进行股票模式识别。

  
• 12.05 09:40:56
  发表了文章 2023-12-05 09:40:56

  使用Huggingface创建大语言模型RLHF训练流程的完整教程

  ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。

  
• 12.04 10:03:25
  发表了文章 2023-12-04 10:03:25

  11月推荐阅读的12篇大语言模型相关论文

  现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文

  
• 12.03 10:13:13
  发表了文章 2023-12-03 10:13:13

  4个解决特定的任务的Pandas高效代码

  在本文中，我将分享4个在一行代码中完成的Pandas操作。这些操作可以有效地解决特定的任务，并以一种好的方式给出结果。

  
• 12.02 11:02:54
  发表了文章 2023-12-02 11:02:54

  高斯混合模型:GMM和期望最大化算法的理论和代码实现

  高斯混合模型(gmm)是将数据表示为高斯(正态)分布的混合的统计模型。这些模型可用于识别数据集中的组，并捕获数据分布的复杂、多模态结构。

  

2023年12月

• 12.01 11:29:42
  发表了文章 2023-12-01 11:29:42

  简化版Transformer ：Simplifying Transformer Block论文详解

  在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。

  
• 11.30 09:55:32
  发表了文章 2023-11-30 09:55:32

  Pandas中选择和过滤数据的终极指南

  本文将介绍使用pandas进行数据选择和过滤的基本技术和函数。无论是需要提取特定的行或列，还是需要应用条件过滤，pandas都可以满足需求。

  
• 11.29 10:07:23
  发表了文章 2023-11-29 10:07:23

  使用Accelerate库在多GPU上进行LLM推理

  大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。

  
• 11.28 09:59:51
  发表了文章 2023-11-28 09:59:51

  三种常用的风险价值(VaR)计算方法总结

  风险价值(VaR)是金融领域广泛使用的风险度量，它量化了在特定时间范围内和给定置信度水平下投资或投资组合的潜在损失。它提供了一个单一的数字，代表投资者在正常市场条件下可能经历的最大损失。VaR是风险管理、投资组合优化和法规遵从的重要工具。