勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2023-09-30
LongLoRA:不需要大量计算资源的情况下增强了预训练语言模型的上下文能力
麻省理工学院和香港中文大学推出了LongLoRA，这是一种革命性的微调方法，可以在不需要大量计算资源的情况下提高大量预训练语言模型的上下文能力。
-
发表了文章 2023-09-29
处理不平衡数据的十大Python库
数据不平衡是机器学习中一个常见的挑战，其中一个类的数量明显超过其他类，这可能导致有偏见的模型和较差的泛化。有各种Python库来帮助有效地处理不平衡数据。在本文中，我们将介绍用于处理机器学习中不平衡数据的十大Python库，并为每个库提供代码片段和解释。
-
发表了文章 2023-09-28
使用高斯混合模型拆分多模态分布
本文介绍如何使用高斯混合模型将一维多模态分布拆分为多个分布。
-
发表了文章 2023-09-27
9月人工智能论文和项目推荐
因为LLM的火爆，所以最近的论文都是和LLM相关的
-
发表了文章 2023-09-26
EfficientFormer:高效低延迟的Vision Transformers
我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。
-
发表了文章 2023-09-25
基于对数谱图的深度学习心音分类
这是一篇很有意思的论文，他基于心音信号的对数谱图，提出了两种心率音分类模型，我们都知道：频谱图在语音识别上是广泛应用的，这篇论文将心音信号作为语音信号处理，并且得到了很好的效果。
-
发表了文章 2023-09-24
快速找到离群值的三种方法
本文将介绍3个在数据集中查找离群值的Python方法
-
发表了文章 2023-09-21
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。
-
发表了文章 2023-09-20
ChatGPT可以取代搜索引擎吗？
ChatGPT对于一些简单的问题，可以完美的完成任务。但是我让它写一篇完整的文章，看看它能否代替我进行写作地的时候，我确定它不能完全取代人类。
-
发表了文章 2023-09-19
时间序列的重采样和pandas的resample方法介绍
重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率，它可以更改数据的时间间隔，通过上采样增加粒度，或通过下采样减少粒度。在本文中，我们将深入研究Pandas中重新采样的关键问题。
-
发表了文章 2023-09-18
Stability AI发布基于稳定扩散的音频生成模型Stable Audio
近日Stability AI推出了一款名为Stable Audio的尖端生成模型，该模型可以根据用户提供的文本提示来创建音乐。
-
发表了文章 2023-09-16
Python中进行特征重要性分析的9个常用方法
特征重要性分析用于了解每个特征(变量或输入)对于做出预测的有用性或价值。目标是确定对模型输出影响最大的最重要的特征，它是机器学习中经常使用的一种方法。
-
发表了文章 2023-09-15
Recognize Anything:一个强大的图像标记模型
Recognize Anything是一种新的图像标记基础模型，与传统模型不同，它不依赖于手动注释进行训练
-
发表了文章 2023-09-14
向量数据库简介和5个常用的开源项目介绍
在人工智能领域，有大量的数据需要有效的处理。随着我们对人工智能应用，如图像识别、语音搜索或推荐引擎的深入研究，数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同，向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维度的数据，可以被认为是指向空间中特定方向和大小的箭头。
-
发表了文章 2023-09-13
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比较大的模型，经过我的测试，7B的模型可以在3080（8G）上跑起来，这对于我们进行简单的研究是非常有帮助的，但是如果需要更深入的研究，还是需要专业的硬件。
-
发表了文章 2023-09-12
Falcon 180B 目前最强大的开源模型
Technology Innovation Institute最近发布了Falcon 180B大型语言模型(LLM)，它击败了Llama-2 70b，与谷歌Bard的基础模型PaLM-2 Large不相上下。
-
发表了文章 2023-09-10
Langchain的一些问题和替代选择
Langchain因其简化大型语言模型(llm)的交互方面的到关注。凭借其高级的API可以简化将llm集成到各种应用程序中的过程。
-
发表了文章 2023-09-08
Nougat：一种用于科学文档OCR的Transformer 模型
随着人工智能领域的不断进步，其子领域，包括自然语言处理，自然语言生成，计算机视觉等，由于其广泛的用例而迅速获得了大量的普及。光学字符识别(OCR)是计算机视觉中一个成熟且被广泛研究的领域。它有许多用途，如文档数字化、手写识别和场景文本识别。数学表达式的识别是OCR在学术研究中受到广泛关注的一个领域。
-
发表了文章 2023-09-07
CMT:卷积与Transformers的高效结合
论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。
-
发表了文章 2023-09-06
使用GPT-4生成训练数据微调GPT-3.5 RAG管道
OpenAI在2023年8月22日宣布，现在可以对GPT-3.5 Turbo进行微调了。也就是说，我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本，集成了微调OpenAI gpt-3.5 turbo的功能
-
发表了文章 2023-09-05
Pandas DataFrame 数据存储格式比较
Pandas 支持多种存储格式，在本文中将对不同类型存储格式下的Pandas Dataframe的读取速度、写入速度和大小的进行测试对比。
-
发表了文章 2023-09-04
量化自定义PyTorch模型入门教程
在以前Pytorch只有一种量化的方法，叫做“eager mode qunatization”，在量化我们自定定义模型时经常会产生奇怪的错误，并且很难解决。但是最近，PyTorch发布了一种称为“fx-graph-mode-qunatization”的方方法。在本文中我们将研究这个fx-graph-mode-qunatization”看看它能不能让我们的量化操作更容易，更稳定。
-
发表了文章 2023-09-03
15个基本且常用Pandas代码片段
Pandas提供了强大的数据操作和分析功能，是数据科学的日常基本工具。在本文中，我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务，从数据集中提取有价值的见解。
-
发表了文章 2023-09-02
20用于深度学习训练和研究的数据集
无论是图像识别，自然语言处理，医疗保健还是任何其他人工智能领域感兴趣，这些数据集都是非常重要的，所以本文将整理常用且有效的20个数据集。
-
发表了文章 2023-09-01
Pandas 2.1发布了
2023年3月1日，Pandas 发布了2.0版本。6个月后（8月30日），更新了新的2.1版。让我们看看他有什么重要的更新。
-
发表了文章 2023-08-31
是否在业务中使用大语言模型？
ChatGPT取得了巨大的成功，在短短一个月内就获得了1亿用户，并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。
-
发表了文章 2023-08-29
Fooocus：一个简单且功能强大的Stable Diffusion webUI
Stable Diffusion是一个强大的图像生成AI模型，但它通常需要大量调整和提示工程。Fooocus的目标是改变这种状况。
-
发表了文章 2023-08-28
Dynamic ReLU：根据输入动态确定的ReLU
这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。
-
发表了文章 2023-08-26
理解图傅里叶变换和图卷积
图神经网络（GNN）代表了一类强大的深度神经网络架构。在一个日益互联的世界里，因为信息的联通性，大部分的信息可以被建模为图。例如，化合物中的原子是节点，它们之间的键是边。
-
发表了文章 2023-08-25
微调llama2模型教程：创建自己的Python代码生成器
本文将演示如何使用PEFT、QLoRa和Huggingface对新的lama-2进行微调，生成自己的代码生成器。所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。
-
发表了文章 2023-08-24
StableVideo：使用Stable Diffusion生成连续无闪烁的视频
使用Stable Diffusion生成视频一直是人们的研究目标，但是我们遇到的最大问题是视频帧和帧之间的闪烁，但是最新的论文则着力解决这个问题。
-
发表了文章 2023-08-23
Pandas字符串操作的各种方法速度测试
由于LLM的发展， 很多的数据集都是以DF的形式发布的，所以通过Pandas操作字符串的要求变得越来越高了，所以本文将对字符串操作方法进行基准测试，看看它们是如何影响pandas的性能的。因为一旦Pandas在处理数据时超过一定限制，它们的行为就会很奇怪。
-
发表了文章 2023-08-22
使用Pytorch和OpenCV实现视频人脸替换
“DeepFaceLab”项目已经发布了很长时间了，作为研究的目的，本文将介绍他的原理，并使用Pytorch和OpenCV创建一个简化版本。
-
发表了文章 2023-08-21
FlashAttention算法详解
这篇文章的目的是详细的解释Flash Attention，为什么要解释FlashAttention呢？因为FlashAttention 是一种重新排序注意力计算的算法，它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案，本文介绍经典的V1版本，最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍，所以我们来研究一下它到底是怎么实现的。
-
发表了文章 2023-08-20
知识图谱入门：使用Python创建知识图，分析并训练嵌入模型
本文中我们将解释如何构建KG、分析它以及创建嵌入模型。
-
发表了文章 2023-08-19
Google开源了可视化编程框架Visual Blocks for ML
Visual Blocks for ML是一个由Google开发的开源可视化编程框架。它使你能够在易于使用的无代码图形编辑器中创建ML管道。
-
发表了文章 2023-08-18
马修斯相关系数MCC简介
在评估机器学习模型的性能时，F1score都被首选指标。在本文中，我们将介绍一个值得更多关注和认可的替代度量:马修斯相关系数(MCC)。
-
发表了文章 2023-08-16
Prompt、RAG、微调还是重新训练？如何选择正确的生成式AI的使用方法
生成式人工智能正在快速发展，许多人正在尝试使用这项技术来解决他们的业务问题。一般情况下有4种常见的使用方法：
-
发表了文章 2023-08-15
使用Pandas进行数据清理的入门示例
数据清理是数据分析过程中的关键步骤，它涉及识别缺失值、重复行、异常值和不正确的数据类型。获得干净可靠的数据对于准确的分析和建模非常重要。
-
发表了文章 2023-08-14
时间序列去趋势化和傅里叶变换
在计算傅里叶变换之前对信号去趋势是一种常见的做法，特别是在处理时间序列时。在这篇文章中，我将从数学和视觉上展示信号去趋势是如何影响傅里叶变换的。
-
发表了文章 2023-08-13
使用LSH 进行特征提取
局部敏感哈希(LSH)通常用于近似最近邻算法(ANN) 操作(向量搜索)。LSH的特性也可以在以矢量为输入的神经网络模型中得到利用(例如，各种的音频、视频和文本嵌入等内容信号)。
-
发表了文章 2023-08-12
基于时态差分法的强化学习：Sarsa和Q-learning
时态差分法（Temporal Difference, TD）是一类在强化学习中广泛应用的算法，用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法，用于解决马尔可夫决策过程（Markov Decision Process, MDP）中的强化学习问题。
-
发表了文章 2023-08-11
Streamlit 入门教程：构建一个Dashboard
Streamlit 是一个用于创建数据科学和机器学习应用程序的开源 Python 库。它的主要目标是使开发人员能够以简单的方式快速构建交互式的数据应用，而无需过多的前端开发经验。Streamlit 提供了一种简单的方法来转换数据脚本或分析代码为具有可视化界面的应用程序，这些应用程序可以通过网络浏览器访问。
-
发表了文章 2023-08-10
用于3D MRI和CT扫描的深度学习模型总结
医学成像数据与其他我们日常图像的最大区别之一是它们很多都是3D的，比如在处理DICOM系列数据时尤其如此。DICOM图像由很多的2D切片组成了一个扫描或身体的特定部分。
-
发表了文章 2023-08-09
使用Automatic1111在本地PC上运行SDXL 1.0
这是我们部署Stable Diffusion的第三篇文章了，前两篇文章都详细介绍了Automatic1111的stable-diffusion-webui的安装，这次主要介绍如何使用SDXL 1.0模型。
-
发表了文章 2023-08-08
使用Python中从头开始构建决策树算法
决策树（Decision Tree）是一种常见的机器学习算法，被广泛应用于分类和回归任务中。并且再其之上的随机森林和提升树等算法一直是表格领域的最佳模型，所以本文将介绍理解其数学概念，并在Python中动手实现，这可以作为了解这类算法的基础知识。
-
发表了文章 2023-08-06
Pandas 的Merge函数详解
在日常工作中，我们可能会从多个数据集中获取数据，并且希望合并两个或多个不同的数据集。这时就可以使用Pandas包中的Merge函数。在本文中，我们将介绍用于合并数据的三个函数
-
发表了文章 2023-08-05
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。
-
发表了文章 2023-08-04
使用 CausalPy 进行因果推理
这篇文章通过一个实际的例子简要介绍了因果推理，这个例子来自于《The Brave and True》一书，我们使用 CausalPy 来实现。
-
发表了文章 2023-08-03
TabR:检索增强能否让深度学习在表格数据上超过梯度增强模型？
这是一篇7月新发布的论文，他提出了使用自然语言处理的检索增强*Retrieval Augmented*技术，目的是让深度学习在表格数据上超过梯度增强模型。
-
发表了文章
2024-11-28
基于改进自适应分段线性近似（IAPLA）的微分方程数值解法研究： 从简单动力系统到混沌系统的应用分析
-
发表了文章
2024-11-27
一份写给数据工程师的 Polars 迁移指南：将 Pandas 速度提升 20 倍代码重构实践
-
发表了文章
2024-11-26
Scikit-learn Pipeline完全指南:高效构建机器学习工作流
-
发表了文章
2024-11-24
IoU已经out了，试试这几个变体:GIoU、DIoU和CIoU介绍与对比分析
-
发表了文章
2024-11-23
图神经网络在欺诈检测与蛋白质功能预测中的应用概述
-
发表了文章
2024-11-22
优化注意力层提升 Transformer 模型效率：通过改进注意力机制降低机器学习成本
-
发表了文章
2024-11-21
LLM2CLIP：使用大语言模型提升CLIP的文本处理，提高长文本理解和跨语言能力
-
发表了文章
2024-11-20
解读双编码器和交叉编码器：信息检索中的向量表示与语义匹配
-
发表了文章
2024-11-19
使用Pytorch构建视觉语言模型（VLM）
-
发表了文章
2024-11-18
使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程
-
发表了文章
2024-11-17
25 个值得关注的检索增强生成 (RAG) 模型和框架
-
发表了文章
2024-11-16
利用PyTorch的三元组损失Hard Triplet Loss进行嵌入模型微调
-
发表了文章
2024-11-15
告别Print，使用IceCream进行高效的Python调试
-
发表了文章
2024-11-14
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
-
发表了文章
2024-11-13
SMoA: 基于稀疏混合架构的大语言模型协同优化框架
-
发表了文章
2024-11-12
TSMamba：基于Mamba架构的高效时间序列预测基础模型
-
发表了文章
2024-11-11
基于MCMC的贝叶斯营销组合模型评估方法论： 系统化诊断、校准及选择的理论框架
-
发表了文章
2024-11-10
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
-
发表了文章
2024-11-09
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
-
发表了文章
2024-11-08
贝叶斯统计中常见先验分布选择方法总结
