勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-09-01
压缩大型语言模型(LLMs):缩小10倍、性能保持不变
尽管大规模语言模型（LLMs）在多种应用场景中表现出色，但其庞大的规模也带来了实际部署难题。本文探讨了通过模型压缩技术解决这些问题的方法，介绍了量化、剪枝和知识蒸馏三种主要压缩技术，并通过具体Python代码示例展示了如何将一个100M参数的文本分类模型压缩至52.8M参数，再通过4位量化进一步减小至原来的1/7，同时保持甚至提升性能。示例代码展示了从数据预处理、模型训练到评估的完整流程，证明了压缩技术的有效性。
-
发表了文章 2024-08-31
6种有效的时间序列数据特征工程技术（使用Python）
在本文中，我们将探讨使用日期时间列提取有用信息的各种特征工程技术。
-
发表了文章 2024-08-30
PyTorch数据处理：torch.utils.data模块的7个核心函数详解
在机器学习和深度学习项目中,数据处理是至关重要的一环。PyTorch作为一个强大的深度学习框架,提供了多种灵活且高效的数据处理工具
-
发表了文章 2024-08-28
使用 Python TorchRL 进行多代理强化学习
本文详细介绍了如何使用TorchRL库解决多代理强化学习（MARL）问题，重点讨论了在多代理环境中应用近端策略优化（PPO）。通过使用VMAS模拟器，该文展示了如何在GPU上并行训练多机器人系统，使其在避免碰撞的同时到达目标。文章涵盖了依赖项安装、PPO原理、策略与评论家网络设计、数据收集及训练循环，并强调了TorchRL在简化开发流程、提升计算效率方面的优势。无论是集中式还是分布式评论家配置，TorchRL均能有效支持复杂的MARL研究与实践。
-
发表了文章 2024-08-27
深入理解GPU内存分配：机器学习工程师的实用指南与实验
给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量?
-
发表了文章 2024-08-26
时间序列特征提取：从理论到Python代码实践
时间序列是一种特殊的存在。这意味着你对表格数据或图像进行的许多转换/操作/处理技术对于时间序列来说可能根本不起作用。
-
发表了文章 2024-08-25
高效的时间序列可视化：减少认知负荷获得更清晰的洞察
本文探讨了时间序列数据可视化中的挑战，特别是在处理多个数据集时。通过减少认知负荷，即处理信息所需的脑力，良好的可视化设计能帮助观察者更快理解数据趋势。文章以疫苗接种数据为例，展示了不同类型的图表（如无连线散点图、带连线散点图、纯折线图以及带有填充区域的折线图）在展示单一时间序列时的效果，并对比了多种多时间序列可视化方法，包括无连线散点图、带连线的折线图以及直接标注的图表，以突出最佳实践。通过这些例子，文章强调了减少认知负荷的重要性，它能帮助观察者快速理解趋势、避免误解并维持较高的参与度。最终目的是通过清晰且直观的设计来提升数据理解效率，支持更优的决策制定。
-
发表了文章 2024-08-24
XGBoost中正则化的9个超参数
本文探讨了XGBoost中多种正则化方法及其重要性，旨在通过防止过拟合来提升模型性能。文章首先强调了XGBoost作为一种高效算法在机器学习任务中的应用价值，并指出正则化对于缓解过拟合问题的关键作用，具体包括降低模型复杂度、改善泛化能力和防止模型过度适应训练数据。随后，文章详细介绍了四种正则化方法：减少估计器数量（如使用`early_stopping_rounds`）、使用更简单的树（如调整`gamma`和`max_depth`）、采样（如设置`subsample`和`colsample`）以及收缩（如调节`learning_rate`, `lambda`和`alpha`）。
-
发表了文章 2024-08-23
基于重要性加权的LLM自我改进：考虑分布偏移的新框架
本文提出一种新的大型语言模型（LLM）自我改进框架——基于重要性加权的自我改进（IWSI），旨在优化自动生成数据的质量。通过引入DS权重指标衡量数据的分布偏移程度（DSE），该方法不仅能确保答案正确性，还能过滤掉那些虽正确但分布上偏离较大的样本，以提升自我训练的效果。IWSI使用一个小的有效数据集来估算每个自生成样本的DS权重，并据此进行筛选。实验结果显示，相比于仅依赖答案正确性的传统方法，IWSI能更有效地提高LLM在多种任务上的表现。特别是在数学问题解答任务上，相较于基线方法，IWSI带来了显著的性能提升，证实了过滤高DSE样本的重要性及该方法的有效性。
-
发表了文章 2024-08-22
基于距离度量学习的异常检测：一种通过相关距离度量的异常检测方法
异常是数据集中显著偏离多数观察值的记录。例如，在由多个紧密簇构成的数据集中，远离这些簇的孤立点常被视为异常。检测这类异常的传统方法依赖于距离度量，如欧几里得距离或Gower距离，但这些方法可能无法妥善处理特征间的复杂关系或权重问题。为此，本文介绍了一种基于距离度量学习的方法，特别是利用随机森林来评估记录间的相似性。此方法通过构建能够区分真实数据与合成数据的随机森林模型，进而依据记录在树结构中的路径一致性来衡量其相似度。异常记录往往会在多数树中到达较少记录所在的叶节点。
-
发表了文章 2024-08-21
泊松自助法（Poisson Bootstrap Sampling）：大型数据集上的自助抽样
自助抽样通过重采样评估统计量的稳定性和不确定性，无需强假设数据分布，能反映数据变异性并适用于小样本或复杂模型。泊松自助抽样作为一种改进，利用泊松分布生成重采样，尤其适合大数据和流数据场景，减少了数据遍历次数，可在分布式系统中高效并行处理。相较于经典自助抽样，泊松自助抽样能够保留数据多样性，更适合不平衡数据集，并在某些情况下提供更精确的统计估计。
-
发表了文章 2024-08-20
深入理解双变量（二元）正态投影：理论基础、直观解释与应用实例
本文探讨了统计学与机器学习中的二元投影技术，它基于二元正态分布，用于预测一个变量在给定另一变量值时的期望值。文章分为三部分：首先介绍了二元正态投影的基本公式及其在回归中的应用；接着通过直观解释和模拟展示了不同相关性下变量间的关系；最后运用投影公式推导出线性回归的参数估计，并通过实例说明其在预测房屋价格等场景中的应用。附录中详细推导了二元线性投影的过程。二元投影作为一种强大工具，在数据分析中帮助简化复杂问题并揭示数据背后的规律。
-
发表了文章 2024-08-19
三元组损失Triplet loss 详解
在这篇文章中,我们将以简单的技术术语解析三元组损失及其变体批量三元组损失,并提供一个相关的例子来帮助你理解这些概念。
-
发表了文章 2024-08-17
将VAE用于时间序列：生成时间序列的合成数据
变分自编码器(VAEs)是一种生成式人工智能,因其能够创建逼真的图像而备受关注,它们不仅可以应用在图像上，也可以创建时间序列数据。标准VAE可以被改编以捕捉时间序列数据的周期性和顺序模式,然后用于生成合成数据。本文将使用**一维卷积层**、**策略性的步幅选择**、**灵活的时间维度**和**季节性依赖的先验**来模拟温度数据。
-
发表了文章 2024-08-16
LongWriter: 基于LLM代理可以将输出窗口大小扩展到10,000+个单词
本文介绍了一种名为AgentWrite的方法，旨在克服大型语言模型（LLM）生成长文本时的局限。通过将任务分解为子任务，AgentWrite使LLM能生成超过20,000词的连贯文本。研究揭示了监督微调数据中的输出长度限制是导致LLM生成长度受限的主要原因。通过构建LongWriter-6k数据集并对模型进行再训练，成功扩展了输出长度至10,000词以上，且未牺牲输出质量。
-
发表了文章 2024-08-15
60行代码就可以训练/微调 Segment Anything 2 (SAM 2)
本文演示了如何在仅60行代码内（不包括标注和导入）对SAM2进行微调。
-
发表了文章 2024-08-14
音频去噪：使用Python和FFT增强音质
声音去噪目标是改善聆听体验以及音频分析和处理的准确性。过滤掉噪音对于高保真音频来说非常重要,不仅是为了聆听,也是为了创建某些机器学习任务的数据集。
-
发表了文章 2024-08-13
掌握 PyTorch 张量乘法：八个关键函数与应用场景对比解析
PyTorch提供了几种张量乘法的方法，每种方法都是不同的，并且有不同的应用。我们来详细介绍每个方法，并且详细解释这些函数有什么区别：
-
发表了文章 2024-08-12
使用BatchNorm替代LayerNorm可以减少Vision Transformer训练时间和推理时间
本文探讨了在Vision Transformer (ViT)架构中采用批量归一化(BatchNorm)替代层归一化(LayerNorm)的影响。ViT以其在计算机视觉领域的优异表现而闻名，但存在训练耗时长及对小型数据集推理速度慢的问题。文章提出两种改进模型：ViTBNFFN，在前馈网络中加入BatchNorm；ViTBN，则全面替换为BatchNorm。
-
发表了文章 2024-08-11
Skeleton Recall Loss 分割领域的新突破：极大的减少了资源消耗，还能提高性能
这篇论文则介绍了一个新的损失：Skeleton Recall Loss，我把它翻译成骨架召回损失.这个损失目前获得了最先进的整体性能，并且通过取代密集的计算**他的计算开销减少超过90% !**
-
发表了文章 2024-08-10
多元时间序列分析统计学基础：基本概念、VMA、VAR和VARMA
多元时间序列是一个在大学课程中经常未被提及的话题。但是现实世界的数据通常具有多个维度，所以需要多元时间序列分析技术。在这文章我们将通过可视化和Python实现来学习多元时间序列概念。这里假设读者已经了解单变量时间序列分析。
-
发表了文章 2024-08-03
模型量化技术综述：揭示大型语言模型压缩的前沿技术
在这篇文章中，我将在语言建模的背景下介绍量化，并逐一探讨各个概念，探索各种方法论、用例以及量化背后的原理。
-
发表了文章 2024-08-02
深入浅出：可视化理解揭示决策树与梯度提升背后的数学原理
本文将通过视觉方式解释用于分类和回归问题的决策树的理论基础。我们将看到这个模型是如何工作的，以及为什么它可能会导致过拟合。首先将介绍梯度提升以及它是如何改善单个决策树的性能的。然后将用Python从头实现梯度提升回归器和分类器。最后详细解释梯度提升背后的数学原理。
-
发表了文章 2024-08-01
Adam-mini：内存占用减半，性能更优的深度学习优化器
论文提出一种新的优化器Adam-mini，在不牺牲性能的情况下减少Adam优化器的内存占用。
-
发表了文章 2024-07-28
深度学习中常用损失函数介绍
选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例
-
发表了文章 2024-07-27
大语言模型的Scaling Law：如何随着模型大小、训练数据和计算资源的增加而扩展
在这篇文章中，我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则：模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化，我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。
-
发表了文章 2024-07-26
精简模型，提升效能：线性回归中的特征选择技巧
在本文中，我们将探讨各种特征选择方法和技术，用以在保持模型评分可接受的情况下减少特征数量。通过减少噪声和冗余信息，模型可以更快地处理，并减少复杂性。
-
发表了文章 2024-07-25
贝叶斯分析与决策理论：用于确定分类问题决策点的应用
在分类问题中，一个常见的难题是决定输出为数字时各类别之间的切分点
-
发表了文章 2024-07-24
大语言模型对时间序列预测真的有用吗？
我们已经看到了语言模型的巨大进步，但时间序列任务，如预测呢？今天我们推荐一篇论文，对现有的语言模型和时间序列做了深入的研究。将探讨了是否可以从大型语言模型（LLMs）中获益于时间序列（TS）预测。
-
发表了文章 2024-07-23
用PyTorch从零开始编写DeepSeek-V2
DeepSeek-V2是一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现了经济高效的训练和推理。该模型总共拥有2360亿参数，其中每个令牌激活21亿参数，支持最大128K令牌的上下文长度。
-
发表了文章 2024-07-22
VQ-VAE：矢量量化变分自编码器，离散化特征学习模型
VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE 之前，不过，在这之前我们先讨论一些概率基础和 VAE 架构。
-
发表了文章 2024-07-20
多任务高斯过程数学原理和Pytorch实现示例
本文探讨了如何使用高斯过程扩展到多任务场景，强调了多任务高斯过程（MTGP）在处理相关输出时的优势。通过独立多任务GP、内在模型（ICM）和线性模型（LMC）的核心区域化方法，MTGP能够捕捉任务间的依赖关系，提高泛化能力。ICM和LMC通过引入核心区域化矩阵来学习任务间的共享结构。在PyTorch中，使用GPyTorch库展示了如何实现ICM模型，包括噪声建模和训练过程。实验比较了MTGP与独立GP，显示了MTGP在预测性能上的提升。
-
发表了文章 2024-07-19
使用Pytorch中从头实现去噪扩散概率模型（DDPM）
在本文中，我们将构建基础的无条件扩散模型，即去噪扩散概率模型（DDPM）。从探究算法的直观工作原理开始，然后在PyTorch中从头构建它。本文主要关注算法背后的思想和具体实现细节。
-
发表了文章 2024-07-18
谷歌的时间序列预测的基础模型TimesFM详解和对比测试
在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析，并将该模型与统计和机器学习模型进行对比。
-
发表了文章 2024-07-17
Pytorch的编译新特性TorchDynamo的工作原理和使用示例
PyTorch的TorchDynamo是一个即时编译器，用于优化动态图执行，提高运行效率。它在运行时分析和转换代码，应用优化技术，如操作符融合，然后编译成高效机器码。通过一个包含特征工程、超参数调整、交叉验证的合成数据集示例，展示了TorchDynamo如何减少训练时间并提高模型性能。它易于集成，只需对现有PyTorch代码进行小改动，即可利用其性能提升。TorchDynamo的优化包括动态捕获计算图、应用优化和编译，适用于实时应用和需要快速响应的场景。
-
发表了文章 2024-07-16
注意力机制中三种掩码技术详解和Pytorch实现
**注意力机制中的掩码在深度学习中至关重要，如Transformer模型所用。掩码类型包括：填充掩码（忽略填充数据）、序列掩码（控制信息流）和前瞻掩码（自回归模型防止窥视未来信息）。通过创建不同掩码，如上三角矩阵，模型能正确处理变长序列并保持序列依赖性。在注意力计算中，掩码修改得分，确保模型学习的有效性。这些技术在现代NLP和序列任务中是核心组件。**
-
发表了文章 2024-07-15
Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE
在NLP中，位置编码如RoPE、CoPE等增强模型对序列顺序的理解。RoPE通过旋转矩阵编码位置，适应不同距离的相对位置。线性旋转、NTK和YaRN是RoPE的变体，优化长序列处理。CoPE是动态的，根据序列内容调整位置编码，改善长距离依赖的捕捉。这些技术提升了模型在处理复杂语言任务时的性能。
-
发表了文章 2024-07-14
Doping：使用精心设计的合成数据测试和评估异常检测器的技术
在这篇文章中，我们将探讨测试和评估异常检测器的问题（这是一个众所周知的难题），并提出了一种解决方案被称为“Doping”方法。使用Doping方法，真实数据行会被（通常是）随机修改，修改的方式是确保它们在某些方面可能成为异常值，这时应该被异常检测器检测到。然后通过评估检测器检测Doping记录的效果来评估这些检测器。
-
发表了文章 2024-07-13
持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
在本文中，我们将探讨一种方法来解决这个问题，称为Elastic Weight Consolidation。EWC提供了一种很有前途的方法来减轻灾难性遗忘，使神经网络在获得新技能的同时保留先前学习任务的知识。
-
发表了文章 2024-07-12
Lookback Lens：用注意力图检测和减轻llm的幻觉
这篇论文的作者提出了一个简单的幻觉检测模型，其输入特征由上下文的注意力权重与新生成的令牌(每个注意头)的比例给出。
-
发表了文章 2024-07-11
LLM代理应用实战：构建Plotly数据可视化代理
构建数据可视化代理解决了LLM（大型语言模型）在理解和生成定制图表时的局限性。代理提供DataFrame信息和自定义样式工具，简化与LLM的交互。选择了Plotly而非Matplotlib，因其交互性和Web渲染能力更适合现代可视化。代理通过元数据索引了解数据集详情，并根据样式指示生成符合特定审美的图表。通过ReActAgent和Groq模型，代理能理解用户指令，生成准确的Plotly代码，从而创建定制图表，提高了数据可视化的效率和准确性。
-
发表了文章 2024-07-10
统计学入门：时间序列分析基础知识详解
本文探讨了时间序列分析的核心概念，包括自协方差、自相关和平稳性。通过Python实现和图形化展示了这些概念，以增进理解。时间序列涉及观察随时间变化的数据，如心率或温度。自协方差和自相关衡量数据点之间的关系，滞后表示时间间隔。弱平稳性意味着均值、方差和协方差不随时间变化。文章介绍了自回归(AR)、移动平均(MA)、ARMA和ARIMA模型，用于描述不同类型的序列行为。统计检验如ADF和Durbin-Watson用于检测平稳性和残差自相关。ARIMA模型特别适用于非平稳数据，通过差分实现平稳化。文章还提供了代码示例和可视化来辅助学习。
-
发表了文章 2024-07-09
11个提升Python列表编码效率的高级技巧
Python中关于列表的一些很酷的技巧
-
发表了文章 2024-07-08
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较。
-
发表了文章 2024-07-07
PyTorch中的多进程并行处理
这篇文章我们将介绍如何利用torch.multiprocessing模块，在PyTorch中实现高效的多进程处理。
-
发表了文章 2024-07-06
2024年6月后2周重要的大语言模型论文总结：LLM进展、微调、推理和对齐
本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。
-
发表了文章 2024-07-05
RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
新框架提出智能路由选择在强弱语言模型间，利用用户偏好的学习来预测强模型胜率，基于成本阈值做决策。在大规模LLMs部署中，该方法显著降低成本而不牺牲响应质量。研究显示，经过矩阵分解和BERT等技术训练的路由器在多个基准上提升性能，降低强模型调用，提高APGR。通过数据增强，如MMLU和GPT-4评审数据，路由器在GSM8K、MMLU等测试中展现出色的性能提升和成本效率。未来将测试更多模型组合以验证迁移学习能力。该框架为LLMs部署提供了成本-性能优化的解决方案。
-
发表了文章 2024-07-04
字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析
在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将详细介绍这个问题。
-
发表了文章 2024-07-03
使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型，并介绍了获得前 10% 结果所涉及的步骤。
-
发表了文章 2024-07-02
图神经网络版本的Kolmogorov Arnold（KAN）代码实现和效果对比
目前我们看到有很多使用KAN替代MLP的实验，但是目前来说对于图神经网络来说还没有类似的实验，今天我们就来使用KAN创建一个图神经网络Graph Kolmogorov Arnold(GKAN)，来测试下KAN是否可以在图神经网络方面有所作为。
-
发表了文章
2025-11-08
TensorRT 和 ONNX Runtime 推理优化实战：10 个降低延迟的工程技巧
-
发表了文章
2025-11-07
Orion-MSP：深度学习终于在表格数据上超越了XGBoost
-
发表了文章
2025-11-06
Python因果分析选哪个？六个贝叶斯推断库实测对比（含代码示例）
-
发表了文章
2025-11-05
提升回归模型可信度：4种神经网络不确定性估计方法对比与代码实现
-
发表了文章
2025-11-04
从零实现3D Gaussian Splatting:完整渲染流程的PyTorch代码详解
-
发表了文章
2025-11-03
FastMCP 入门：用 Python 快速搭建 MCP 服务器接入 LLM
-
发表了文章
2025-11-02
LangChain v1.0 中间件详解：彻底搞定 AI Agent 上下文控制
-
发表了文章
2025-11-01
解决GRPO优势归因错误,Chunk-GRPO让文生图模型更懂"节奏"
-
发表了文章
2025-10-31
打造自己的 Claude Code：LangGraph + MCP 搭建一个极简的 AI 编码助手
-
发表了文章
2025-10-30
sklearn 特征选择实战：用 RFE 找到最优特征组合
-
发表了文章
2025-10-29
Optuna AutoSampler 更新：让多目标和约束优化不再需要手动选算法
-
发表了文章
2025-10-28
构建有记忆的 AI Agent：SQLite 存储 + 向量检索完整方案示例
-
发表了文章
2025-10-27
Pandas 缺失值最佳实践：用 pd.NA 解决缺失值的老大难问题
-
发表了文章
2025-10-26
大模型强化学习的熵控制：CE-GPPO、EPO与AsyPPO技术方案对比详解
-
发表了文章
2025-10-25
LLM安全新威胁：为什么几百个毒样本就能破坏整个模型
-
发表了文章
2025-10-24
vLLM 性能优化实战：批处理、量化与缓存配置方案
-
发表了文章
2025-10-23
HNSW算法实战：用分层图索引替换k-NN暴力搜索
-
发表了文章
2025-10-22
AutoGen框架入门:5个核心概念搭建智能体协作系统
-
发表了文章
2025-10-21
深入BERT内核:用数学解密掩码语言模型的工作原理
-
发表了文章
2025-10-20
LangGraph 记忆系统实战：反馈循环 + 动态 Prompt 让 AI 持续学习
