勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-09-21
GraphRAG 与 RAG 的比较分析
Graph RAG 技术通过引入图结构化的知识表示和处理方法，显著增强了传统 RAG 系统的能力。它不仅提高了信息检索的准确性和完整性，还为复杂查询和多步推理提供了更强大的支持。
-
发表了文章 2024-09-19
机器学习模型中特征贡献度分析：预测贡献与错误贡献
本文将探讨特征重要性与特征有效性之间的关系，并引入两个关键概念：预测贡献度和错误贡献度。
-
发表了文章 2024-09-18
CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer
这是8月份再arxiv上发布的新论文，我们下面一起来介绍这篇论文的重要贡献
-
发表了文章 2024-09-17
概率分布深度解析：PMF、PDF和CDF的技术指南
本文将深入探讨概率分布，详细阐述概率质量函数（PMF）、概率密度函数（PDF）和累积分布函数（CDF）这些核心概念，并通过实际示例进行说明。
-
发表了文章 2024-09-15
利用未标记数据的半监督学习在模型训练中的效果评估
本文将介绍三种适用于不同类型数据和任务的半监督学习方法。我们还将在一个实际数据集上评估这些方法的性能，并与仅使用标记数据的基准进行比较。
-
发表了文章 2024-09-14
MemLong: 基于记忆增强检索的长文本LLM生成方法
本文介绍了一种名为MemLong的创新长文本处理方法，该方法通过整合外部检索器显著增强了大型语言模型处理长上下文的能力。MemLong采用轻量级设计，利用不可训练的外部记忆库存储历史上下文和知识，并通过检索相关的块级键值对增强模型输入。其技术优势包括分布一致性、高效训练策略及扩展的上下文窗口，能够在单个GPU上处理长达80k个token的文本，同时保持计算效率和内存控制。实验结果显示，MemLong在多个长文本基准数据集上表现出色，显著提升了语言建模能力和上下文学习效果。
-
发表了文章 2024-09-13
KAN专家混合模型在高性能时间序列预测中的应用：RMoK模型架构探析与Python代码实验
Kolmogorov-Arnold网络（KAN）作为一种多层感知器（MLP）的替代方案，为深度学习领域带来新可能。尽管初期测试显示KAN在时间序列预测中的表现不佳，近期提出的可逆KAN混合模型（RMoK）显著提升了其性能。RMoK结合了Wav-KAN、JacobiKAN和TaylorKAN等多种专家层，通过门控网络动态选择最适合的专家层，从而灵活应对各种时间序列模式。实验结果显示，RMoK在多个数据集上表现出色，尤其是在长期预测任务中。未来研究将进一步探索RMoK在不同领域的应用潜力及其与其他先进技术的结合。
-
发表了文章 2024-09-11
RAG系统的7个检索指标：信息检索任务准确性评估指南
大型语言模型（LLMs）在生成式AI领域备受关注，但其知识局限性和幻觉问题仍具挑战。检索增强生成（RAG）通过引入外部知识和上下文，有效解决了这些问题，并成为2024年最具影响力的AI技术之一。RAG评估需超越简单的实现方式，建立有效的性能度量标准。本文重点讨论了七个核心检索指标，包括准确率、精确率、召回率、F1分数、平均倒数排名（MRR）、平均精确率均值（MAP）和归一化折损累积增益（nDCG），为评估和优化RAG系统提供了重要依据。这些指标不仅在RAG中发挥作用，还广泛应用于搜索引擎、电子商务、推荐系统等领域。
-
发表了文章 2024-09-09
Transformer、RNN和SSM的相似性探究：揭示看似不相关的LLM架构之间的联系
通过探索大语言模型（LLM）架构之间的潜在联系，我们可能开辟新途径，促进不同模型间的知识交流并提高整体效率。尽管Transformer仍是主流，但Mamba等线性循环神经网络（RNN）和状态空间模型（SSM）展现出巨大潜力。近期研究揭示了Transformer、RNN、SSM和矩阵混合器之间的深层联系，为跨架构的思想迁移提供了可能。本文深入探讨了这些架构间的相似性和差异，包括Transformer与RNN的关系、状态空间模型在自注意力机制中的隐含作用以及Mamba在特定条件下的重写方式。
-
发表了文章 2024-09-08
时间序列结构变化分析：Python实现时间序列变化点检测
在时间序列分析和预测中，准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性，进而影响基于这些数据训练的模型的有效性。
-
发表了文章 2024-09-07
图特征工程实践指南：从节点中心性到全局拓扑的多尺度特征提取
本文详细介绍了如何利用NetworkX库从图结构中提取重要特征。首先，通过定义辅助函数设置了图的可视化选项，并以Zachary网络数据集为例进行了可视化展示。接着，文章深入探讨了三类图特征：基于节点的特征（如节点度、中心性等）、基于边的特征（如最短路径、邻域重叠等）以及基于图的特征（如Graphlets、Weisfeiler-Leman特征等）。通过这些特征的提取与分析，可以全面理解网络结构，识别关键节点，分析信息流动模式，并发现潜在的隐藏模式。本文不仅展示了如何应用这些特征来揭示社交网络中的角色和联系，还强调了其在交通网络分析和生物系统研究等领域的广泛应用潜力。
-
发表了文章 2024-09-06
Optuna发布 4.0 重大更新：多目标TPESampler自动化超参数优化速度提升显著
Optuna，广受欢迎的超参数优化框架，近日发布了其第四个主要版本。自2018年问世以来，Optuna迅速成为机器学习领域的关键工具，目前拥有10,000+ GitHub星标、每月300万+下载量、16,000+代码库使用、5,000+论文引用及18,000+ Kaggle使用。Optuna 4.0引入了OptunaHub平台，支持功能共享；正式推出Artifact Store管理生成文件；稳定支持NFS的JournalStorage实现分布式优化；显著加速多目标TPESampler，并引入新Terminator算法。
-
发表了文章 2024-09-05
优化采样参数提升大语言模型响应质量：深入分析温度、top_p、top_k和min_p的随机解码策略
本文详细解析了大语言模型（LLM）的采样策略及其关键参数，如温度和top_p。LLM基于输入提示生成下一个标记的概率分布，通过采样策略选择标记并附回输入，形成循环。文章介绍了对数概率（logprobs）、贪婪解码、温度参数调整、top-k与top-p采样等概念，并探讨了min-p采样这一新方法。通过调整这些参数，可以优化LLM输出的质量和创造性。最后，文章提供了实验性尝试的建议，帮助读者在特定任务中找到最佳参数配置。本文使用VLLM作为推理引擎，展示了Phi-3.5-mini-instruct模型的应用实例。
-
发表了文章 2024-09-03
一文读懂蒙特卡洛算法：从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考，与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解，因命名灵感源自蒙特卡洛赌场。如今，蒙特卡洛方法广泛应用于机器学习领域，尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间，蒙特卡洛方法能够高效地找到优质组合，适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用，并对比了其与网格搜索方法的性能。
-
发表了文章 2024-09-02
CNN中的注意力机制综合指南：从理论到Pytorch代码实现
注意力机制已成为深度学习模型的关键组件，尤其在卷积神经网络（CNN）中发挥了重要作用。通过使模型关注输入数据中最相关的部分，注意力机制显著提升了CNN在图像分类、目标检测和语义分割等任务中的表现。本文将详细介绍CNN中的注意力机制，包括其基本概念、不同类型（如通道注意力、空间注意力和混合注意力）以及实际实现方法。此外，还将探讨注意力机制在多个计算机视觉任务中的应用效果及其面临的挑战。无论是图像分类还是医学图像分析，注意力机制都能显著提升模型性能，并在不断发展的深度学习领域中扮演重要角色。
-
发表了文章 2024-09-01
压缩大型语言模型(LLMs):缩小10倍、性能保持不变
尽管大规模语言模型（LLMs）在多种应用场景中表现出色，但其庞大的规模也带来了实际部署难题。本文探讨了通过模型压缩技术解决这些问题的方法，介绍了量化、剪枝和知识蒸馏三种主要压缩技术，并通过具体Python代码示例展示了如何将一个100M参数的文本分类模型压缩至52.8M参数，再通过4位量化进一步减小至原来的1/7，同时保持甚至提升性能。示例代码展示了从数据预处理、模型训练到评估的完整流程，证明了压缩技术的有效性。
-
发表了文章 2024-08-31
6种有效的时间序列数据特征工程技术（使用Python）
在本文中，我们将探讨使用日期时间列提取有用信息的各种特征工程技术。
-
发表了文章 2024-08-19
三元组损失Triplet loss 详解
在这篇文章中,我们将以简单的技术术语解析三元组损失及其变体批量三元组损失,并提供一个相关的例子来帮助你理解这些概念。
-
发表了文章 2024-08-15
60行代码就可以训练/微调 Segment Anything 2 (SAM 2)
本文演示了如何在仅60行代码内（不包括标注和导入）对SAM2进行微调。
-
发表了文章 2024-08-14
音频去噪：使用Python和FFT增强音质
声音去噪目标是改善聆听体验以及音频分析和处理的准确性。过滤掉噪音对于高保真音频来说非常重要,不仅是为了聆听,也是为了创建某些机器学习任务的数据集。
-
发表了文章 2024-08-12
使用BatchNorm替代LayerNorm可以减少Vision Transformer训练时间和推理时间
本文探讨了在Vision Transformer (ViT)架构中采用批量归一化(BatchNorm)替代层归一化(LayerNorm)的影响。ViT以其在计算机视觉领域的优异表现而闻名，但存在训练耗时长及对小型数据集推理速度慢的问题。文章提出两种改进模型：ViTBNFFN，在前馈网络中加入BatchNorm；ViTBN，则全面替换为BatchNorm。
-
发表了文章 2024-08-01
Adam-mini：内存占用减半，性能更优的深度学习优化器
论文提出一种新的优化器Adam-mini，在不牺牲性能的情况下减少Adam优化器的内存占用。
-
发表了文章 2024-07-28
深度学习中常用损失函数介绍
选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例
-
发表了文章 2024-07-27
大语言模型的Scaling Law：如何随着模型大小、训练数据和计算资源的增加而扩展
在这篇文章中，我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则：模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化，我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。
-
发表了文章 2024-07-24
大语言模型对时间序列预测真的有用吗？
我们已经看到了语言模型的巨大进步，但时间序列任务，如预测呢？今天我们推荐一篇论文，对现有的语言模型和时间序列做了深入的研究。将探讨了是否可以从大型语言模型（LLMs）中获益于时间序列（TS）预测。
-
发表了文章 2024-07-23
用PyTorch从零开始编写DeepSeek-V2
DeepSeek-V2是一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现了经济高效的训练和推理。该模型总共拥有2360亿参数，其中每个令牌激活21亿参数，支持最大128K令牌的上下文长度。
-
发表了文章 2024-07-22
VQ-VAE：矢量量化变分自编码器，离散化特征学习模型
VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE 之前，不过，在这之前我们先讨论一些概率基础和 VAE 架构。
-
发表了文章 2024-07-20
多任务高斯过程数学原理和Pytorch实现示例
本文探讨了如何使用高斯过程扩展到多任务场景，强调了多任务高斯过程（MTGP）在处理相关输出时的优势。通过独立多任务GP、内在模型（ICM）和线性模型（LMC）的核心区域化方法，MTGP能够捕捉任务间的依赖关系，提高泛化能力。ICM和LMC通过引入核心区域化矩阵来学习任务间的共享结构。在PyTorch中，使用GPyTorch库展示了如何实现ICM模型，包括噪声建模和训练过程。实验比较了MTGP与独立GP，显示了MTGP在预测性能上的提升。
-
发表了文章 2024-07-19
使用Pytorch中从头实现去噪扩散概率模型（DDPM）
在本文中，我们将构建基础的无条件扩散模型，即去噪扩散概率模型（DDPM）。从探究算法的直观工作原理开始，然后在PyTorch中从头构建它。本文主要关注算法背后的思想和具体实现细节。
-
发表了文章 2024-07-18
谷歌的时间序列预测的基础模型TimesFM详解和对比测试
在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析，并将该模型与统计和机器学习模型进行对比。
-
发表了文章 2024-07-16
注意力机制中三种掩码技术详解和Pytorch实现
**注意力机制中的掩码在深度学习中至关重要，如Transformer模型所用。掩码类型包括：填充掩码（忽略填充数据）、序列掩码（控制信息流）和前瞻掩码（自回归模型防止窥视未来信息）。通过创建不同掩码，如上三角矩阵，模型能正确处理变长序列并保持序列依赖性。在注意力计算中，掩码修改得分，确保模型学习的有效性。这些技术在现代NLP和序列任务中是核心组件。**
-
发表了文章 2024-07-15
Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE
在NLP中，位置编码如RoPE、CoPE等增强模型对序列顺序的理解。RoPE通过旋转矩阵编码位置，适应不同距离的相对位置。线性旋转、NTK和YaRN是RoPE的变体，优化长序列处理。CoPE是动态的，根据序列内容调整位置编码，改善长距离依赖的捕捉。这些技术提升了模型在处理复杂语言任务时的性能。
-
发表了文章 2024-07-13
持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
在本文中，我们将探讨一种方法来解决这个问题，称为Elastic Weight Consolidation。EWC提供了一种很有前途的方法来减轻灾难性遗忘，使神经网络在获得新技能的同时保留先前学习任务的知识。
-
发表了文章 2024-07-11
LLM代理应用实战：构建Plotly数据可视化代理
构建数据可视化代理解决了LLM（大型语言模型）在理解和生成定制图表时的局限性。代理提供DataFrame信息和自定义样式工具，简化与LLM的交互。选择了Plotly而非Matplotlib，因其交互性和Web渲染能力更适合现代可视化。代理通过元数据索引了解数据集详情，并根据样式指示生成符合特定审美的图表。通过ReActAgent和Groq模型，代理能理解用户指令，生成准确的Plotly代码，从而创建定制图表，提高了数据可视化的效率和准确性。
-
发表了文章 2024-07-10
统计学入门：时间序列分析基础知识详解
本文探讨了时间序列分析的核心概念，包括自协方差、自相关和平稳性。通过Python实现和图形化展示了这些概念，以增进理解。时间序列涉及观察随时间变化的数据，如心率或温度。自协方差和自相关衡量数据点之间的关系，滞后表示时间间隔。弱平稳性意味着均值、方差和协方差不随时间变化。文章介绍了自回归(AR)、移动平均(MA)、ARMA和ARIMA模型，用于描述不同类型的序列行为。统计检验如ADF和Durbin-Watson用于检测平稳性和残差自相关。ARIMA模型特别适用于非平稳数据，通过差分实现平稳化。文章还提供了代码示例和可视化来辅助学习。
-
发表了文章 2024-07-08
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较。
-
发表了文章 2024-07-06
2024年6月后2周重要的大语言模型论文总结：LLM进展、微调、推理和对齐
本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。
-
发表了文章 2024-07-05
RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
新框架提出智能路由选择在强弱语言模型间，利用用户偏好的学习来预测强模型胜率，基于成本阈值做决策。在大规模LLMs部署中，该方法显著降低成本而不牺牲响应质量。研究显示，经过矩阵分解和BERT等技术训练的路由器在多个基准上提升性能，降低强模型调用，提高APGR。通过数据增强，如MMLU和GPT-4评审数据，路由器在GSM8K、MMLU等测试中展现出色的性能提升和成本效率。未来将测试更多模型组合以验证迁移学习能力。该框架为LLMs部署提供了成本-性能优化的解决方案。
-
发表了文章 2024-07-04
字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析
在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将详细介绍这个问题。
-
发表了文章 2024-07-02
图神经网络版本的Kolmogorov Arnold（KAN）代码实现和效果对比
目前我们看到有很多使用KAN替代MLP的实验，但是目前来说对于图神经网络来说还没有类似的实验，今天我们就来使用KAN创建一个图神经网络Graph Kolmogorov Arnold(GKAN)，来测试下KAN是否可以在图神经网络方面有所作为。
-
发表了文章 2024-07-01
DeepMind的新论文，长上下文的大语言模型能否取代RAG或者SQL这样的传统技术呢?
DeepMind的LOFT基准测试挑战了长上下文大型语言模型（LCLLMs）的效用，包括Gemini、GPT-4o和Claude 3 Opus。
-
发表了文章 2024-06-30
深入解析高斯过程：数学理论、重要概念和直观可视化全解
这篇文章探讨了高斯过程作为解决小数据问题的工具，介绍了多元高斯分布的基础和其边缘及条件分布的性质。文章通过线性回归与维度诅咒的问题引出高斯过程，展示如何使用高斯过程克服参数爆炸的问题。作者通过数学公式和可视化解释了高斯过程的理论，并使用Python的GPy库展示了在一维和多维数据上的高斯过程回归应用。高斯过程在数据稀疏时提供了一种有效的方法，但计算成本限制了其在大数据集上的应用。
-
发表了文章 2024-06-29
Transformer 能代替图神经网络吗?
Transformer模型的革新性在于其自注意力机制，广泛应用于多种任务，包括非原始设计领域。近期研究专注于Transformer的推理能力，特别是在图神经网络（GNN）上下文中。
-
发表了文章 2024-06-28
RAG流程优化（微调）的4个基本策略
在本文中，我们将介绍使用私有数据优化检索增强生成(RAG)的四种策略，可以提升生成任务的质量和准确性。通过使用一些优化策略，可以有效提升检索增强生成系统的性能和输出质量，使其在实际应用中能够更好地满足需求。
-
发表了文章 2024-06-27
Theta方法：一种时间序列分解与预测的简化方法
Theta方法整合了两个基本概念:分解时间序列和利用基本预测技术来估计未来的价值。
-
发表了文章 2024-06-26
精选：15款顶尖Python知识图谱（关系网络）绘制工具，数据分析的强力助手
这里有15款免费工具推荐：NetworkX（Python基础），Graph-tool（C++速度），Graphviz（可视化库），ipycytoscape（Jupyter集成），ipydagred3，ipySigma（NetworkX + Web），Netwulf（交互式），nxviz（Matplotlib绑定），Py3plex（复杂网络分析），Py4cytoscape（Python+Cytoscape），pydot（Graphviz接口），PyGraphistry（GPU加速），python-igraph，pyvis（交互式图形），SNAP（大规模网络分析）。绘制和理解网络图从未如此简单！
-
发表了文章 2024-06-25
2024年6月上半月30篇大语言模型的论文推荐
大语言模型（LLMs）在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文，可以让你及时了解最新进展。
-
发表了文章 2024-06-23
2024年6月计算机视觉论文推荐：扩散模型、视觉语言模型、视频生成等
6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。
-
发表了文章 2024-06-21
HUSKY:一个优化大语言模型多步推理的新代理框架
HUSKY是开源语言代理，专注复杂任务处理，如数字、表格及知识推理。通过多步计划和专家模型执行，它能迭代解决问题。在多模态任务中，即使使用小型模型，HUSKY也能匹敌GPT-4。训练涉及教师模型创建解决方案轨迹，以泛化处理广泛任务。在数值、表格和知识推理任务上表现出色，通过整合高效模型，HUSKY展示了在复杂推理领域的潜力。
-
发表了文章 2024-06-20
使用深度强化学习预测股票：DQN 、Double DQN和Dueling Double DQN对比和代码示例
深度强化学习可以将深度学习与强化学习相结合：深度学习擅长从原始数据中学习复杂的表示，强化学习则使代理能够通过反复试验在给定环境中学习最佳动作。通过DRL，研究人员和投资者可以开发能够分析历史数据的模型，理解复杂的市场动态，并对股票购买、销售或持有做出明智的决策。
-
发表了文章
2025-01-13
TorchOptimizer：基于贝叶斯优化的PyTorch Lightning超参数调优框架
-
发表了文章
2025-01-12
Python时间序列分析工具Aeon使用指南
-
发表了文章
2025-01-11
深度强化学习实战：训练DQN模型玩超级马里奥兄弟
-
发表了文章
2025-01-10
NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构
-
发表了文章
2025-01-09
PyTorch团队为TorchAO引入1-8比特量化，提升ARM平台性能
-
发表了文章
2025-01-08
面向强化学习的状态空间建模：RSSM的介绍和PyTorch实现
-
发表了文章
2025-01-07
增强回归模型的可解释性：基于MCMC的混合建模与特征选择方法研究
-
发表了文章
2025-01-06
特征时序化建模：基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
-
发表了文章
2025-01-04
PyTorch FlexAttention技术实践：基于BlockMask实现因果注意力与变长序列处理
-
发表了文章
2025-01-03
深度强化学习中SAC算法：数学原理、网络架构及其PyTorch实现
-
发表了文章
2025-01-02
分布匹配蒸馏：扩散模型的单步生成优化方法研究
-
发表了文章
2025-01-01
五种被低估的非常规统计检验方法：数学原理剖析与多领域应用价值研究
-
发表了文章
2024-12-31
线性化注意力综述：突破Softmax二次复杂度瓶颈的高效计算方案
-
发表了文章
2024-12-30
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
-
发表了文章
2024-12-29
Python环境管理的新选择：UV和Pixi，高性能Python环境管理方案
-
发表了文章
2024-12-28
高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用
-
发表了文章
2024-12-27
多维偏好分析及其在实际决策中的应用：基于PCA-KMeans的数据降维与模式识别方法
-
发表了文章
2024-12-26
SPAR：融合自对弈与树搜索的高性能指令优化框架
-
发表了文章
2024-12-25
TurboAttention：基于多项式近似和渐进式量化的高效注意力机制优化方案，降低LLM计算成本70%
-
发表了文章
2024-12-24
BERT的继任者ModernBERT：融合长序列处理、代码理解与高效计算的新一代双向编码器
