勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-02-07
MoE-LLaVA:具有高效缩放和多模态专业知识的大型视觉语言模型
视觉和语言模型的交叉导致了人工智能的变革性进步，使应用程序能够以类似于人类感知的方式理解和解释世界。大型视觉语言模型(LVLMs)在图像识别、视觉问题回答和多模态交互方面提供了无与伦比的能力。
-
发表了文章 2024-02-02
10个Pandas的高级技巧
Pandas是我们最常用的数据处理Python库之一。尽管您可能已经与它共事多年，但可能还有许多您尚未探索的实用方法。我将向您展示一些可能未曾听说但在数据整理方面非常实用的方法。
-
发表了文章 2024-02-01
UniMS-RAG:用于个性化对话的统一多源RAG框架
RAG领域已经取得了相当大的发展，这篇论文的是如何分解RAG过程，加入多文件检索、记忆和个人信息等定制化的元素。
-
发表了文章 2024-03-27
Chronos: 将时间序列作为一种语言进行学习
Chronos框架预训练时间序列模型，将序列值转为Transformer模型的tokens。通过缩放、量化处理，模型在合成及公共数据集上训练，参数量20M至710M不等。优于传统和深度学习模型，展示出色零样本预测性能。使用分类交叉熵损失，支持多模态输出分布学习。数据增强策略包括TSMix和KernelSynth。实验显示大型Chronos模型在概率和点预测上超越多种基线，且微调小型模型表现优异。虽然推理速度较慢，但其通用性简化了预测流程。论文探讨了优化潜力和未来研究方向。
-
发表了文章 2024-01-31
Langchain中改进RAG能力的3种常用的扩展查询方法
有多种方法可以提高检索增强生成(RAG)的能力，其中一种方法称为查询扩展。我们这里主要介绍在Langchain中常用的3种方法
-
发表了文章 2024-01-30
论文推荐:大语言模型在金融领域的应用调查
这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看
-
发表了文章 2024-03-19
在16G的GPU上微调Mixtral-8x7B
Mixtral-8x7B是最好的开源llm之一。但是消费级硬件上对其进行微调也是非常具有挑战性的。因为模型需要96.8 GB内存。而微调则需要更多的内存来存储状态和训练数据。比如说80gb RAM的H100 GPU是不够的。
-
发表了文章 2024-01-27
使用Transformer 模型进行时间序列预测的Pytorch代码示例
时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。
-
发表了文章 2024-03-18
2024年3月的计算机视觉论文推荐
从去年开始，针对LLM的研究成为了大家关注的焦点。但是其实针对于计算机视觉的研究领域也在快速的发展。每周都有计算机视觉领域的创新研究，包括图像识别、视觉模型优化、生成对抗网络(gan)、图像分割、视频分析等。
-
发表了文章 2024-01-28
2024年1月的论文推荐
又到月底了，在月初推荐论文的基础上又整理了10篇推荐阅读的论文
-
发表了文章 2024-01-29
使用核模型高斯过程(KMGPs)进行数据建模
核模型高斯过程(KMGPs)作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。
-
发表了文章 2024-01-26
使用mergekit 合并大型语言模型
模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量，还可以获得额外的好处。
-
发表了文章 2024-01-25
Mistral AI vs. Meta:顶级开源LLM比较
为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。
-
发表了文章 2024-01-23
Vision Mamba:将Mamba应用于计算机视觉任务的新模型
Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。就像VIT一样现在已经有人将他应用到了计算机视觉领域，让我们来看看最近的这篇论文“Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Models,”
-
发表了文章 2024-01-22
针对特定领域较小的语言模型是否与较大的模型同样有效?
经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis》中，作者全面分析了微调大语言模型(llm)及其在金融情绪分析中的零样本和少样本的能力。
-
发表了文章 2024-03-07
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
-
发表了文章 2024-01-24
通过4个任务比较LangChain和LlamaIndex
我们在本地使用大模型的时候，尤其是构建RAG应用的时候，一般会有2个成熟的框架可以使用
-
发表了文章 2024-01-20
RAG中的3个高级检索技巧
RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。当文档可能缺乏查询的完整答案或者包含冗余信息或包含不相关的细节，或者文档的顺序可能与用户的意图不一致时，就会经常出现这种情况。
-
发表了文章 2024-03-05
使用纹理对比度检测检测AI生成的图像
在本篇文章中我们将介绍如何开发一个深度学习模型来检测人工智能生成的图像
-
发表了文章 2024-01-19
4种通过LLM进行文本知识图谱的构建方法对比介绍
我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。
-
发表了文章 2024-01-21
2024年1月论文推荐
2024年1月论文推荐
-
发表了文章 2024-01-17
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。
-
发表了文章 2024-01-16
提高代码效率的6个Python内存优化技巧
当项目变得越来越大时，有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比，似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用，这些方法可能在实际应用中并没有人注意，所以本文将重点介绍Python的内置机制，掌握它们将大大提高Python编程技能。
-
发表了文章 2024-01-15
RoSA: 一种新的大模型参数高效微调方法
随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。
-
发表了文章 2024-02-23
Mamba详细介绍和RNN、Transformer的架构可视化对比
Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm，人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba（一种状态空间模型）。
-
发表了文章 2024-01-12
在Colab上测试Mamba
我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba
-
发表了文章 2024-01-13
使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B
Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。
-
发表了文章 2024-02-19
4张图片就可以微调扩散模型
稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。
-
发表了文章 2024-01-11
使用CLIP和LLM构建多模态RAG系统
在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。
-
发表了文章 2024-01-10
使用PyTorch实现混合专家(MoE)模型
在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。
-
发表了文章 2024-01-06
Python 中的==操作符 和 is关键字
Python是一种功能强大的通用编程语言，提供了各种比较值和对象的方法。其中包括==操作符和is关键字，它们的用途不同，但由于它们有时可以达到相同的目的，所以经常会被混淆。在本文中，我们将深入研究==和is之间的区别，探索它们如何工作以及何时适当地使用它们。
-
发表了文章 2024-02-06
NLP中的嵌入和距离度量
本文将深入研究嵌入、矢量数据库和各种距离度量的概念，并提供示例和演示代码。
-
发表了文章 2024-02-03
12个RAG常见痛点及解决方案
这里使用“痛点”而不是“失败点”，主要是因为我们总结的问题都有相应的建议解决方案。
-
发表了文章 2024-01-08
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。
-
发表了文章 2024-01-05
4种SVM主要核函数及相关参数的比较
本文将用数据可视化的方法解释4种支持向量机核函数和参数的区别
-
发表了文章 2024-01-04
使用pytorch构建图卷积网络预测化学分子性质
在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。
-
发表了文章 2024-01-03
如何避免LLM的“幻觉”(Hallucination)
生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
-
发表了文章 2024-01-02
加速Python循环的12种方法,最高可以提速900倍
在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。
-
发表了文章 2023-12-31
神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。
-
发表了文章 2024-01-01
Jupyter Notebook的10个常用扩展介绍
Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、方程、可视化和文本。
-
发表了文章 2023-12-30
使用LOTR合并检索提高RAG性能
RAG结合了两个关键元素:检索和生成。它首先使用语义搜索等高级技术来浏览大量数据，包括文本、图像、音频和视频。RAG的本质在于它能够检索相关信息，然后作为下一阶段的基础。生成组件利用大型语言模型的能力，解释这些数据块，制作连贯的、类似人类的响应。与传统的生成模型相比，这个过程确保RAG系统可以提供更细致和准确的输出。
-
发表了文章 2023-12-29
基于CNN和双向gru的心跳分类系统
CNN and Bidirectional GRU-Based Heartbeat Sound Classification Architecture for Elderly People是发布在2023 MDPI Mathematics上的论文，提出了基于卷积神经网络和双向门控循环单元(CNN + BiGRU)注意力的心跳声分类，论文不仅显示了模型还构建了完整的系统。
-
发表了文章 2023-12-28
人工智能生成文本检测在实践中使用有效性探讨
人工智能辅助撰写文章的技术现在无处不在!ChatGPT已经解锁了许多基于语言的人工智能应用程序，人工智能在任何类型的内容生成中的使用都已经达到了以前前所未有的高度。
-
发表了文章 2023-12-27
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。
-
发表了文章 2023-12-26
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。
-
发表了文章 2024-01-18
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大量需求。这一挑战使得微调成为一个充满活力的研究领域，研究人员积极致力于开发能够有效利用人类数据的方法。
-
发表了文章 2023-12-24
2023年小型计算机视觉总结
在过去的十年中，出现了许多涉及计算机视觉(CV)的项目，无论是小型的概念验证项目还是更大规模的生产应用。应用计算机视觉的方法是相当标准化的:
-
发表了文章 2023-12-23
论文推荐：大型语言模型能自我解释吗?
这篇论文的研究主要贡献是对LLM生成解释的优缺点进行了调查。详细介绍了两种方法，一种是做出预测，然后解释它，另一种是产生解释，然后用它来做出预测。
-
发表了文章 2024-01-14
基于协方差矩阵自适应演化策略（CMA-ES）的高效特征选择
特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。
-
发表了文章 2023-12-22
神经网络可视化新工具：TorchExplorer
TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下：
-
发表了文章
2025-09-11
解决推理能力瓶颈，用因果推理提升LLM智能决策
-
发表了文章
2025-09-10
量子机器学习入门：三种数据编码方法对比与应用
-
发表了文章
2025-09-09
深度学习调参新思路：Hyperband早停机制提升搜索效率
-
发表了文章
2025-09-08
Proximal SFT：用PPO强化学习机制优化SFT，让大模型训练更稳定
-
发表了文章
2025-09-07
从零开始构建图注意力网络：GAT算法原理与数值实现详解
-
发表了文章
2025-09-06
LangGraph实战：从零构建智能交易机器人，让多个AI智能体像投资团队一样协作
-
发表了文章
2025-09-05
GPU集群扩展：Ray Serve与Celery的技术选型与应用场景分析
-
发表了文章
2025-09-04
DINOv3上手指南：改变视觉模型使用方式，一个模型搞定分割、检测、深度估计
-
发表了文章
2025-09-03
微软rStar2-Agent：新的GRPO-RoC算法让14B模型在复杂推理时超越了前沿大模型
-
发表了文章
2025-09-02
Memento：基于记忆无需微调即可让大语言模型智能体持续学习的框架
-
发表了文章
2025-09-01
AI推理方法演进：Chain-of-Thought、Tree-of-Thought与Graph-of-Thought技术对比分析
-
发表了文章
2025-08-31
多智能体系统设计：5种编排模式解决复杂AI任务
-
发表了文章
2025-08-30
神经架构搜索NAS详解：三种核心算法原理与Python实战代码
-
发表了文章
2025-08-29
多智能体协作为什么这么难：系统频繁失败的原因分析与解决思路
-
发表了文章
2025-08-28
NVFP4量化技术深度解析：4位精度下实现2.3倍推理加速
-
发表了文章
2025-08-27
R-Zero：通过自博弈机制让大语言模型无需外部数据实现自我进化训练
-
发表了文章
2025-08-26
数据分布平滑化技术：核密度估计KDE解决直方图不连续问题
-
发表了文章
2025-08-25
匹配网络处理不平衡数据集的6种优化策略：有效提升分类准确率
-
发表了文章
2025-08-24
HiRAG：用分层知识图解决复杂推理问题
-
发表了文章
2025-08-22
PyTorch 2.0性能优化实战：4种常见代码错误严重拖慢模型
