勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-01-25
Mistral AI vs. Meta:顶级开源LLM比较
为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。
-
发表了文章 2024-01-23
Vision Mamba:将Mamba应用于计算机视觉任务的新模型
Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。就像VIT一样现在已经有人将他应用到了计算机视觉领域，让我们来看看最近的这篇论文“Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Models,”
-
发表了文章 2024-03-07
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
-
发表了文章 2024-01-24
通过4个任务比较LangChain和LlamaIndex
我们在本地使用大模型的时候，尤其是构建RAG应用的时候，一般会有2个成熟的框架可以使用
-
发表了文章 2024-01-20
RAG中的3个高级检索技巧
RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。当文档可能缺乏查询的完整答案或者包含冗余信息或包含不相关的细节，或者文档的顺序可能与用户的意图不一致时，就会经常出现这种情况。
-
发表了文章 2024-01-19
4种通过LLM进行文本知识图谱的构建方法对比介绍
我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。
-
发表了文章 2024-01-17
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。
-
发表了文章 2024-01-16
提高代码效率的6个Python内存优化技巧
当项目变得越来越大时，有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比，似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用，这些方法可能在实际应用中并没有人注意，所以本文将重点介绍Python的内置机制，掌握它们将大大提高Python编程技能。
-
发表了文章 2024-01-15
RoSA: 一种新的大模型参数高效微调方法
随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。
-
发表了文章 2024-02-23
Mamba详细介绍和RNN、Transformer的架构可视化对比
Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm，人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba（一种状态空间模型）。
-
发表了文章 2024-01-12
在Colab上测试Mamba
我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba
-
发表了文章 2024-01-13
使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B
Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。
-
发表了文章 2024-02-19
4张图片就可以微调扩散模型
稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。
-
发表了文章 2024-01-11
使用CLIP和LLM构建多模态RAG系统
在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。
-
发表了文章 2024-01-10
使用PyTorch实现混合专家(MoE)模型
在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。
-
发表了文章 2024-02-06
NLP中的嵌入和距离度量
本文将深入研究嵌入、矢量数据库和各种距离度量的概念，并提供示例和演示代码。
-
发表了文章 2024-02-03
12个RAG常见痛点及解决方案
这里使用“痛点”而不是“失败点”，主要是因为我们总结的问题都有相应的建议解决方案。
-
发表了文章 2024-01-08
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。
-
发表了文章 2024-01-05
4种SVM主要核函数及相关参数的比较
本文将用数据可视化的方法解释4种支持向量机核函数和参数的区别
-
发表了文章 2024-01-03
如何避免LLM的“幻觉”(Hallucination)
生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
-
发表了文章 2024-01-02
加速Python循环的12种方法,最高可以提速900倍
在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。
-
发表了文章 2023-12-31
神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。
-
发表了文章 2024-01-01
Jupyter Notebook的10个常用扩展介绍
Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、方程、可视化和文本。
-
发表了文章 2023-12-30
使用LOTR合并检索提高RAG性能
RAG结合了两个关键元素:检索和生成。它首先使用语义搜索等高级技术来浏览大量数据，包括文本、图像、音频和视频。RAG的本质在于它能够检索相关信息，然后作为下一阶段的基础。生成组件利用大型语言模型的能力，解释这些数据块，制作连贯的、类似人类的响应。与传统的生成模型相比，这个过程确保RAG系统可以提供更细致和准确的输出。
-
发表了文章 2023-12-27
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。
-
发表了文章 2023-12-26
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。
-
发表了文章 2024-01-18
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大量需求。这一挑战使得微调成为一个充满活力的研究领域，研究人员积极致力于开发能够有效利用人类数据的方法。
-
发表了文章 2024-01-14
基于协方差矩阵自适应演化策略（CMA-ES）的高效特征选择
特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。
-
发表了文章 2023-12-22
神经网络可视化新工具：TorchExplorer
TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下：
-
发表了文章 2024-01-09
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”
-
发表了文章 2023-12-21
MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试
如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。
-
发表了文章 2023-12-20
高维向量压缩方法IVFPQ :通过创建索引加速矢量搜索
向量相似性搜索是从特定嵌入空间中的给定向量列表中找到相似的向量。它能有效地从大型数据集中检索相关信息，在各个领域和应用中发挥着至关重要的作用。
-
发表了文章 2023-12-18
2023年12月 论文推荐
12月已经过了一半了，还有2周就是2024年了，我们来推荐下这两周我发现的一些好的论文，另外再推荐2篇很好的英文文章。
-
发表了文章 2023-12-17
使用LM Studio在本地运行LLM完整教程
GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。
-
发表了文章 2023-12-15
一种用于心音分类的轻量级1D-CNN+DWT网络
这是由National Institute of Technology Rourkela, Central University of Rajasthan发布在**2022 ICETCI**的论文，利用离散小波变换(DWT)得到的多分辨率域特征对1D-CNN模型进行心音分类训练。
-
发表了文章 2023-12-14
使用GAN进行异常检测
自从基于Stable Diffusion的生成模型大火以后，基于GAN的研究越来越少了，但是这并不能说明他就没有用了。异常检测是多个研究领域面临的重要问题，包括金融、医疗保健和网络安全。
-
发表了文章 2023-12-12
CLIP的升级版Alpha-CLIP：区域感知创新与精细控制
为了增强CLIP在图像理解和编辑方面的能力，上海交通大学、复旦大学、香港中文大学、上海人工智能实验室、澳门大学以及MThreads Inc.等知名机构共同合作推出了Alpha-CLIP。这一创新性的突破旨在克服CLIP的局限性，通过赋予其识别特定区域（由点、笔画或掩码定义）的能力。Alpha-CLIP不仅保留了CLIP的视觉识别能力，而且实现了对图像内容强调的精确控制，使其在各种下游任务中表现出色。
-
发表了文章 2023-12-19
从头开始实现LoRA以及一些实用技巧
LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。
-
发表了文章 2023-12-10
System 2 Attention：可以提高不同LLM问题的推理能力
推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人们已经做出了各种努力来解决这些缺点，包括增加监督训练数据或应用强化学习方法。
-
发表了文章 2023-12-09
Matplotlib中的titles（标题）、labels（标签）和legends（图例）
本文讨论Python的Matplotlib绘图库中可用的不同标记选项。
-
发表了文章 2023-12-08
RAG应用程序的12种调优策略：使用“超参数”和策略优化来提高检索性能
本文从数据科学家的角度来研究检索增强生成(retrieve - augmented Generation, RAG)管道。讨论潜在的“超参数”，这些参数都可以通过实验来提高RAG管道的性能。与本文还将介绍可以应用的不同策略，这些策略虽然不是超参数，但对性能也会产生很大的影响。
-
发表了文章 2023-12-13
AutoGen多代理对话项目示例和工作流程分析
在这篇文章中，我将介绍AutoGen的多个代理的运行。这些代理将能够相互对话，协作评估股票价格，并使用AmCharts生成图表。
-
发表了文章 2023-12-07
2023年5个自动化EDA库推荐
EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间
-
发表了文章 2023-12-11
使用PyTorch II的新特性加快LLM推理速度
Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括:
-
发表了文章 2023-12-05
使用Huggingface创建大语言模型RLHF训练流程的完整教程
ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。
-
发表了文章 2023-12-06
使用Python代码识别股票价格图表模式
在股票市场交易的动态环境中，技术和金融的融合催生了分析市场趋势和预测未来价格走势的先进方法。本文将使用Python进行股票模式识别。
-
发表了文章 2023-12-03
4个解决特定的任务的Pandas高效代码
在本文中，我将分享4个在一行代码中完成的Pandas操作。这些操作可以有效地解决特定的任务，并以一种好的方式给出结果。
-
发表了文章 2023-12-04
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文
-
发表了文章 2023-12-02
高斯混合模型:GMM和期望最大化算法的理论和代码实现
高斯混合模型(gmm)是将数据表示为高斯(正态)分布的混合的统计模型。这些模型可用于识别数据集中的组，并捕获数据分布的复杂、多模态结构。
-
发表了文章 2023-12-01
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。
-
发表了文章
2024-11-24
IoU已经out了，试试这几个变体:GIoU、DIoU和CIoU介绍与对比分析
-
发表了文章
2024-11-23
图神经网络在欺诈检测与蛋白质功能预测中的应用概述
-
发表了文章
2024-11-22
优化注意力层提升 Transformer 模型效率：通过改进注意力机制降低机器学习成本
-
发表了文章
2024-11-21
LLM2CLIP：使用大语言模型提升CLIP的文本处理，提高长文本理解和跨语言能力
-
发表了文章
2024-11-20
解读双编码器和交叉编码器：信息检索中的向量表示与语义匹配
-
发表了文章
2024-11-19
使用Pytorch构建视觉语言模型（VLM）
-
发表了文章
2024-11-18
使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程
-
发表了文章
2024-11-17
25 个值得关注的检索增强生成 (RAG) 模型和框架
-
发表了文章
2024-11-16
利用PyTorch的三元组损失Hard Triplet Loss进行嵌入模型微调
-
发表了文章
2024-11-15
告别Print，使用IceCream进行高效的Python调试
-
发表了文章
2024-11-14
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
-
发表了文章
2024-11-13
SMoA: 基于稀疏混合架构的大语言模型协同优化框架
-
发表了文章
2024-11-12
TSMamba：基于Mamba架构的高效时间序列预测基础模型
-
发表了文章
2024-11-11
基于MCMC的贝叶斯营销组合模型评估方法论： 系统化诊断、校准及选择的理论框架
-
发表了文章
2024-11-10
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
-
发表了文章
2024-11-09
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
-
发表了文章
2024-11-08
贝叶斯统计中常见先验分布选择方法总结
-
发表了文章
2024-11-07
Tokenformer：基于参数标记化的高效可扩展Transformer架构
-
发表了文章
2024-11-06
基于LLM Graph Transformer的知识图谱构建技术研究：LangChain框架下转换机制实践
-
发表了文章
2024-11-05
基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模
