勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-01-19
4种通过LLM进行文本知识图谱的构建方法对比介绍
我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。
-
发表了文章 2024-01-17
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。
-
发表了文章 2024-01-16
提高代码效率的6个Python内存优化技巧
当项目变得越来越大时，有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比，似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用，这些方法可能在实际应用中并没有人注意，所以本文将重点介绍Python的内置机制，掌握它们将大大提高Python编程技能。
-
发表了文章 2024-01-15
RoSA: 一种新的大模型参数高效微调方法
随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。
-
发表了文章 2024-02-23
Mamba详细介绍和RNN、Transformer的架构可视化对比
Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm，人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba（一种状态空间模型）。
-
发表了文章 2024-01-12
在Colab上测试Mamba
我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba
-
发表了文章 2024-01-13
使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B
Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。
-
发表了文章 2024-02-19
4张图片就可以微调扩散模型
稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。
-
发表了文章 2024-01-11
使用CLIP和LLM构建多模态RAG系统
在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。
-
发表了文章 2024-01-10
使用PyTorch实现混合专家(MoE)模型
在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。
-
发表了文章 2024-02-06
NLP中的嵌入和距离度量
本文将深入研究嵌入、矢量数据库和各种距离度量的概念，并提供示例和演示代码。
-
发表了文章 2024-02-03
12个RAG常见痛点及解决方案
这里使用“痛点”而不是“失败点”，主要是因为我们总结的问题都有相应的建议解决方案。
-
发表了文章 2024-01-08
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。
-
发表了文章 2024-01-05
4种SVM主要核函数及相关参数的比较
本文将用数据可视化的方法解释4种支持向量机核函数和参数的区别
-
发表了文章 2024-01-03
如何避免LLM的“幻觉”(Hallucination)
生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
-
发表了文章 2024-01-02
加速Python循环的12种方法,最高可以提速900倍
在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。
-
发表了文章 2023-12-31
神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。
-
发表了文章 2024-01-01
Jupyter Notebook的10个常用扩展介绍
Jupyter Notebook（前身为IPython Notebook）是一种开源的交互式计算和数据可视化的工具，广泛用于数据科学、机器学习、科学研究和教育等领域。它提供了一个基于Web的界面，允许用户创建和共享文档，这些文档包含实时代码、方程、可视化和文本。
-
发表了文章 2023-12-30
使用LOTR合并检索提高RAG性能
RAG结合了两个关键元素:检索和生成。它首先使用语义搜索等高级技术来浏览大量数据，包括文本、图像、音频和视频。RAG的本质在于它能够检索相关信息，然后作为下一阶段的基础。生成组件利用大型语言模型的能力，解释这些数据块，制作连贯的、类似人类的响应。与传统的生成模型相比，这个过程确保RAG系统可以提供更细致和准确的输出。
-
发表了文章 2023-12-27
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。
-
发表了文章 2023-12-26
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。
-
发表了文章 2024-01-18
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大量需求。这一挑战使得微调成为一个充满活力的研究领域，研究人员积极致力于开发能够有效利用人类数据的方法。
-
发表了文章 2024-01-14
基于协方差矩阵自适应演化策略（CMA-ES）的高效特征选择
特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。
-
发表了文章 2023-12-22
神经网络可视化新工具：TorchExplorer
TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下：
-
发表了文章 2024-01-09
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”
-
发表了文章 2024-01-07
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。
-
发表了文章 2023-12-21
MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试
如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。
-
发表了文章 2023-12-20
高维向量压缩方法IVFPQ :通过创建索引加速矢量搜索
向量相似性搜索是从特定嵌入空间中的给定向量列表中找到相似的向量。它能有效地从大型数据集中检索相关信息，在各个领域和应用中发挥着至关重要的作用。
-
发表了文章 2023-12-18
2023年12月 论文推荐
12月已经过了一半了，还有2周就是2024年了，我们来推荐下这两周我发现的一些好的论文，另外再推荐2篇很好的英文文章。
-
发表了文章 2023-12-17
使用LM Studio在本地运行LLM完整教程
GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。
-
发表了文章 2023-12-15
一种用于心音分类的轻量级1D-CNN+DWT网络
这是由National Institute of Technology Rourkela, Central University of Rajasthan发布在**2022 ICETCI**的论文，利用离散小波变换(DWT)得到的多分辨率域特征对1D-CNN模型进行心音分类训练。
-
发表了文章 2023-12-14
使用GAN进行异常检测
自从基于Stable Diffusion的生成模型大火以后，基于GAN的研究越来越少了，但是这并不能说明他就没有用了。异常检测是多个研究领域面临的重要问题，包括金融、医疗保健和网络安全。
-
发表了文章 2023-12-12
CLIP的升级版Alpha-CLIP：区域感知创新与精细控制
为了增强CLIP在图像理解和编辑方面的能力，上海交通大学、复旦大学、香港中文大学、上海人工智能实验室、澳门大学以及MThreads Inc.等知名机构共同合作推出了Alpha-CLIP。这一创新性的突破旨在克服CLIP的局限性，通过赋予其识别特定区域（由点、笔画或掩码定义）的能力。Alpha-CLIP不仅保留了CLIP的视觉识别能力，而且实现了对图像内容强调的精确控制，使其在各种下游任务中表现出色。
-
发表了文章 2023-12-19
从头开始实现LoRA以及一些实用技巧
LoRA是Low-Rank Adaptation或Low-Rank Adaptors的缩写，它提供了一种用于对预先存在的语言模型进行微调的高效且轻量级的方法。
-
发表了文章 2023-12-10
System 2 Attention：可以提高不同LLM问题的推理能力
推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人们已经做出了各种努力来解决这些缺点，包括增加监督训练数据或应用强化学习方法。
-
发表了文章 2023-12-09
Matplotlib中的titles（标题）、labels（标签）和legends（图例）
本文讨论Python的Matplotlib绘图库中可用的不同标记选项。
-
发表了文章 2023-12-08
RAG应用程序的12种调优策略：使用“超参数”和策略优化来提高检索性能
本文从数据科学家的角度来研究检索增强生成(retrieve - augmented Generation, RAG)管道。讨论潜在的“超参数”，这些参数都可以通过实验来提高RAG管道的性能。与本文还将介绍可以应用的不同策略，这些策略虽然不是超参数，但对性能也会产生很大的影响。
-
发表了文章 2023-12-13
AutoGen多代理对话项目示例和工作流程分析
在这篇文章中，我将介绍AutoGen的多个代理的运行。这些代理将能够相互对话，协作评估股票价格，并使用AmCharts生成图表。
-
发表了文章 2023-12-07
2023年5个自动化EDA库推荐
EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间
-
发表了文章 2023-12-11
使用PyTorch II的新特性加快LLM推理速度
Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括:
-
发表了文章 2023-12-05
使用Huggingface创建大语言模型RLHF训练流程的完整教程
ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。
-
发表了文章 2023-12-06
使用Python代码识别股票价格图表模式
在股票市场交易的动态环境中，技术和金融的融合催生了分析市场趋势和预测未来价格走势的先进方法。本文将使用Python进行股票模式识别。
-
发表了文章 2023-12-03
4个解决特定的任务的Pandas高效代码
在本文中，我将分享4个在一行代码中完成的Pandas操作。这些操作可以有效地解决特定的任务，并以一种好的方式给出结果。
-
发表了文章 2023-12-04
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文
-
发表了文章 2023-12-02
高斯混合模型:GMM和期望最大化算法的理论和代码实现
高斯混合模型(gmm)是将数据表示为高斯(正态)分布的混合的统计模型。这些模型可用于识别数据集中的组，并捕获数据分布的复杂、多模态结构。
-
发表了文章 2023-12-01
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。
-
发表了文章 2023-11-29
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。
-
发表了文章 2023-11-28
三种常用的风险价值(VaR)计算方法总结
风险价值(VaR)是金融领域广泛使用的风险度量，它量化了在特定时间范围内和给定置信度水平下投资或投资组合的潜在损失。它提供了一个单一的数字，代表投资者在正常市场条件下可能经历的最大损失。VaR是风险管理、投资组合优化和法规遵从的重要工具。
-
发表了文章 2023-11-27
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决方案，“小”模型也有一定的用武之地，所以今天我们来介绍PubMedBERT，它使用特定领域语料库从头开始预训练BERT，这是微软研究院2022年发布在ACM的论文。
-
发表了文章 2023-11-25
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的LlamaIndex的进行集成执行高效推理。
-
发表了文章
2024-12-26
SPAR：融合自对弈与树搜索的高性能指令优化框架
-
发表了文章
2024-12-25
TurboAttention：基于多项式近似和渐进式量化的高效注意力机制优化方案，降低LLM计算成本70%
-
发表了文章
2024-12-24
BERT的继任者ModernBERT：融合长序列处理、代码理解与高效计算的新一代双向编码器
-
发表了文章
2024-12-23
10个必备Python调试技巧：从pdb到单元测试的开发效率提升指南
-
发表了文章
2024-12-22
使用PyTorch实现GPT-2直接偏好优化训练：DPO方法改进及其与监督微调的效果对比
-
发表了文章
2024-12-21
LEC: 基于Transformer中间层隐藏状态的高效特征提取与内容安全分类方法
-
发表了文章
2024-12-20
时间序列分析中的互相关与相干性分析：前导-滞后关系的理论基础与实际应用
-
发表了文章
2024-12-19
基于深度混合架构的智能量化交易系统研究： 融合SSDA与LSTM自编码器的特征提取与决策优化方法
-
发表了文章
2024-12-18
基于Copula分布的合成数据采样：保持多维数据依赖结构的高效建模方法
-
发表了文章
2024-12-17
数据分布检验利器：通过Q-Q图进行可视化分布诊断、异常检测与预处理优化
-
发表了文章
2024-12-16
基于图神经网络的大语言模型检索增强生成框架研究：面向知识图谱推理的优化与扩展
-
发表了文章
2024-12-15
Differential Transformer: 通过差分注意力机制提升大语言模型性能
-
发表了文章
2024-12-14
使用机器学习技术进行时间序列缺失数据填充：基础方法与入门案例
-
发表了文章
2024-12-13
Python量化投资实践：基于蒙特卡洛模拟的投资组合风险建模与分析
-
发表了文章
2024-12-12
使用PaliGemma2构建多模态目标检测系统：从架构设计到性能优化的技术实践指南
-
发表了文章
2024-12-11
时间序列预测的不确定性区间估计：基于EnbPI的方法与应用研究
-
发表了文章
2024-12-10
基于Huffman树的层次化Softmax：面向大规模神经网络的高效概率计算方法
-
发表了文章
2024-12-09
Beta分布与汤普森采样：智能决策系统概率采样的理论基础
-
发表了文章
2024-12-08
从方向导数到梯度：深度学习中的关键数学概念详解
-
发表了文章
2024-12-07
ORCA：基于持续批处理的LLM推理性能优化技术详解
