勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-03-12
傅里叶变换算法和Python代码实现
傅立叶变换是物理学家、数学家、工程师和计算机科学家常用的最有用的工具之一。本篇文章我们将使用Python来实现一个连续函数的傅立叶变换。
-
发表了文章 2024-03-09
使用Tokeniser估算GPT和LLM服务的查询成本
将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本，而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢？Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。
-
发表了文章 2024-03-08
StarCoder 2：GitHub Copilot本地开源LLM替代方案
GitHub CoPilot拥有超过130万付费用户，部署在5万多个组织中，是世界上部署最广泛的人工智能开发工具。使用LLM进行编程辅助工作不仅提高了生产力，而且正在永久性地改变数字原住民开发软件的方式，我也是它的付费用户之一。
-
发表了文章 2024-03-10
Nomic Embed：能够复现的SOTA开源嵌入模型
Nomic-embed-text是2月份刚发布的，并且是一个完全开源的英文文本嵌入模型，上下文长度为8192。它在处理短文和长文本任务方面都超越了现有的模型，如OpenAI的Ada-002和text-embedding-3-small。该模型有137M个参数在现在可以算是非常小的模型了。
-
发表了文章 2024-03-06
RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。Hawk通过使用门控线性递归（gated linear recurrences）超越了Mamba的性能，而Griffin则是一种混合型模型，结合了门控线性递归和局部注意力（local attention），与Llama-2的性能相当，但使用的训练数据明显较少。Griffin在处理比训练时更长的序列时表现出色。这两种模型在硬件效率方面与Transformer相当，但在推理过程中具有更低的延迟和更高的吞吐量。Griffin的规模已扩展到了140亿个（14B）参数。
-
发表了文章 2024-03-11
从16-bit 到 1.58-bit ：大模型内存效率和准确性之间的最佳权衡
通过量化可以减少大型语言模型的大小，但是量化是不准确的，因为它在过程中丢失了信息。通常较大的llm可以在精度损失很小的情况下量化到较低的精度，而较小的llm则很难精确量化。
-
发表了文章 2024-03-03
使用TensorRT-LLM进行生产环境的部署指南
TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。
-
发表了文章 2024-03-01
可视化FAISS矢量空间并调整RAG参数提高结果精度
随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA)对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所欠缺，很多内部文件都保存在公司内部，以确保合规性、商业秘密或隐私。当查询这些文件时，会使得LLM产生幻觉，产生不相关、捏造或不一致的内容。
-
发表了文章 2024-02-28
2024年2月深度学习的论文推荐
我们这篇文章将推荐2月份发布的10篇深度学习的论文
-
发表了文章 2024-02-26
选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试
OpenAI最近发布了他们的新一代嵌入模型*embedding v3*，他们将其描述为性能最好的嵌入模型，具有更高的多语言性能。这些模型分为两类:较小的称为text- embeddings -3-small，较大且功能更强大的称为text- embeddings -3-large。
-
发表了文章 2024-02-27
PyTimeTK: 一个简单有效的时间序列分析库
时间序列分析是数据科学的重要组成部分，特别是在金融、经济、天气预报等领域。它包括分析随时间收集或索引的数据点，以确定趋势、周期或季节变化。由于时间序列数据的复杂性所以分析时间序列需要复杂统计方法，我最近在Github上发现了一个刚刚发布不久的Python时间工具包PyTimeTK ，它可以帮我们简化时间序列分析的很多步骤。
-
发表了文章 2024-02-29
谷歌Gemma介绍、微调、量化和推理
谷歌的最新的Gemma模型是第一个使用与Gemini模型相同的研究和技术构建的开源LLM。这个系列的模型目前有两种尺寸，2B和7B，并且提供了聊天的基本版和指令版。
-
发表了文章 2024-02-24
20个改善编码的Python异常处理技巧，让你的代码更高效
异常处理是写好代码的一个重要的方面，虽然许多开发人员都熟悉基本的try-except块，但是有很多更深入的知识可以使异常处理更高效、更可读和更python化。所以本文将介绍关于Python异常的20个可以显著改善编码的Python异常处理技巧，这些技巧可以让你熟练的掌握Python的异常处理。
-
发表了文章 2024-04-20
掌握时间序列特征工程：常用特征总结与 Feature-engine 的应用
本文介绍了时间序列特征工程，包括滚动统计量、滞后特征、差分和变换等技术，用于提升机器学习模型性能。文章还推荐了Python库`feature-engine`，用于简化特征提取，如处理缺失值、编码分类变量和进行时间序列转换。示例代码展示了如何使用`feature-engine`提取时间戳信息、创建滞后特征和窗口特征。通过创建管道，可以高效地完成整个特征工程流程，优化数据预处理并提高模型效果。
-
发表了文章 2024-04-19
RAG 2.0架构详解：构建端到端检索增强生成系统
RAG（检索增强生成）旨在通过提供额外上下文帮助大型语言模型（LLM）生成更精准的回答。现有的RAG系统由独立组件构成，效率不高。RAG 2.0提出了一种预训练、微调和对齐所有组件的集成方法，通过双重反向传播最大化性能。文章探讨了不同的检索策略，如TF-IDF、BM25和密集检索，并介绍了如SPLADE、DRAGON等先进算法。目前的挑战包括创建可训练的检索器和优化检索-生成流程。研究表明，端到端训练的RAG可能提供最佳性能，但资源需求高。未来研究需关注检索器的上下文化和与LLM的协同优化。
-
发表了文章 2024-02-20
视频生成领域的发展概述:从多级扩散到LLM
2023年是语言模型(llm)和图像生成技术激增的一年，但是视频生成受到的关注相对较少。今年刚到2月份，OpenAI就发布了一个惊人的视频生成模型Sora。虽然它的架构没有披露，但是通过总结现有的视频生成领域可能能对Sora的构架有所理解。
-
发表了文章 2024-02-18
自然语言生成任务中的5种采样方法介绍和Pytorch代码实现
在自然语言生成任务（NLG）中，采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。
-
发表了文章 2024-04-16
ORPO偏好优化：性能和DPO一样好并且更简单的对齐方法
ORPO是另一种新的LLM对齐方法，这种方法甚至不需要SFT模型。通过ORPO，LLM可以同时学习回答指令和满足人类偏好。
-
发表了文章 2024-02-17
机器学习中7种常用的线性降维技术总结
上篇文章中我们主要总结了非线性的降维技术，本文我们来总结一下常见的线性降维技术。
-
发表了文章 2024-04-15
时空图神经网络ST-GNN的概念以及Pytorch实现
本文介绍了图神经网络（GNN）在处理各种领域中相互关联的图数据时的作用，如分子结构和社交网络。GNN与序列模型（如RNN）结合形成的时空图神经网络（ST-GNN）能捕捉时间和空间依赖性。文章通过图示和代码示例解释了GNN和ST-GNN的基本原理，展示了如何将GNN应用于股票市场的数据，尽管不推荐将其用于实际的股市预测。提供的PyTorch实现展示了如何将时间序列数据转换为图结构并训练ST-GNN模型。
-
发表了文章 2024-02-21
深度学习在时间序列预测的总结和未来方向分析
2023年是大语言模型和稳定扩散的一年，时间序列领域虽然没有那么大的成就，但是却有缓慢而稳定的进展。Neurips、ICML和AAAI等会议都有transformer 结构(BasisFormer、Crossformer、Inverted transformer和Patch transformer)的改进，还出现了将数值时间序列数据与文本和图像合成的新体系结构(CrossVIVIT)， 也出现了直接应用于时间序列的可能性的LLM，以及新形式的时间序列正则化/规范化技术(san)。
-
发表了文章 2024-02-09
从模型到前端，你应该知道的LLM生态系统指南
LLM在在2023年发展的风生水起，一个围绕LLM的庞大生态系统正在形成，本文通过介绍这个生态系统的核心组成部分，来详细整理LLM的发展。
-
发表了文章 2024-04-11
10个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题
-
发表了文章 2024-02-15
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月，已经有了一个用于时间序列预测的开源基础模型:laglllama。
-
发表了文章 2024-02-13
使用LORA微调RoBERTa
模型微调是指在一个已经训练好的模型的基础上，针对特定任务或者特定数据集进行再次训练以提高性能的过程。微调可以在使其适应特定任务时产生显着的结果。
-
发表了文章 2024-02-12
使用PyOD进行异常值检测
异常值检测各个领域的关键任务之一。PyOD是Python Outlier Detection的缩写，可以简化多变量数据集中识别异常值的过程。在本文中，我们将介绍PyOD包，并通过实际给出详细的代码示例
-
发表了文章 2024-02-16
机器学习中的10种非线性降维技术对比总结
降维意味着我们在不丢失太多信息的情况下减少数据集中的特征数量，降维算法属于无监督学习的范畴，用未标记的数据训练算法。
-
发表了文章 2024-04-08
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。
-
发表了文章 2024-02-14
使用MICE进行缺失值的填充处理
在我们进行机器学习时，处理缺失数据是非常重要的，因为缺失数据可能会导致分析结果不准确，严重时甚至可能产生偏差。处理缺失数据是保证数据分析准确性和可靠性的重要步骤，有助于确保分析结果的可信度和可解释性。
-
发表了文章 2024-02-05
PyTorch的10个基本张量操作
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法，并且框架也是高效和可扩展的，下面我们将介绍一些Pytorch的基本张量操作。
-
发表了文章 2024-02-08
Python进行AI声音克隆的端到端指南
人工智能语音克隆是一种捕捉声音的独特特征，然后准确性复制它的技术。这种技术不仅可以让我们复制现有的声音，还可以创造全新的声音。它是一种彻底改变内容创作的工具，从个性化歌曲到自定义画外音，开辟了一个超越语言和文化障碍的创意世界。
-
发表了文章 2024-02-07
MoE-LLaVA:具有高效缩放和多模态专业知识的大型视觉语言模型
视觉和语言模型的交叉导致了人工智能的变革性进步，使应用程序能够以类似于人类感知的方式理解和解释世界。大型视觉语言模型(LVLMs)在图像识别、视觉问题回答和多模态交互方面提供了无与伦比的能力。
-
发表了文章 2024-02-02
10个Pandas的高级技巧
Pandas是我们最常用的数据处理Python库之一。尽管您可能已经与它共事多年，但可能还有许多您尚未探索的实用方法。我将向您展示一些可能未曾听说但在数据整理方面非常实用的方法。
-
发表了文章 2024-02-01
UniMS-RAG:用于个性化对话的统一多源RAG框架
RAG领域已经取得了相当大的发展，这篇论文的是如何分解RAG过程，加入多文件检索、记忆和个人信息等定制化的元素。
-
发表了文章 2024-03-27
Chronos: 将时间序列作为一种语言进行学习
Chronos框架预训练时间序列模型，将序列值转为Transformer模型的tokens。通过缩放、量化处理，模型在合成及公共数据集上训练，参数量20M至710M不等。优于传统和深度学习模型，展示出色零样本预测性能。使用分类交叉熵损失，支持多模态输出分布学习。数据增强策略包括TSMix和KernelSynth。实验显示大型Chronos模型在概率和点预测上超越多种基线，且微调小型模型表现优异。虽然推理速度较慢，但其通用性简化了预测流程。论文探讨了优化潜力和未来研究方向。
-
发表了文章 2024-01-31
Langchain中改进RAG能力的3种常用的扩展查询方法
有多种方法可以提高检索增强生成(RAG)的能力，其中一种方法称为查询扩展。我们这里主要介绍在Langchain中常用的3种方法
-
发表了文章 2024-01-30
论文推荐:大语言模型在金融领域的应用调查
这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看
-
发表了文章 2024-03-19
在16G的GPU上微调Mixtral-8x7B
Mixtral-8x7B是最好的开源llm之一。但是消费级硬件上对其进行微调也是非常具有挑战性的。因为模型需要96.8 GB内存。而微调则需要更多的内存来存储状态和训练数据。比如说80gb RAM的H100 GPU是不够的。
-
发表了文章 2024-01-27
使用Transformer 模型进行时间序列预测的Pytorch代码示例
时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。
-
发表了文章 2024-03-18
2024年3月的计算机视觉论文推荐
从去年开始，针对LLM的研究成为了大家关注的焦点。但是其实针对于计算机视觉的研究领域也在快速的发展。每周都有计算机视觉领域的创新研究，包括图像识别、视觉模型优化、生成对抗网络(gan)、图像分割、视频分析等。
-
发表了文章 2024-01-29
使用核模型高斯过程(KMGPs)进行数据建模
核模型高斯过程(KMGPs)作为一种复杂的工具可以处理各种数据集的复杂性。他通过核函数来扩展高斯过程的传统概念。本文将深入探讨kmgp的理论基础、实际应用以及它们所面临的挑战。
-
发表了文章 2024-01-26
使用mergekit 合并大型语言模型
模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量，还可以获得额外的好处。
-
发表了文章 2024-01-25
Mistral AI vs. Meta:顶级开源LLM比较
为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。
-
发表了文章 2024-01-23
Vision Mamba:将Mamba应用于计算机视觉任务的新模型
Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。就像VIT一样现在已经有人将他应用到了计算机视觉领域，让我们来看看最近的这篇论文“Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Models,”
-
发表了文章 2024-03-07
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
-
发表了文章 2024-01-24
通过4个任务比较LangChain和LlamaIndex
我们在本地使用大模型的时候，尤其是构建RAG应用的时候，一般会有2个成熟的框架可以使用
-
发表了文章 2024-01-20
RAG中的3个高级检索技巧
RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。当文档可能缺乏查询的完整答案或者包含冗余信息或包含不相关的细节，或者文档的顺序可能与用户的意图不一致时，就会经常出现这种情况。
-
发表了文章 2024-03-05
使用纹理对比度检测检测AI生成的图像
在本篇文章中我们将介绍如何开发一个深度学习模型来检测人工智能生成的图像
-
发表了文章 2024-01-19
4种通过LLM进行文本知识图谱的构建方法对比介绍
我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。
-
发表了文章 2024-01-17
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm)变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。
-
发表了文章
2024-12-26
SPAR：融合自对弈与树搜索的高性能指令优化框架
-
发表了文章
2024-12-25
TurboAttention：基于多项式近似和渐进式量化的高效注意力机制优化方案，降低LLM计算成本70%
-
发表了文章
2024-12-24
BERT的继任者ModernBERT：融合长序列处理、代码理解与高效计算的新一代双向编码器
-
发表了文章
2024-12-23
10个必备Python调试技巧：从pdb到单元测试的开发效率提升指南
-
发表了文章
2024-12-22
使用PyTorch实现GPT-2直接偏好优化训练：DPO方法改进及其与监督微调的效果对比
-
发表了文章
2024-12-21
LEC: 基于Transformer中间层隐藏状态的高效特征提取与内容安全分类方法
-
发表了文章
2024-12-20
时间序列分析中的互相关与相干性分析：前导-滞后关系的理论基础与实际应用
-
发表了文章
2024-12-19
基于深度混合架构的智能量化交易系统研究： 融合SSDA与LSTM自编码器的特征提取与决策优化方法
-
发表了文章
2024-12-18
基于Copula分布的合成数据采样：保持多维数据依赖结构的高效建模方法
-
发表了文章
2024-12-17
数据分布检验利器：通过Q-Q图进行可视化分布诊断、异常检测与预处理优化
-
发表了文章
2024-12-16
基于图神经网络的大语言模型检索增强生成框架研究：面向知识图谱推理的优化与扩展
-
发表了文章
2024-12-15
Differential Transformer: 通过差分注意力机制提升大语言模型性能
-
发表了文章
2024-12-14
使用机器学习技术进行时间序列缺失数据填充：基础方法与入门案例
-
发表了文章
2024-12-13
Python量化投资实践：基于蒙特卡洛模拟的投资组合风险建模与分析
-
发表了文章
2024-12-12
使用PaliGemma2构建多模态目标检测系统：从架构设计到性能优化的技术实践指南
-
发表了文章
2024-12-11
时间序列预测的不确定性区间估计：基于EnbPI的方法与应用研究
-
发表了文章
2024-12-10
基于Huffman树的层次化Softmax：面向大规模神经网络的高效概率计算方法
-
发表了文章
2024-12-09
Beta分布与汤普森采样：智能决策系统概率采样的理论基础
-
发表了文章
2024-12-08
从方向导数到梯度：深度学习中的关键数学概念详解
-
发表了文章
2024-12-07
ORCA：基于持续批处理的LLM推理性能优化技术详解
