Deephub_社区达人页

2023年12月

• 11.27 09:37:03
  发表了文章 2023-11-27 09:37:03

  PubMedBERT:生物医学自然语言处理领域的特定预训练模型

  今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决方案，“小”模型也有一定的用武之地，所以今天我们来介绍PubMedBERT，它使用特定领域语料库从头开始预训练BERT，这是微软研究院2022年发布在ACM的论文。

  
• 11.26 09:22:16
  发表了文章 2023-11-26 09:22:16

  使用skforecast进行时间序列预测

  时间序列预测是数据科学和商业分析中基于历史数据预测未来价值的一项重要技术。它有着广泛的应用，从需求规划、销售预测到计量经济分析。由于Python的多功能性和专业库的可用性，它已经成为一种流行的预测编程语言。其中一个为时间序列预测任务量身定制的库是skforecast。

  
• 11.25 10:15:27
  发表了文章 2023-11-25 10:15:27

  LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理

  大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的LlamaIndex的进行集成执行高效推理。

  
• 11.24 11:31:39
  发表了文章 2023-11-24 11:31:39

  6个常用的聚类评价指标

  评估聚类结果的有效性，即聚类评估或验证，对于聚类应用程序的成功至关重要。

  
• 11.23 10:16:42
  发表了文章 2023-11-23 10:16:42

  斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积

  斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解，在FLOP和I/O成本之间取得平衡，提高模型质量和效率。并且优于PyTorch和FlashAttention-v2。它可以处理更长的序列，并在人工智能应用程序中打开新的可能性
• 11.22 10:15:45
  发表了文章 2023-11-22 10:15:45

  使用ExLlamaV2量化并运行EXL2模型

  量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中，GPTQ在gpu上提供了惊人的性能。与非量化模型相比，该方法使用的VRAM几乎减少了3倍，同时提供了相似的精度水平和更快的生成速度。

2023年11月

• 11.21 11:24:34
  发表了文章 2023-11-21 11:24:34

  对OpenAI CEO奥特曼突然被解雇事件的一些分析

  今天也来凑个热闹，说说OpenAI的事。

  
• 11.20 09:27:16
  发表了文章 2023-11-20 09:27:16

  Chain-Of-Note：解决噪声数据、不相关文档和域外场景来改进RAG的表现

  CoN框架由三种不同的类型组成，研究称之为阅读笔记。

  
• 11.17 09:38:43
  发表了文章 2023-11-17 09:38:43

  使用FP8加速PyTorch训练

  在这篇文章中，我们将介绍如何修改PyTorch训练脚本，利用Nvidia H100 GPU的FP8数据类型的内置支持。
• 11.16 10:55:13
  发表了文章 2023-11-16 10:55:13

  大语言模型量化方法对比：GPTQ、GGUF、AWQ

  在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
• 11.15 09:31:47
  发表了文章 2023-11-15 09:31:47

  sMLP:稀疏全mlp进行高效语言建模

  论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。

  
• 11.14 10:07:22
  发表了文章 2023-11-14 10:07:22

  神经网络中的量化与蒸馏

  本文将深入研究深度学习中精简模型的技术：量化和蒸馏

  
• 11.13 09:44:50
  发表了文章 2023-11-13 09:44:50

  无监督学习的集成方法：相似性矩阵的聚类

  在机器学习中，术语Ensemble指的是并行组合多个模型，这个想法是利用群体的智慧，在给出的最终答案上形成更好的共识。

  
• 11.12 09:34:05
  发表了文章 2023-11-12 09:34:05

  XoT：一种新的大语言模型的提示技术

  这是微软在11月最新发布的一篇论文，题为“Everything of Thoughts: Defying the Law of Penrose Triangle for Thought Generation”，介绍了一种名为XOT的提示技术，它增强了像GPT-3和GPT-4这样的大型语言模型(llm)解决复杂问题的潜力。
• 11.11 11:16:08
  发表了文章 2023-11-11 11:16:08

  LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

  LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。
• 11.10 09:51:22
  发表了文章 2023-11-10 09:51:22

  线性回归，核技巧和线性核

  在这篇文章中，我想展示一个有趣的结果：线性回归与无正则化的线性核ridge回归是等 价的。

  
• 11.09 14:56:33
  发表了文章 2023-11-09 14:56:33

  使用递归图 recurrence plot 表征时间序列

  在本文中，我将展示如何使用递归图 Recurrence Plots 来描述不同类型的时间序列。我们将查看具有500个数据点的各种模拟时间序列。我们可以通过可视化时间序列的递归图并将其与其他已知的不同时间序列的递归图进行比较，从而直观地表征时间序列。

  
• 11.08 10:01:40
  发表了文章 2023-11-08 10:01:40

  使用Streamlit创建AutoGen用户界面

  AutoGen作为一个最大化LLM(如GPT-4)能力的框架而脱颖而出。由微软研究院开发的AutoGen通过提供一种自动化、优化和编排工作流的方法，简化了复杂的、基于多代理llm的应用程序的创建。我们在以前的文章中也有过介绍，你可以与许多GPT交谈，并且GPT和GPT之间也可以互相交谈。每个GPT都是它自己的“代理”，并在总体业务流程中扮演特殊角色。但是AutoGen是用命令行模式进行交互的，这对我们的输入来说非常不方便，所以这次我们来对其进行改造，使用Streamlit创建一个web界面，这样可以让我们更好的与其交互。

  
• 11.07 10:54:15
  发表了文章 2023-11-07 10:54:15

  使用Python从零实现多分类SVM

  本文将首先简要概述支持向量机及其训练和推理方程，然后将其转换为代码以开发支持向量机模型。之后然后将其扩展成多分类的场景，并通过使用Sci-kit Learn测试我们的模型来结束。
• 11.06 10:28:41
  发表了文章 2023-11-06 10:28:41

  使用蒙特卡罗模拟的投资组合优化

  在金融市场中，优化投资组合对于实现风险与回报之间的预期平衡至关重要。蒙特卡罗模拟提供了一个强大的工具来评估不同的资产配置策略及其在不确定市场条件下的潜在结果。

  
• 11.05 08:55:53
  发表了文章 2023-11-05 08:55:53

  Spectron: 谷歌的新模型将语音识别与语言模型结合进行端到端的训练

  Spectron是谷歌Research和Verily AI开发的新的模型。与传统的语言模型不同，Spectron直接处理频谱图作为输入和输出。该模型消除归纳偏差，增强表征保真度，提高音频生成质量。
• 11.04 09:56:02
  发表了文章 2023-11-04 09:56:02

  使用LIME解释各种机器学习模型代码示例

  机器学习模型变得越来越复杂和准确，但它们的不透明性仍然是一个重大挑战。理解为什么一个模型会做出特定的预测，对于建立信任和确保它按照预期行事至关重要。在本文中，我们将介绍LIME，并使用它来解释各种常见的模型。

  
• 11.03 09:45:56
  发表了文章 2023-11-03 09:45:56

  10月发布的5篇人工智能论文推荐

  10月发布的5篇人工智能论文推荐

  
• 11.02 09:29:40
  发表了文章 2023-11-02 09:29:40

  数据抽样技术全面概述

  抽样是研究和数据收集中不可或缺的方法，能够从更大数据中获得有意义的见解并做出明智的决定的子集。

  
• 11.01 09:39:27
  发表了文章 2023-11-01 09:39:27

  AutoGen完整教程和加载本地LLM示例

  Autogen是一个卓越的人工智能系统，它可以创建多个人工智能代理，这些代理能够协作完成任务，包括自动生成代码，并有效地执行任务。

  

2023年10月

• 10.31 09:11:47
  发表了文章 2023-10-31 09:11:47

  使用Llama index构建多代理 RAG

  检索增强生成(RAG)已成为增强大型语言模型(LLM)能力的一种强大技术。通过从知识来源中检索相关信息并将其纳入提示，RAG为LLM提供了有用的上下文，以产生基于事实的输出。
• 10.30 09:24:41
  发表了文章 2023-10-30 09:24:41

  使用Panda-Gym的机器臂模拟进行Deep Q-learning强化学习

  强化学习(RL)是一种机器学习方法，它允许代理通过试错来学习如何在环境中表现。行为主体因采取行动导致预期结果而获得奖励，因采取行动导致预期结果而受到惩罚。随着时间的推移，代理学会采取行动，使其预期回报最大化。

  
• 10.29 09:33:25
  发表了文章 2023-10-29 09:33:25

  使用FastAPI部署Ultralytics YOLOv5模型

  YOLO是You Only Look Once(你只看一次)的缩写，它具有识别图像中的物体的非凡能力，在日常应用中会经常被使用。所以在本文中，我们将介绍如何使用FastAPI的集成YOLOv5，这样我们可以将YOLOv5做为API对外提供服务。

  
• 10.28 09:52:20
  发表了文章 2023-10-28 09:52:20

  Python时间序列分析库介绍：statsmodels、tslearn、tssearch、tsfresh

  时间序列分析在金融和医疗保健等领域至关重要，在这些领域，理解随时间变化的数据模式至关重要。在本文中，我们将介绍四个主要的Python库——statmodels、tslearn、tssearch和tsfresh——每个库都针对时间序列分析的不同方面进行了定制。这些库为从预测到模式识别的任务提供了强大的工具，使它们成为各种应用程序的宝贵资源。
• 10.26 10:00:27
  发表了文章 2023-10-26 10:00:27

  Table-GPT:让大语言模型理解表格数据

  llm对文本指令非常有用，但是如果我们尝试向模型提供某种文本格式的表格数据和该表格上的问题，LLM更有可能产生不准确的响应。

  
• 10.25 09:47:06
  发表了文章 2023-10-25 09:47:06

  VeRA: 性能相当，但参数却比LoRA少10倍

  2022年的LoRA提高了微调效率，它在模型的顶部添加低秩(即小)张量进行微调。模型的参数被冻结。只有添加的张量的参数是可训练的。

  
• 10.24 10:53:33
  发表了文章 2023-10-24 10:53:33

  LlamaIndex使用指南

  LlamaIndex是一个方便的工具，它充当自定义数据和大型语言模型(llm)(如GPT-4)之间的桥梁，大型语言模型模型功能强大，能够理解类似人类的文本。LlamaIndex都可以轻松地将数据与这些智能机器进行对话。这种桥梁建设使你的数据更易于访问，为更智能的应用程序和工作流铺平了道路。

  
• 10.23 09:49:13
  发表了文章 2023-10-23 09:49:13

  数据分析和机器学习的11个高级可视化图表介绍

  可视化是一种强大的工具，用于以直观和可理解的方式传达复杂的数据模式和关系。它们在数据分析中发挥着至关重要的作用，提供了通常难以从原始数据或传统数字表示中辨别出来的见解。

  
• 10.22 09:20:03
  发表了文章 2023-10-22 09:20:03

  使用TensorRT-LLM进行高性能推理

  LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库，它号称可以增加4倍的推理速度。
• 10.20 09:39:39
  发表了文章 2023-10-20 09:39:39

  使用Pytorch Geometric 进行链接预测代码示例

  PyTorch Geometric (PyG)是构建图神经网络模型和实验各种图卷积的主要工具。在本文中我们将通过链接预测来对其进行介绍。

  
• 10.19 11:22:22
  发表了文章 2023-10-19 11:22:22

  LSTM-CRF模型详解和Pytorch代码实现

  在快速发展的自然语言处理领域，Transformers 已经成为主导模型，在广泛的序列建模任务中表现出卓越的性能，包括词性标记、命名实体识别和分块。在Transformers之前，条件随机场(CRFs)是序列建模的首选工具，特别是线性链CRFs，它将序列建模为有向图，而CRFs更普遍地可以用于任意图。

  
• 10.18 09:40:00
  发表了文章 2023-10-18 09:40:00

  TSMixer：谷歌发布的用于时间序列预测的全新全mlp架构

  这是谷歌在9月最近发布的一种新的架构 TSMixer: An all-MLP architecture for time series forecasting ，TSMixer是一种先进的多元模型，利用线性模型特征，在长期预测基准上表现良好。据我们所知，TSMixer是第一个在长期预测基准上表现与最先进的单变量模型一样好的多变量模型，在长期预测基准上，表明交叉变量信息不太有益。”

  
• 10.17 12:29:56
  发表了文章 2023-10-17 12:29:56

  使用Pytorch实现频谱归一化生成对抗网络(SN-GAN)

  自从扩散模型发布以来，GAN的关注度和论文是越来越少了，但是它们里面的一些思路还是值得我们了解和学习。所以本文我们来使用Pytorch 来实现SN-GAN

  
• 10.16 09:34:41
  发表了文章 2023-10-16 09:34:41

  使用轮廓分数提升时间序列聚类的表现

  我们将使用轮廓分数和一些距离指标来执行时间序列聚类实验，并且进行可视化

  
• 10.15 10:00:28
  发表了文章 2023-10-15 10:00:28

  9月大型语言模型研究论文总结

  大型语言模型(llm)在今年发展迅速，随着新一代模型不断地被开发，研究人员和工程师了解最新进展变得非常重要。本文总结9-10月期间发布了一些重要的LLM论文。

  
• 10.14 10:01:13
  发表了文章 2023-10-14 10:01:13

  向量化操作简介和Pandas、Numpy示例

  Pandas是一种流行的用于数据操作的Python库，它提供了一种称为“向量化”的强大技术可以有效地将操作应用于整个列或数据系列，从而消除了显式循环的需要。在本文中，我们将探讨什么是向量化，以及它如何简化数据分析任务。

  
• 10.13 09:47:52
  发表了文章 2023-10-13 09:47:52

  TimesNet:时间序列预测的最新模型

  2023年4月发表了一个新的模型，它在时间序列分析的多个任务中实现了最先进的结果，如预测、imputation、分类和异常检测:TimesNet。

  
• 10.11 09:34:31
  发表了文章 2023-10-11 09:34:31

  GPU 虚拟化技术MIG简介和安装使用教程

  使用多实例GPU (MIG/Multi-Instance GPU)可以将强大的显卡分成更小的部分，每个部分都有自己的工作，这样单张显卡可以同时运行不同的任务。本文将对其进行简单介绍并且提供安装和使用的示例。
• 10.10 09:47:16
  发表了文章 2023-10-10 09:47:16

  常用的相似度度量总结：余弦相似度，点积，L1，L2

  相似性度量在机器学习中起着至关重要的作用。这些度量以数学方式量化对象、数据点或向量之间的相似性。理解向量空间中的相似性概念并采用适当的度量是解决广泛的现实世界问题的基础。本文将介绍几种常用的用来计算两个向量在嵌入空间中的接近程度的相似性度量。

  
• 10.09 09:36:28
  发表了文章 2023-10-09 09:36:28

  三个主要降维技术对比介绍：PCA, LCA,SVD

  本文将深入研究三种强大的降维技术——主成分分析(PCA)、线性判别分析(LDA)和奇异值分解(SVD)。我们不仅介绍这些方法的基本算法，而且提供各自的优点和缺点。
• 10.08 09:45:27
  发表了文章 2023-10-08 09:45:27

  XGBoost 2.0:对基于树的方法进行了重大更新

  XGBoost是处理不同类型表格数据的最著名的算法，LightGBM 和Catboost也是为了修改他的缺陷而发布的。9月12日XGBoost发布了新的2.0版，本文除了介绍让XGBoost的完整历史以外，还将介绍新机制和更新。

  
• 10.07 09:29:07
  发表了文章 2023-10-07 09:29:07

  从GPU的内存访问视角对比NHWC和NCHW

  NHWC和NCHW是卷积神经网络(cnn)中广泛使用的数据格式。它们决定了多维数据，如图像、点云或特征图如何存储在内存中。

  

2023年09月

• 09.30 09:30:28
  发表了文章 2023-09-30 09:30:28

  LongLoRA:不需要大量计算资源的情况下增强了预训练语言模型的上下文能力

  麻省理工学院和香港中文大学推出了LongLoRA，这是一种革命性的微调方法，可以在不需要大量计算资源的情况下提高大量预训练语言模型的上下文能力。

  
• 09.29 09:34:59
  发表了文章 2023-09-29 09:34:59

  处理不平衡数据的十大Python库

  数据不平衡是机器学习中一个常见的挑战，其中一个类的数量明显超过其他类，这可能导致有偏见的模型和较差的泛化。有各种Python库来帮助有效地处理不平衡数据。在本文中，我们将介绍用于处理机器学习中不平衡数据的十大Python库，并为每个库提供代码片段和解释。

  
• 09.28 09:02:16
  发表了文章 2023-09-28 09:02:16

  使用高斯混合模型拆分多模态分布

  本文介绍如何使用高斯混合模型将一维多模态分布拆分为多个分布。