Deephub_社区达人页

2023年08月

• 08.03 09:33:31
  发表了文章 2023-08-03 09:33:31

  TabR:检索增强能否让深度学习在表格数据上超过梯度增强模型？

  这是一篇7月新发布的论文，他提出了使用自然语言处理的检索增强*Retrieval Augmented*技术，目的是让深度学习在表格数据上超过梯度增强模型。

  
• 08.02 09:31:06
  发表了文章 2023-08-02 09:31:06

  10个简单但很有用的Python装饰器

  装饰器（Decorators）是Python中一种强大而灵活的功能，用于修改或增强函数或类的行为。装饰器本质上是一个函数，它接受另一个函数或类作为参数，并返回一个新的函数或类。它们通常用于在不修改原始代码的情况下添加额外的功能或功能。

2023年07月

• 07.31 09:21:36
  发表了文章 2023-07-31 09:21:36

  SDXL 1.0 介绍和优缺点总结

  2023年7月26日:Stability. AI 发布SDXL 1.0，这是对其生成模型的又一次重大更新，带来了突破性的变化。

  
• 07.30 11:21:01
  发表了文章 2023-07-30 11:21:01

  因子分解机介绍和PyTorch代码实现

  因子分解机（Factorization Machines，简称FM）是一种用于解决推荐系统、回归和分类等机器学习任务的模型。它由Steffen Rendle于2010年提出，是一种基于线性模型的扩展方法，能够有效地处理高维稀疏数据，并且在处理特征组合时表现出色。它是推荐系统的经典模型之一，并且模型简单、可解释性强，所以搜索广告与推荐算法领域还在被使用。今天我们来详细介绍它并使用Pytorch代码进行简单的实现。
• 07.29 11:16:20
  发表了文章 2023-07-29 11:16:20

  Meta-Transformer 多模态学习的统一框架

  Meta-Transformer是一个用于多模态学习的新框架，用来处理和关联来自多种模态的信息，如自然语言、图像、点云、音频、视频、时间序列和表格数据

  
• 07.28 12:58:21
  发表了文章 2023-07-28 12:58:21

  图注意力网络论文详解和PyTorch实现

  图神经网络(gnn)是一类功能强大的神经网络，它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。

  
• 07.27 09:55:50
  发表了文章 2023-07-27 09:55:50

  DeepSpeed-MoE:训练更大及更复杂的混合专家网络

  这是微软发布在**2022 ICML**的论文，MoE可以降低训练成本，但是快速的MoE模型推理仍然是一个未解决的问题。所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE：它包括新颖的MoE架构设计和模型压缩技术，可将MoE模型大小减少3.7倍；通过高度优化的推理系统，减少了7.3倍的延迟和成本;与同等质量的密集模型相比，推理速度提高4.5倍，成本降低9倍。

  
• 07.26 10:06:54
  发表了文章 2023-07-26 10:06:54

  2023年发布的25个开源大型语言模型总结

  大型语言模型(llm)是一种人工智能(AI)，在大量文本和代码数据集上进行训练。它们可以用于各种任务，包括生成文本、翻译语言和编写不同类型的创意内容。

  
• 07.25 09:36:26
  发表了文章 2023-07-25 09:36:26

  Python 3.11的10个使代码更加高效的新特性

  在本文中我们将介绍Python 3.11新特性，通过代码示例演示这些技巧如何提高生产力并优化代码。
• 07.24 09:30:16
  发表了文章 2023-07-24 09:30:16

  LLM-Blender：大语言模型也可以进行集成学习

  最近在看arxiv的时候发现了一个有意思的框架：LLM-Blender，它可以使用Ensemble 的方法来对大语言模型进行集成。

  
• 07.23 09:42:31
  发表了文章 2023-07-23 09:42:31

  Stable Diffusion在各种显卡上的加速方式测试，最高可以提速211.2%

  Stable Diffusion是一种基于扩散模型的图像生成技术，能够从文本生成高质量的图像，适用于CG，插图和高分辨率壁纸等领域。

  
• 07.22 09:49:03
  发表了文章 2023-07-22 09:49:03

  使用QLoRa微调Llama 2

  上篇文章我们介绍了Llama 2的量化和部署，本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。只有可以对数据进行微调我们才可以将这种大模型进行符合我们数据集的定制化。

  
• 07.21 09:27:54
  发表了文章 2023-07-21 09:27:54

  使用Cleanlab、PCA和Procrustes可视化ViT微调

  与传统的卷积神经网络不同，vit使用最初设计用于自然语言处理任务的Transformers 架构来处理图像。微调这些模型以获得最佳性能可能是一个复杂的过程。
• 07.20 09:44:23
  发表了文章 2023-07-20 09:44:23

  使用GGML和LangChain在CPU上运行量化的llama2

  Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1，训练所用的 token 翻了一倍，已经达到了 2 万亿，对于使用大模型最重要的上下文长度限制，Llama 2 也翻了一倍。

  
• 07.19 09:41:44
  发表了文章 2023-07-19 09:41:44

  基于Gym Anytrading 的强化学习简单实例

  近年来强化学习(RL)在算法交易领域受到了极大的关注。强化学习算法从经验中学习并基于奖励优化行动使其非常适合交易机器人。在这篇文章，我们将简单介绍如何使用Gym Anytrading环境和GME (GameStop Corp.)交易数据集构建一个基于强化学习的交易机器人。

  
• 07.18 09:59:07
  发表了文章 2023-07-18 09:59:07

  时间序列的季节性：3种模式及8种建模方法

  分析和处理季节性是时间序列分析中的一个关键工作，在本文中我们将描述三种类型的季节性以及常见的8种建模方法。

  
• 07.17 10:00:10
  发表了文章 2023-07-17 10:00:10

  在自定义数据集上微调Alpaca和LLaMA

  本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face)进行评估。此外还将介绍如何使用grado应用程序部署和测试模型。

  
• 07.16 09:58:19
  发表了文章 2023-07-16 09:58:19

  使用CatBoost和SHAP进行多分类完整代码示例

  CatBoost是顶尖的机器学习模型之一。凭借其梯度增强技术以及内置函数，可以在不做太多工作的情况下生成一些非常好的模型。SHAP (SHapley Additive exPlanation)是旨在解释具有独特视觉效果和性能价值的机器学习模型的输出。CatBoost和SHAP结合在一起构成了一个强大的组合，可以产生一些非常准确并且可以进行解释的结果。

  
• 07.15 09:58:49
  发表了文章 2023-07-15 09:58:49

  使用Dreambooth LoRA微调SDXL 0.9

  本文将介绍如何通过LoRA对Stable Diffusion XL 0.9进行Dreambooth微调。DreamBooth是一种仅使用几张图像(大约3-5张)来个性化文本到图像模型的方法。

  
• 07.14 09:16:49
  发表了文章 2023-07-14 09:16:49

  7个有用的Prompt参数

  ChatGPT和Midjournal使得生成式人工智能的应用程序激增。当涉及到生成式AI时，"prompt"通常指的是作为输入给模型的初始提示或指示。它是一个短语、问题、句子或段落，用来引导模型生成相关的响应或文本。

  
• 07.13 10:08:16
  发表了文章 2023-07-13 10:08:16

  ​注意力机制中的掩码详解

  注意力机制的掩码允许我们发送不同长度的批次数据一次性的发送到transformer中。在代码中是通过将所有序列填充到相同的长度，然后使用“attention_mask”张量来识别哪些令牌是填充的来做到这一点，本文将详细介绍这个掩码的原理和机制。

  
• 07.08 10:28:53
  发表了文章 2023-07-08 10:28:53

  并行计算框架Polars、Dask的数据处理性能对比

  在Pandas 2.0发布以后，我们发布过一些评测的文章，这次我们看看，除了Pandas以外，常用的两个都是为了大数据处理的并行数据框架的对比测试。
• 07.07 09:46:19
  发表了文章 2023-07-07 09:46:19

  使用Streamlit和OpenAI API构建视频摘要

  本文提供了使用Streamlit和OpenAI创建的视频摘要应用程序的概述。该程序为视频的每个片段创建简洁的摘要，并总结视频的完整内容。
• 07.06 10:42:25
  发表了文章 2023-07-06 10:42:25

  矢量数据库对比和选择指南

  矢量数据库是为实现高维矢量数据的高效存储、检索和相似性搜索而设计的。使用一种称为嵌入的过程，将向量数据表示为一个连续的、有意义的高维向量。
• 07.05 10:09:45
  发表了文章 2023-07-05 10:09:45

  WideNet:让网络更宽而不是更深

  这是新加坡国立大学在2022 aaai发布的一篇论文。WideNet是一种参数有效的框架，它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN)，使模型沿宽度缩放。使用单独LN用于转换各种语义表示，而不是共享权重。

  
• 07.04 10:35:34
  发表了文章 2023-07-04 10:35:34

  LeViT-UNet：transformer 编码器和CNN解码器的有效整合

  levi - unet[2]是一种新的医学图像分割架构，它使用transformer 作为编码器，这使得它能够更有效地学习远程依赖关系。levi - unet[2]比传统的U-Nets更快，同时仍然实现了最先进的分割性能。
• 07.03 09:42:28
  发表了文章 2023-07-03 09:42:28

  基于声音信号的工业设备异常检测

  异常检测主要目标是将异常事件与正常事件区分开来，因此才有了“异常”一词。本文将介绍基于声音信号的工业机械异常检测，使用的数据集是MIMII声音数据集，该数据集很容易在网上获得。

  
• 07.02 09:46:05
  发表了文章 2023-07-02 09:46:05

  玩转Matplotlib的10个高级技巧

  Matplotlib是Python中流行的数据可视化库，仅使用简单的几行代码就可以生成图表。但是默认的方法是生成的图表很简单，如果想增强数据演示的影响和清晰度，可以试试本文总结的10个高级技巧，这些技巧可以将可视化提升到一个新的水平:

  

2023年06月

• 06.30 09:37:44
  发表了文章 2023-06-30 09:37:44

  MidJourney v5.2 、Stable Diffusion XL 0.9 出图对比

  最近两个最流行的AI图像生成器，Midjourney和Stable Diffusion，都发布了重大更新。Midjourney v5.2引入了许多新功能，包括“缩小”功能、“/缩短”命令、改进的图像质量等。

  
• 06.29 09:10:32
  发表了文章 2023-06-29 09:10:32

  LLM-Client一个轻量级的LLM集成工具

  大型语言模型(llm)已经彻底改变了我们与文本交互的方式，OpenAI、Google、AI21、HuggingfaceHub、Anthropic和众多开源模型提供了不同的功能和优势。但是每个模型都有其独特的体系结构、api和兼容性需求，集成这些模型是一项耗时且具有挑战性的任务。

  
• 06.28 10:33:02
  发表了文章 2023-06-28 10:33:02

  用于语义图像分割的弱监督和半监督学习：弱监督期望最大化方法

  这篇论文只有图像级标签或边界框标签作为弱/半监督学习的输入。使用期望最大化(EM)方法，用于弱/半监督下的语义分割模型训练。

  
• 06.27 10:36:28
  发表了文章 2023-06-27 10:36:28

  10个图像处理的Python库

  在这篇文章中，我们将整理计算机视觉项目中常用的Python库，如果你想进入计算机视觉领域，可以先了解下本文介绍的库，这会对你的工作很有帮助。

  
• 06.26 10:15:08
  发表了文章 2023-06-26 10:15:08

  本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama

  在过去的几个月里，大型语言模型(llm)获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。

  
• 06.25 09:49:35
  发表了文章 2023-06-25 09:49:35

  MaskFormer：将语义分割和实例分割作为同一任务进行训练

  目标检测和实例分割是计算机视觉的基本任务，在从自动驾驶到医学成像的无数应用中发挥着关键作用。目标检测的传统方法中通常利用边界框技术进行对象定位，然后利用逐像素分类为这些本地化实例分配类。但是当处理同一类的重叠对象时，或者在每个图像的对象数量不同的情况下，这些方法通常会出现问题。

  
• 06.23 10:03:49
  发表了文章 2023-06-23 10:03:49

  轻量级的深度学习框架Tinygrad

  Tinygrad是一个轻量级的深度学习库，它提供了一种简化和直观的方法来理解和实现神经网络。在本文中，我们将探讨Tinygrad及其主要功能，以及它如何成为那些开始深度学习之旅的人的有价值的工具。

  
• 06.22 16:54:42
  发表了文章 2023-06-22 16:54:42

  PromptBench:大型语言模型的对抗性基准测试

  PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步，随着这些模型在各种应用中越来越普遍，这个主题也变得越来越重要。

  
• 06.21 09:40:02
  发表了文章 2023-06-21 09:40:02

  Video-LLaMa:利用多模态增强对视频内容理解

  在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支，即视觉语言分支和音频语言分支，分别将视频帧和音频信号转换为与llm文本输入兼容的查询表示。

  
• 06.20 09:43:06
  发表了文章 2023-06-20 09:43:06

  图解transformer中的自注意力机制

  本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。

  
• 06.19 09:06:20
  发表了文章 2023-06-19 09:06:20

  使用PyMC进行时间序列分层建模

  在统计建模领域，理解总体趋势的同时解释群体差异的一个强大方法是分层(或多层)建模。这种方法允许参数随组而变化，并捕获组内和组间的变化。在时间序列数据中，这些特定于组的参数可以表示不同组随时间的不同模式。
• 06.18 09:29:00
  发表了文章 2023-06-18 09:29:00

  6月人工智能论文推荐

  6月人工智能论文推荐

  
• 06.17 11:55:09
  发表了文章 2023-06-17 11:55:09

  开源大型语言模型(llm)总结

  大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。

  
• 06.16 09:31:34
  发表了文章 2023-06-16 09:31:34

  时间序列异常检测：统计和机器学习方法介绍

  在本文中将探索各种方法来揭示时间序列数据中的异常模式和异常值。
• 06.15 09:10:45
  发表了文章 2023-06-15 09:10:45

  XGBoost超参数调优指南

  本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。
• 06.14 10:05:17
  发表了文章 2023-06-14 10:05:17

  预训练、微调和上下文学习

  最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。

  
• 06.13 09:40:31
  发表了文章 2023-06-13 09:40:31

  量子机器学习Variational Quantum Classifier (VQC)简介

  变分量子分类器（Variational Quantum Classifier，简称VQC）是一种利用量子计算技术进行分类任务的机器学习算法。它属于量子机器学习算法家族，旨在利用量子计算机的计算能力，潜在地提升经典机器学习方法的性能。
• 06.12 10:14:09
  发表了文章 2023-06-12 10:14:09

  Segment-Anything的一些相关论文总结

  Segment-Anything的一些相关论文总结

  
• 06.11 10:55:01
  发表了文章 2023-06-11 10:55:01

  时间序列预测的20个基本概念总结

  时间序列是一组按时间顺序排列的数据点

  
• 06.10 09:53:38
  发表了文章 2023-06-10 09:53:38

  使用NLPAUG 进行文本数据的扩充增强

  在机器学习中，训练数据集的质量在很大程度上决定了模型的有效性。我们往往没有足够的多样化数据，这影响了模型的准确性。这时数据增强技术就派上了用场。

  
• 06.09 09:54:54
  发表了文章 2023-06-09 09:54:54

  谷歌发布一个免费的生成式人工智能课程

  在过去几周，我们看到的都是AI将如何改变生活，无论是ChatGPT的文本生成，还是SD，Midjourney 的图像生成，这些AI的特点就是都是生成式的AI。而几天前，谷歌推出了一个生成式人工智能学习课程，课程涵盖了生成式人工智能入门、大型语言模型、图像生成等主题。