小窗幽记机器学习_社区达人页

2023年07月

• 07.15 13:57:10
  发表了文章 2023-07-15 13:57:10

  LLM系列 | 20：Claude2剑指ChatGPT，长文档问答，真香！

  亲测Claude2的效果，长文档问答效果惊艳！
• 07.09 11:06:41
  发表了文章 2023-07-09 11:06:41

  LLM系列 | 19: ChatGPT应用框架LangChain实践速成

  本文以实践的方式将OpenAI接口、ChatOpenAI接口、Prompt模板、Chain、Agent、Memory这几个LangChain核心模块串起来，从而希望能够让小伙伴们快速地了解LangChain的使用。
• 07.05 23:05:04
  发表了文章 2023-07-05 23:05:04

  LLM 系列 | 18：如何基于LangChain打造联网版ChatGPT？

  今天这篇小作文是LangChain实践专题的第2篇，简单介绍LangChain的用途及如何利用LangChain将ChatGPT和搜索引擎(Google)结合起来，从而实现一个极简的联网版ChatGPT。

2023年06月

• 06.29 22:53:28
  发表了文章 2023-06-29 22:53:28

  LLM 系列 | 17：如何用LangChain做长文档问答？

  本文作为LangChain专题的开篇，以长文档问答为例介绍如何使用LangChain。

  
• 06.29 22:51:59
  发表了文章 2023-06-29 22:51:59

  LLM系列 | 16: 构建端到端智能客服

  本文将综合之前多篇文章搭建一个带评估功能的**端到端智能客服系统**。整体流程大致如下： 检查输入，看看用户输入的query是否能够通过审核API；抽取出商品和对应的类别；抽取出商品信息；模型根据商品信息回答用户问题；将模型的回复输入审核API对回复进行审核。

  
• 06.29 22:46:19
  发表了文章 2023-06-29 22:46:19

  LLM系列 | 15: 如何链接多个Prompt处理复杂任务？以智能客服为例

  今天这篇小作文以智能客服场景为例，介绍如何通过将复杂任务拆分为一系列简单的子任务来链接多个Prompts
• 06.24 09:15:36
  发表了文章 2023-06-24 09:15:36

  LLM系列 | 14: 实测OpenAI函数调用功能：以数据库问答为例

  今天这篇小作文以数据库问答(Text2SQL)为例进一步介绍ChatGPT的函数调用。本文将介绍如何将模型生成的结果输入到自定义的函数中，并利用该功能实现数据库问答功能。

  
• 06.23 15:00:23
  发表了文章 2023-06-23 15:00:23

  模型部署专题 | 02 ：BERT-Tensorflow模型部署(CPU版和GPU版)

  介绍如何用Tensorflow部署BERT模型，包括CPU版和GPU版
• 06.23 14:55:22
  发表了文章 2023-06-23 14:55:22

  机器学习系列 | 04： 知识图谱发展历程及其分类

  本文简要梳理知识图谱的前世今生及其分类
• 06.23 14:50:29
  发表了文章 2023-06-23 14:50:29

  机器学习系列 | 03：从朴素贝叶斯和HMM说起

  本系列博文尝试系统化地梳理概率图模型。本文以朴素贝叶斯和HMM为切入点尝试窥探概率图模型一二。
• 06.23 14:36:18
  发表了文章 2023-06-23 14:36:18

  使用BERT对句子进行向量化(TensorFlow版和Pytorch版)

  本文分别以TensorFlow版和Pytorch版对BERT的句子进行向量化
• 06.23 14:29:55
  发表了文章 2023-06-23 14:29:55

  Python应用专题 | 23：Pandas中两个dataframe的交集和差集

  如何求Pandas中两个dataframe的交集和差集？
• 06.23 14:25:28
  发表了文章 2023-06-23 14:25:28

  Python应用专题 | 22：pandas 两列数据合并

  如何合并 pandas 两列数据？
• 06.23 14:23:56
  发表了文章 2023-06-23 14:23:56

  Python应用专题 | 21 ：按照len长度过滤pandas中值为list类型的数据

  pandas中对于值为list的数据，如果想要根据list的长度进行过滤，如何操作？
• 06.23 14:21:47
  发表了文章 2023-06-23 14:21:47

  Python应用专题 | 20：pandas列值根据字典批量替换

  当DataFrame数据中一列的值需要根据某个字典批量映射为字典中的value，该如何操作？
• 06.23 14:15:04
  发表了文章 2023-06-23 14:15:04

  Python应用专题 | 19：获取list中Top K个值对应的索引

  如何获取list中Top K个值对应的索引？
• 06.23 14:02:54
  发表了文章 2023-06-23 14:02:54

  Python应用专题 | 18：过滤掉list中被其他元素所包含的元素

  介绍如何过滤掉list中被其他元素所包含的元素
• 06.23 13:58:46
  发表了文章 2023-06-23 13:58:46

  Python应用专题 | 17：根据子字符列表过滤掉给定列表

  根据子字符列表过滤掉给定列表，从而实现数据的筛查或者去除
• 06.23 13:55:50
  发表了文章 2023-06-23 13:55:50

  Python应用专题 | 16： pandas中2个nan值为何不同

  主要介绍 pandas中2个nan值为何不同？
• 06.23 13:54:01
  发表了文章 2023-06-23 13:54:01

  Python应用专题 | 15：获取list中出现频数最多的元素

  给定一个列表，找到其中最高频的元素？本文以代码的角度进行介绍。
• 06.23 13:51:44
  发表了文章 2023-06-23 13:51:44

  Python应用专题 | 14：pandas分组之后对相同group内的字段进行合并

  本文主要介绍在pandas中对数据进行分组后，如何对相同组的数据进行其他字段的合并。类似场景：有2个字段，分别是文本内容和标签值。先根据文本内容进行分组，再对同一个组内的标签值进行合并，从而得到多标签值。
• 06.23 13:49:14
  发表了文章 2023-06-23 13:49:14

  Python应用专题 | 13：将标签转为onehot形式

  在做文本分类的时候，常常需要将标签转为one-hot的数值形式，本文主要从代码的角度介绍该操作。
• 06.23 13:46:36
  发表了文章 2023-06-23 13:46:36

  Pytorch使用专题 | 2 ：Pytorch中数据读取-Dataset、Dataloader 、TensorDataset 和 Sampler 的使用

  介绍Pytorch中数据读取-Dataset、Dataloader 、TensorDataset 和 Sampler 的使用
• 06.23 13:43:29
  发表了文章 2023-06-23 13:43:29

  Python应用专题 | 12：用 multiprocessing 处理海量任务

  面对海量任务需要高效对其进行消费，而任务之间不存在处理结果的相互依赖，这时可以尝试使用multiprocessing。
• 06.23 13:40:40
  发表了文章 2023-06-23 13:40:40

  Python应用专题 | 11：如何释放字典的内存占用？

  构建一个大字典，并往其中增减元素，但是发现整体的内存消耗并没有因此而维持稳定状态，而是不断增加。本文尝试定位该问题，并解决。
• 06.23 13:37:35
  发表了文章 2023-06-23 13:37:35

  Pytorch使用专题 | 1：torch.nn.functional.cosine_similarity使用详解

  介绍torch.nn.functional.cosine_similarity的使用
• 06.23 11:58:44
  发表了文章 2023-06-23 11:58:44

  机器学习系列 | 02：聚类算法指标整理

  本文主要整理记录聚类算法指标，以供参考
• 06.23 11:51:46
  发表了文章 2023-06-23 11:51:46

  Python应用专题 | 10：pandas中分隔符由多个字符组成

  在使用pandas过程由于文本中存在形如`,` 、`|` 等常规字符，所以需要自定义分隔符，特别是自定义由多个字符组成的分隔符。那么此时在使用 pandas.read_csv()的时候要如何设置？
• 06.23 11:49:18
  发表了文章 2023-06-23 11:49:18

  Python应用专题 | 9：Pandas中数据去重

  在数据处理过程中常常会遇到重复的问题，这里简要介绍遇到过的数据重复问题及其如何根据具体的需求进行处理。
• 06.23 11:46:54
  发表了文章 2023-06-23 11:46:54

  Python应用专题 | 8：字典内存释放及其浅拷贝和深拷贝之间的区别

  本文主要介绍字典内存释放及其浅拷贝和深拷贝之间的区别
• 06.23 11:43:39
  发表了文章 2023-06-23 11:43:39

  Python应用专题 | 7：pandas中列方向字符统计及其合并

  主要介绍如何统计pandas中列方向字符及其合并
• 06.23 11:41:59
  发表了文章 2023-06-23 11:41:59

  Python应用专题 | 6：基于pandas统计某一列字符串中各个word出现的频率

  如果pandas中某一列是字符串，想要统计该列字符串分词结果后各词出现的词频。
• 06.23 11:38:41
  发表了文章 2023-06-23 11:38:41

  模型部署专题 | 01：基于Triton Server部署BERT模型

  本文简要介绍如何使用 Triton 部署 BERT模型
• 06.23 11:32:08
  发表了文章 2023-06-23 11:32:08

  开发专题 | 2：如何在 docker 容器内部运行 docker命令

  有些场景在容器内部需要调用 `docker` 命令。为此，本文梳理2种可以在容器内部执行`docker`命令的方法。
• 06.23 11:24:17
  发表了文章 2023-06-23 11:24:17

  Python应用专题 | 5：Python多进程处理数据

  本文介绍如何使用多进程的方式高效处理海量任务数据
• 06.23 11:21:25
  发表了文章 2023-06-23 11:21:25

  Python应用专题 | 4：python3中如何对二维数组求最大值

  python3中如何对二维数组求最大值
• 06.23 11:16:00
  发表了文章 2023-06-23 11:16:00

  开发专题 | 1 ：下载 huggingface 上模型的正确姿势

  本文主要介绍如何以正确的方式下载 huggingface 上的模型
• 06.23 11:09:55
  发表了文章 2023-06-23 11:09:55

  Python应用专题 | 3：python读取文件由于编码问题失败汇总

  汇总Python读取文件过程中常见的一些问题及其解决方法
• 06.22 22:54:55
  发表了文章 2023-06-22 22:54:55

  机器学习系列 | 01：多类别分类任务(multi-class)中为何precision,recall和F1相等？

  在 multi-class 分类任务中，如果使用 micro 类指标，那么 micro-precision, micro-recall和micro-F1值都是相等的。本文主要针对这个现象进行解释。
• 06.22 22:48:44
  发表了文章 2023-06-22 22:48:44

  论文解读系列| 06：【NER】LatticeLSTM模型详解

  Lattice LSTM模型是基于词汇增强方法的中文NER的开篇之作。在该模型中，使用了字符信息和所有词序列信息，具体地，当我们通过词汇信息（词典）匹配一个句子时，可以获得一个类似Lattice的结构。这种方式可以避免因分词错误导致实体识别错误，在中文NER任务上有显著效果。
• 06.22 22:43:02
  发表了文章 2023-06-22 22:43:02

  论文解读系列| 05：【NER】SoftLexicon模型详解

  SoftLexicon是一种简单而有效的将词汇信息纳入字符表示的方法。这种方法避免设计复杂的序列建模结构，并且对于任何NER模型，它只需要细微地调整字符表示层来引入词典信息。在4个中文NER基准数据集上的实验结果表明，该方法的推理速度比现有SOTA方法快6.15倍，性能更好。
• 06.22 22:38:07
  发表了文章 2023-06-22 22:38:07

  论文解读系列| 04：【NER】FLAT模型详解

  FLAT也是一种将词汇信息融入character-based模型的解决方案。有2个创新点(1)将lattice结构转为由spans组成的平铺结构，每个span可以是字符或者词及其在原始lattice结构中的位置;(2)基于Transformer设计了一种巧妙position encoding来充分利用lattice结构信息，从而无损地引入词汇信息。
• 06.22 22:31:09
  发表了文章 2023-06-22 22:31:09

  论文解读系列| 03：【NER】FGN模型详解

  汉字作为象形文字有其潜在的特殊字形信息，而这一点经常被忽视。FGN是一种将字形信息融入网络结构的中文NER方法。除了用一个新型CNN对字形信息进行编码外，该方法可以通过融合机制提取字符分布式表示和字形表示之间的交互信息。
• 06.22 22:23:04
  发表了文章 2023-06-22 22:23:04

  论文解读系列| 02：【NER】MarkBERT

  MarkBERT 是一种考虑如何将词信息引入到模型的NER方案。MarkBERT基于字的模型，但巧妙地将词的边界信息融入模型，具体操作是将词之间插入边界marker。出现边界marker意味着前一个字符是词的尾部字符，而紧接着的字符是另一个词的起始字符。如此可以统一处理所有词，不存在词的OOV问题。
• 06.22 22:17:55
  发表了文章 2023-06-22 22:17:55

  论文解读系列 | 01：【NER】W2NER (AAAI 2022)

  2022 AAAI论文《Unified Named Entity Recognition as Word-Word Relation Classification》介绍了一个统一NER的SOTA模型W2NER，该模型在14个包含**扁平实体、重叠实体和非连续**实体的数据集（8个英文 + 6个中文）上，均取得了**SOTA**的结果(F1指标)。W2NER将NER问题视为词词关系分类，为此引入两种词词关系：NNW(Next-Neighboring-Word)和 THW-\*(Tail-Head-Word-\*)。具体而言，构造一个 2D 的词词关系网格。
• 06.22 22:07:03
  发表了文章 2023-06-22 22:07:03

  模型推理加速系列 | 01：如何用ONNX加速BERT特征抽取(附代码)

  本次实验目的在于介绍如何使用ONNXRuntime加速BERT模型推理。实验中的任务是利用BERT抽取输入文本特征，至于BERT在下游任务(如文本分类、问答等)上如何加速推理，后续再介绍。
• 06.22 22:01:56
  发表了文章 2023-06-22 22:01:56

  模型推理加速系列 | 02：如何用ONNX加速BERT特征抽取-part2(附代码)

  本文紧接之前的一篇文章如何用ONNX加速BERT特征抽取，继续介绍如何用ONNX+ONNXRuntime来加速BERT模型推理。
• 06.22 11:44:28
  发表了文章 2023-06-22 11:44:28

  模型推理加速系列 | 03：Pytorch模型量化实践并以ResNet18模型量化为例(附代码)

  本文主要简要介绍Pytorch模型量化相关，并以ResNet18模型为例进行量化实践。
• 06.22 11:25:31
  发表了文章 2023-06-22 11:25:31

  模型推理加速系列 | 04：BERT加速方案对比 TorchScript vs. ONNX

  本文以 BERT-base 的为例，介绍2种常用的推理加速方案：ONNX 和 TorchScript，并实测对比这两种加速方案与原始Pytorch模型格式的inference性能。