用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型
本部分以文本分类任务为例，介绍transformers上如何微调预训练模型。
文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing...）
本文是作者在学习文本摘要任务的过程中，根据学习资料总结逐步得到并整理为成文的相关内容。相关学习资料（包括论文、博文、视频等）都会以脚注等形式标明。有一些在一篇内会导致篇幅过长的内容会延伸到其他博文中撰写，但会在本文中提供超链接。 本文将主要列举里程碑式的重要文本摘要论文。 注意：除文首的表格外，本文所参考的论文，如本人已撰写对应的学习博文，则不直接引用原论文，而引用我撰写的博文。 本文会长期更新。
【预测模型-DELM分类】基于风驱动算法改进深度学习极限学习机实现数据分类附matlab代码
【预测模型-DELM分类】基于风驱动算法改进深度学习极限学习机实现数据分类附matlab代码
PyTorch学习笔记（五）：模型定义、修改、保存
Module 类是 torch.nn 模块里提供的一个模型构造类 (nn.Module)，是所有神经⽹网络模块的基类，我们可以继承它来定义我们想要的模型； PyTorch模型定义应包括两个主要部分：各个部分的初始化（_init_）；数据流向定义（forward） 基于nn.Module，可以通过Sequential，ModuleList和ModuleDict三种方式定义PyTorch模型。
Transformer模型详解
考虑到RNN（或者LSTM、GRU等）的计算限制为是顺序的，也就是说RNN相关算法只能从左向右依次计算或者从右向左依次计算，这种机制带来了两个问题： 时间片t的计算依赖t-1时刻的计算结果，这样限制了模型的并行能力； 顺序计算的过程中信息会丢失，尽管LSTM等门机制的结构一定程度上缓解了长期依赖的问题，但是对于特别长期的依赖现象，LSTM依旧无能为力。
基于Fashion-MNIST数据集的模型剪枝（下）
1. 介绍 1.1 背景介绍 目前在深度学习中存在一些困境，对于移动是设备来说，主要是算不好；穿戴设备算不来；数据中心，大多数人又算不起 。这就是做模型做压缩与加速的初衷。
基于Fashion-MNIST数据集的模型剪枝（上）
1. 介绍 1.1 背景介绍 目前在深度学习中存在一些困境，对于移动是设备来说，主要是算不好；穿戴设备算不来；数据中心，大多数人又算不起 。这就是做模型做压缩与加速的初衷。
tebsorflow2.0 多输出模型实例
1. 简单介绍 2. 加载相关数据包 2.1 图片的路径的配置 2.2 读取图片 3. 图片预处理 4. 训练阶段 4.1 设置验证集与数据集 4.2 构建模型并训练 5. 模型评估
tebsorflow2.0 使用Keras编写自定义图层和模型（下）
1.构建自定义层 1.1 基本模型框架构建 1.2 延迟创建权重，直到知道输入的形状 1.3 层的递归组合 1.4 层中创建loss张量 1.5 选择性地将层序列化 1.6 在call方法中给与训练参数特权 2. 建立模型
深度学习推荐模型-DIN
Deep Interest Network(DIN)是盖坤大神领导的阿里妈妈的精准定向检索及基础算法团队，在2017年6月提出的。 它针对电子商务领域(e-commerce industry)的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。
深度学习推荐模型-DeepFM
在DeepFM提出之前，已有LR，FM，FFM，FNN，PNN（以及三种变体：IPNN,OPNN,PNN*）,Wide&Deep模型，这些模型在CTR或者是推荐系统中被广泛使用。
深度学习推荐模型-DeepCrossing
2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征的组合方式，也能达到不错的效果，且在各种任务中表现出较好的稳定性。与之前介绍的FNN、PNN不同的是，Deep Crossing并没有采用显式交叉特征的方式，而是利用残差网络结构挖掘特征间的关系。本文将对DeepCrossing从原理到实现细节进行详细分析。
EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT
本⽂简要介绍CKBERT的技术解读，以及如何在EasyNLP框架、HuggingFace Models和阿里云机器学习平台PAI上使⽤CKBERT模型。
如何向大模型注入知识？达摩院通义对话模型SPACE系列探索
如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起进行预训练，从而把标注数据中蕴含的知识注入到预训练模型中去，打造了SPACE 1/2/3 系列模型，在11个国际公开对话数据集取得SOTA。
【ModelScope】快速搭建FAQ智能问答机器人
本文主要介绍FAQ问答模型的使用，基于海量的标注/弱标注数据训练的FAQ模型可用作相似度计算，小样本分类，FAQ问答等多种场景，效果杠杠的
ModelScope模型即服务
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
