NLP 学习:Transformer 公开课课程大纲(21-30)

简介: NLP 学习:Transformer 公开课课程大纲(21-30)

关于 Transformer 和注意力机制提出的问题可以查看 Gitee Transformer101Q


标签:Transformer,注意力机制,Attention机制,Transfomer课程,Transformer架构,Transformer模型,对话机器人,NLP课程,NLP,自然语言处理,知识图谱,命名实体识别


第21章:基于Bayesian Theory的MRC文本理解基础经典模型算法详解


1,Bayesian prior在模型训练时候对Weight控制、训练速度影响等功能详解

2,Bayesian prior能够提供模型训练速度和质量的数学原理剖析

3,从Word2vec走向GloVe:从Local 信息走向Global+Local信息表示模式

4,GloVe 中的Vector相关性算法

5,GloVe的Co-occurrence matrix解析

6,GloVe的Loss计算

7,神经网络表达信息的三大局限剖析

7,使用Convolutions取代神经网络传统的matrix multiplication操作

8,文本序列的Vector表示及Convolutions的天然契合点分析

9,Parameter sharing背后的数学原理和工程的广泛应用

10,Vector中的参数真的能够很好的表达信息吗?数学原理及工程实践

11,TextCNN架构设计解析

12,CNN-rand数学原理及工程实现

13,CNN-static数学原理及工程实现

14,CNN-non-static数学原理及工程实现

15,CNN-multiple channel数学原理及工程实现

16,处理长短不一的Sentence

17,Kernel设置的数学原理及最佳实践

18,传统模型Attention实现本质:权重分配

19,通过Soft-Search的方式来构建Attention机制及数学原理剖析

20,KQV:Attention-based model based on weight allocation

21,Local-Attention、Global-Attention、Self-Attention对比及最佳实践

22,基于一维匹配的Attentive Reader架构及数学原理剖析

23,基于二维匹配的Impatient Reader架构及数学原理剖析

24,Multi-Hop机制多次提取更充足信息的Attention实现剖析

25,Multi-Hop机制多次提取更充足信息的TimeStep状态推进剖析

26,Pointer network和Attention机制的对比

27,R-NET:借助pointer network和使用gateway机制的attention实现

28,R-NET的Encoding Layer解析

29,R-NET的Question-Passage Matching解析

30,R-NET的Passage Self-Matching解析

31,R-NET的Answer Prediction解析

32,Fully-Aware Fusion Network提出的MRC的Fusion层次划分解析

33,Fully-Aware Fusion Network中的History-of-word机制来更好的理解语意

34,Fully-Aware Fusion Network的Attention机制解析

35,Fully-Aware Fusion Network的Encoding Layer:GloVe、CoVe、POS、NER等

36,Fully-Aware Fusion Network的Multi-level Fusion解析

37,Fully-Aware Fusion Network的Fully-Aware Self-Boosted Fusion解析

38,Fully-Aware Fusion Network的Output layer解析

39,QA-Net的架构之Embedding Encoder Layer解析

40,QA-Net的架构之Context-Query Attention Layer解析

41,QA-Net的架构之Model Encoder Layer解析

42,QA-Net的架构之Output Layer解析


第22章:揭秘针对Cloze Tests基于Attention机制的的MRC领域开山之作:Teaching Machines to Read and Comprehend架构设计及完整源码实现


1,对Text提供精细化的语言理解能力和推理能力的MRC为何需要Neural Networks和Attention机制的支持?

2,基于大规模训练数据集的集特征工程和分类于一体的深度学习MRC

3,数据集结构分析

4,Two-layer Deep LSTM Reader的Input和Output分析

5,Two-layer Deep LSTM Reader中article和question的Concatenation操作

6,Two-layer Deep LSTM Reader中的Embedding Layer解析

7,具有Attention功能的Two-layer Deep LSTM Reader架构解析

8,Two-layer Deep LSTM Reader的classification解析

9,Attentive Reader的Input时候对Document和Question分别作LSTM建模

10,Attentive Reader使用加法操作实现Attention机制进行Classification操作

11,Impatient Reader的Output中的Attention数学原理和操作解析

12,对模型复杂度及数据量的最佳实践思考

13,为何Attention机制在阅读理解中是有效的?数学原理和工程实践

14,CNN Daily Mail数据Padding、Batch等预处理操作

15,QADataset完整源码解析

16,QAIterator完整源码解析

17,Context和Question进行Concatenation操作完整源码解析

18,Deep LSTM中的Word Embedding Layer实现

19,Deep LSTM中的Contextual Embedding Layer实现

20,Deep LSTM中的Output Layer实现

21,Deep LSTM中的Dropout

22,Deep LSTM中的Modeling Layer源码实现

23,AttentiveReader中的Word Embedding Layer实现

24,AttentiveReader中的Contextual Embedding Layer实现

25,AttentiveReader中的Modeling Layer实现

26,AttentiveReader中的Attention机制实现

27,ImpatientReader中的Embedding Layers实现

28,ImpatientReader中的Mdoeling Layer实现

29,ImpatientReader中的Attention源码完整实现

30,training方法的源码完整实现

31,对整个整个算法完整源码实现的调试及分析


第23章:MRC经典的Span Extraction模型Bi-DAF 算法架构、运行机制及数学原理


1,双向Attention Flow:Query2Context、Context2Query数学原理及工程实现

2,Bi-DAF能够正式确立编码-交互-输出三层架构阅读理解模型背后的原因分析

3,Bi-DAF模型本身的五层架构及其背后数学原理解析

4,不同粒度的多阶段Embeddings层的架构设计和数学原理

5,Bonus:多阶段Embeddings在智能对话信息表示中的应用剖析

6,Character Embedding数学原理及Char-CNN实现解析

7,Word Embedding数学原理及GloVe实现解析

8,双向LSTM架构机制及数学原理剖析

9,使用Highway Network解决梯度问题的数学原理及实现解析

10,组合Char embedding和word embedding

11,Contextual Embedding数学原理及实现解析

12,Bi-DAF中的Context2Query实现解析

13,Bi-DAF中的Query2Context实现解析

14,Trainable Matrix for attention mechanism

15,Modeling层架构和数学原理剖析

16,输出层的Start index计算数学原理解析

17,输出层的End index计算数学原理解析

18,Training Loss计算解析

19,参数设置

20,Bi-DAF在信息抽取时候的Assumption存在的问题分析

21,为何Bi-DAF不擅长回答Why类型的问题?如何改进?


第24章:基于SQuAD对Bi-DAF进行MRC源码完整实现、测试和调试


1,SQuAD训练集和验证集数据分析及answer的Index机制分析

2,从JSON文件中获取样本信息

3,Tokenization代码实现

4,遍历处理data中的paragraphs下context及qas

5,对data中answer的start index、text、end index的处理及word的处理

6,构建基于Batch的Iterator

7,Padding源码实现及测试

8,Character Embedding Layer对Char进行Vector编码实现和测试

9,Word Embedding Layer对word进行Vector编码实现及测试

10,dropout操作

11,Convolutions操作实现

12,Transformer数据流源代码剖析

13,Concatenate Context和Question完整源码实现

14,通过基于ReLU的highway network来整合信息完整源码实现及测试

15,highway network中的门控机制数学原理及其在AI中的广泛应用

16,通过LSTM对Contextual Embedding Layer进行编码完整实现及测试

17,Context Matrix和Question Matrix可视化分析

18,attention flow layer中相似矩阵S的源码实现

19,Context2Query完整源码实现及测试

20,Query2Context完整源码实现及测试

21,attention flow layer中信息前向和增强信息表示的G的融合源码实现

22,Modeling Layer完整源码实现调试分析

23,output layer中p1的计算实现

24,output layer中p2的计算实现

25,Cross Entropy Loss p1的细节说明

26,在验证集上进行Test源码完整实现

27,Mask机制的具体作用剖析及调试分析

28,对Answer进行Normalization操作

29,EM (Exact Match) 数学公式解析及源码实现

30,F1对MRC的应用数学公式解析及源码实现

31,Evaluation完整源码实现及调试

32,Soft Evaluation的重大意义思考

33,Bi-DAF全流程调试及深度分析


第25章:阅读理解MRC模型集成、蒸馏、部署及源码实现


1,模型集成ensemble有效性背后的Bayesian数学原理深度剖析

2,模型扰动造成的方差数学原理剖析

3,方差与normalization

4,基于投票思想的模型集成方法及其在多选题和完形填空中的应用

5,基于bagging思想的模型集成方法

6,基于boosting思想的集成方法

7,基于stacking思想的模型集成方法

8,Blending机制

9,阅读理解中的模型ensemble:BERT + Linguistic Knowledge + Ensemble Algorithm

10,用小模型去学习大模型的预测结果及泛化能力

11,Teacher model - distilled model架构解析

12,soft labels、hard label

13,soft predictions、hard prediction

14,信息对齐:样本、中间结果、网络结构

15,DistillBERT用于Knowledge Distillation

16,server framework + deep learning framework API

17,server framework + deep learning serving

18,modeling完整代码解析

19,data utils源码解析

20,model utils源码解析

21,classifier utils源码解析

22,classifier源码解析

23,squad_utils源码解析

24,run_squad源码解析

25,estimator源码解析

26,train方法源码解析

27,modeling_bert

28,modeling_roberta

29,ensemble源码解析

30,evaluate源码解析


第26章:跨语言Cross-linagual预训练模型XLM架构内幕及完整源码实现


1,cross-lingual pretraining背后的数学原理剖析

2,XLM中CLM设计内幕和数学原理解析

3,XLM中MLM设计内幕和数学原理解析

4,XLM 中TLM设计内幕和数学原理解析

5,XLMTokenizer源码实现解析

6,XLMWithLMHeadModel源码实现解析

7,XLMPredLayer源码实现解析

8,XLMModel源码实现解析

9,XLMPreTrainedModel源码实现解析

10,TransformerFFN源码实现解析

11,MultiHeadAttention源码实现解析

12,XLMForSequenceClassification源码实现解析

13,XLMForTokenClassification源码实现解析

14,XLMForMultipleChoice源码实现解析

15,XLMForQuestionAnsweringSimple源码实现解析

16,XLMForQuestionAnswering源码实现解析


第27章:处理长文本的模型BigBird架构内幕及完整源码实现


1,Sparse attention机制内幕及数学原理剖析

2,全局global attention的数据原理及实现机制

3,Block sparse attention数学原理及实现机制

4,Sliding attention数学原理及实现机制

5,Random attention数学原理及实现机制

6,Time & Memory Complexity分析

7,BigBirdTokenizer源码完整实现剖析

8,BigBirdEmbeddings源码完整实现剖析

9,BigBirdAttention源码完整实现剖析

10,BigBirdSelfAttention源码完整实现剖析

11,BigBirdBlockSparseAttention源码完整实现剖析

12,BigBirdIntermediate源码完整实现剖析

13,BigBirdOutput源码完整实现剖析

14,BigBirdLayer源码完整实现剖析

15,BigBirdEncoder源码完整实现剖析

16,BigBirdPredictionHeadTransform源码完整实现剖析

17,BigBirdLMPredictionHead源码完整实现剖析

18,BigBirdOnlyMLMHead源码完整实现剖析

19,BigBirdOnlyNSPHead源码完整实现剖析

20,BigBirdPreTrainingHeads源码完整实现剖析

21,BigBirdPreTrainedModel源码完整实现剖析

22,BigBirdForPreTrainingOutput源码完整实现剖析

23,BigBirdModel源码完整实现剖析

24,BigBirdForPreTraining源码完整实现剖析

25,BigBirdForMaskedLM源码完整实现剖析

26,BigBirdForCausalLM源码完整实现剖析

27,BigBirdClassificationHead源码完整实现剖析

25,BigBirdForQuestionAnsweringModelOutput源码完整实现剖析

26,BigBirdForSequenceClassification源码完整实现剖析

27,BigBirdForMultipleChoice源码完整实现剖析

28,BigBirdForTokenClassification源码完整实现剖析

29,BigBirdForQuestionAnsweringHead源码完整实现剖析

30,BigBirdForQuestionAnswering源码完整实现剖析


第28章:使用Local dependency轻量级Transformer模型ConvBERT架构内幕及完整源码实现


1,BERT依赖global self-attention而带来的问题分析

2,BERT不同Layer的computation redundancy分析

3,使用local dependency的数学原理分析

4,local dependency的工程实践

5,convolution head数学原理剖析

6,构建mixed attention block分析

7,ConvBertTokenizer源码解析

8,把TF模型的checkpoints加载入pytorch模型中

9,ConvBertEmbeddings完整源码分析

10,ConvBertPreTrainedModel完整源码分析

11,SeparableConv1D完整源码分析

12,ConvBertAttention完整源码分析

13,ConvBertSelfAttention完整源码分析

14,ConvBertSelfOutput完整源码分析

15,GroupedLinearLayer完整源码分析

16,ConvBertIntermediate完整源码实现分析

17,ConvBertLayer完整源码实现分析

18,ConvBertOutput完整源码实现分析

19,ConvBertEncoder完整源码实现分析

20,ConvBertPredictionHeadTransform完整源码实现分析

21,ConvBertModel完整源码实现分析

22,ConvBertGeneratorPredictions完整源码实现分析

23,ConvBertForMaskedLM完整源码实现分析

24,ConvBertClassificationHead完整源码实现分析

25,ConvBertForSequenceClassification完整源码实现分析

26,ConvBertForMultipleChoice完整源码实现分析

27,ConvBertForTokenClassification完整源码实现分析

28,ConvBertForQuestionAnswering完整源码实现分析

29,ConvBertConfig代码分析


第29章:使用Control code的文本生成Transformer模型CTRL架构内幕及完整源码实现


1,能够使用第一个Token作为control code的数学原理分析

2,控制生成内容的style、content及task-specific行为的架构设计

3,control code的来源:co-occure

4,生产coherent内容的关键是什么?

5,基于CLM的CTRL 设计实现

6,syntactically coherent text与semantically coherent text

7,CTRLTokenizer源码完整实现解析

8,CTRLTokenizer源码完整实现解析

9,positional_encoding源码完整实现解析

10,scaled_dot_product_attention源码完整实现解析

11,MultiHeadAttention源码完整实现解析

12,EncoderLayer源码完整实现解析

13,CTRLPreTrainedModel源码完整实现解析

14,CTRLLMHeadModel源码完整实现解析

15,CTRLModel源码完整实现解析

16,CTRLForSequenceClassification源码完整实现解析


第30章:使用disentangled attention机制Transformer模型DeBERTa架构内幕及完整源码实现


1,使用两个vector来编码每个word的content和position

2,在pretraining阶段使用output enhanced mask decoder取代softmax layer对masked words预测的数学原理剖析

3,DebertaEmbeddings完整源码实现解析

4,DebertaPreTrainedModel完整源码实现解析

5,Disentangled Attention算法剖析

6,DebertaTokenizer完整源码实现解析

7,XDropout完整源码实现解析

8,StableDropout完整源码实现解析

9,XSoftmax完整源码实现解析

10,ContextPooler完整源码实现解析

11,DebertaLayerNorm完整源码实现解析

12,DebertaSelfOutput完整源码实现解析

13,build_relative_position完整源码实现解析

14,DebertaAttention完整源码实现解析

15,DebertaIntermediate完整源码实现解析

16,DebertaOutput完整源码实现解析

17,DebertaLayer完整源码实现解析

18,DebertaEncoder完整源码实现解析

19,DisentangledSelfAttention完整源码实现解析

20,DebertaModel完整源码实现解析

21,DebertaForMaskedLM完整源码实现解析

22,DebertaPredictionHeadTransform完整源码实现解析

23,DebertaLMPredictionHead完整源码实现解析

24,DebertaOnlyMLMHead完整源码实现解析

25,DebertaForSequenceClassification完整源码实现解析

26,DebertaForTokenClassification完整源码实现解析

27,DebertaForQuestionAnswering完整源码实现解析


目录
相关文章
|
1月前
|
机器学习/深度学习 自然语言处理 并行计算
【机器学习】Transformer:自然语言处理的巅峰之作
【机器学习】Transformer:自然语言处理的巅峰之作
150 0
|
1月前
|
机器学习/深度学习 自然语言处理 算法
如何快速高效全面的学习自然语言处理
如何快速高效全面的学习自然语言处理
|
1月前
|
机器学习/深度学习 自然语言处理 PyTorch
Transformer 自然语言处理(一)
Transformer 自然语言处理(一)
68 0
Transformer 自然语言处理(一)
|
12月前
|
机器学习/深度学习 存储 自然语言处理
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
111 0
|
1月前
|
机器学习/深度学习 自然语言处理 算法
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
117 1
|
1月前
|
存储 机器学习/深度学习 人工智能
5个优质免费自然语言处理学习资源 | 语言技术导航
5个优质免费自然语言处理学习资源 | 语言技术导航
108 1
|
9月前
|
机器学习/深度学习 自然语言处理 算法
NLP(自然语言处理)自学习平台可能是一个很好的选
NLP(自然语言处理)自学习平台可能是一个很好的选
101 3
|
11月前
|
机器学习/深度学习 自然语言处理 Rust
Transformers自然语言处理第一章 你好Transformer
2017年,Google的研究人员发表了一篇论文,提出了一种新的用于序列建模(sequence modeling)的神经网络架构[1]。称之为Transformer,这种架构在机器翻译任务中的表现无论在翻译质量还是训练成本层面均优于循环神经网络(RNN)。
381 0
Transformers自然语言处理第一章 你好Transformer
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
学习生成式大语言模型,东北大学自然语言处理实验室有一堂课
学习生成式大语言模型,东北大学自然语言处理实验室有一堂课
|
机器学习/深度学习 人工智能 移动开发
人工智能领域:面试常见问题超全(深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习)
人工智能领域:面试常见问题超全(深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习)

热门文章

最新文章