实际上是序列标注问题
主流技术BiLSTM+CRF https://blog.csdn.net/qq_36722887/article/details/119176528
LSTM(长短期记忆,是一种特殊的RNN,捕获从前到后传递的信息)
BiLSTM(双向LSTM,同时捕捉正向信息和反向信息)
CRF(条件随机场,给定输入序列的条件下,求解输出序列的条件概率分布模型,在CRF层加入一些约束来保证最终预测结果是有效的)
1.BiLSTM+CRF模型的实现
第一步: 导入工具包并完成辅助函数
第二步: 文本信息张量化
第三步: 创建类的初始化函数
第四步: 创建获取发射矩阵张量的函数
第五步: 计算前向传播分值的函数
第六步: 计算句子真实分值的函数
第七步: 维特比算法的实现
第八步: 完善BiLSTM_CRF类的全部功能
2.模型训练的流程
第一步: 熟悉字符到数字编码的码表
第二步: 熟悉训练数据集的样式和含义解释
第三步: 完成字符到id的映射函数
第四步: 获取训练数据和验证数据的函数
第五步: 完成准确率和召回率的评估代码
第六步: 绘制损失曲线和评估曲线图
第七步: 完成训练模型的完整代码
第八步: 训练集和验证集损失曲线和指标数据曲线的分析