AI之NLP:自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)

简介: AI之NLP:自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)

NLP是什么?


NLP是一门融语言学、计算机科学、数学于一体的科学。主要内容包括如下:


如何用NLP与语言学的关键概念来描述和分析语言

NLP中的数学结构和算法是如何实现的

自然语言处理目前主流的技术与方法论

信息检索技术与大数据应用

推荐文章

NLP:自然语言处理技术的简介、发展历史、案例应用之详细攻略

Paper之ACL&EMNLP:2009年~2019年ACL计算语言学协会年会&EMNLP自然语言处理的经验方法会议历年最佳论文简介及其解读

NLP:《NLP Year in Review 2019&NLP_2019_Highlights》2019年自然语言处理领域重要进展回顾及其解读

Dataset:数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏,持续更新)


1、NLP前置技术解析


搭建Python开发环境

正则表达式在NLP中的基本应用

Numpy使用详解


2、python中NLP技术相关库


word2vec

nltk

jieba

Py之SnowNLP:SnowNLP中文处理包的简介、安装、使用方法、代码实现之详细攻略

NLP之word2vec:word2vec简介、安装、使用方法之详细攻略


3、NLP案例实践


3.1、机器翻译


3.2、语音识别(Automatic Speech Recognition)


NLP之ASR:语音识别技术(Automatic Speech Recognition)的简介、发展历史、案例应用之详细攻略

NLP之ASR:基于pyaudio利用python进行语音生成、语音识别总结及其案例详细攻略

NLP之ASR:基于python和机器学习算法带你玩转的语音实时识别技术


3.3、中文分词


中文分词简介


规则分词

统计分词

混合分词

中文分词工具—Jieba


3.4、词件标注与命名实体识别


词性标注

命名实体识别

实体识别(NER)


3.5、关键词提取算法


摘要提取

关键词提取技术概述

TF/IDF

TextRank

LSA/LSI/LDA算法

实战提取文本关键词


推荐文章

NLP:基于textrank4zh库对文本实现提取文本关键词、文本关键短语和文本摘要

NLP:基于snownlp库对文本实现提取文本关键词和文本摘要

NLP:基于nltk和jieba库对文本实现提取文本摘要(两种方法实现:top_n_summary和mean_scored_summary)




3.6、句法分析


文本分析

句法分析概述

句法分析的常用方法

使用Stanford Parser的PCFG算法进行句法分析


3.7、文本向量化


文本向量化概述

向量化算法woed2vec

向量化算法doc2vec、str2vec

网页文本向量化


推荐文章

NLP:利用DictVectorizer对使用字典存储的数据进行特征抽取与向量化

NLP之word2vec:利用 Wikipedia Text(中文维基百科)语料+Word2vec工具来训练简体中文词向量


3.8、文本分类


如:垃圾邮件分类、情感分析。


3.9、情感分析技术


情感分析应用

情感分析基本方法

实战电影评论情感分析


推荐文章

NLP之TEA:自然语言处理之文本情感分析的简介、算法、应用、实现流程方法、案例应用之详细攻略

NLP之情感分析:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)


3.10、Solr搜索引擎


全文检索的原理

Solr简介与部署

Solr后台管理描述

配置Schema

Solr管理索引库


3.11、NLP中常用的机器学习算法


分类器方法

无监督学习的文本聚类

文本分类:中文垃圾邮件分类

文本聚类:用k-means对豆瓣读书数据聚类


推荐文章

NLP之TM之LDA:利用LDA算法瞬时掌握文档的主题内容—利用希拉里邮件数据集训练LDA模型并对新文本进行主题分类


3.12、NLP中常用的深度学习算法


神经网络模型

多输出层模型

反向传播算法

最优化算法

丢弃法

激活函数

实现BP算法

词嵌入算法

训练词向量实践

朴素Vanilla-RNN

LSTM网络

Attention机制

Seq2Seq模型

图模型

深度学习平台

问答机器人


推荐文章

NLP之WE之CBOW&Skip-Gram:CBOW&Skip-Gram算法概念相关论文、原理配图、关键步骤之详细攻略

NLP之WE之Skip-Gram:基于TF利用Skip-Gram模型实现词嵌入并进行可视化、过程全记录





相关文章
|
8月前
|
人工智能 数据安全/隐私保护
如何识别AI生成内容?探秘“AI指纹”检测技术
如何识别AI生成内容?探秘“AI指纹”检测技术
1702 119
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
AI检测技术:如何识别机器生成的“数字指纹”?
AI检测技术:如何识别机器生成的“数字指纹”?
540 115
|
8月前
|
人工智能 自然语言处理 算法
揭秘AI文本:当前主流检测技术与挑战
揭秘AI文本:当前主流检测技术与挑战
1533 115
|
8月前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
8月前
|
人工智能 新制造
TsingtaoAI受邀参加宁波AI海曙科创训练营并分享技术落地实践
10月12日至15日,由宁波市海曙区组织部主办的AI海曙科创训练营在宁波成功举办。作为受邀企业代表,TsingtaoAI团队深入参与了多项活动,与政府领导、行业专家及科创企业代表围绕AI技术在制造业、成果转化等领域的实际应用展开交流,用真实案例诠释了“技术扎根产业”的价值逻辑。
219 2
|
8月前
|
机器学习/深度学习 人工智能 算法
AI可以做电商主图了:技术原理,AI电商图生成工具对比及技术解析
双十一临近,电商主图需求激增。AI技术凭借多图融合、扩散模型等,实现高效智能设计,30秒生成高质量主图,远超传统PS效率。支持风格迁移、背景替换、文案生成,助力商家快速打造吸睛商品图,提升转化率。
2594 0
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
如何准确检测AI生成内容?这三大技术是关键
如何准确检测AI生成内容?这三大技术是关键
1172 116
|
8月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
490 117

热门文章

最新文章