[舆情方向]自然语言情感倾向分析技术原型[第一期]

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介:

经过一个月的技术调查和编码实践,最终通过纯词法分析写出了情感分析的技术原型,统计结果比较满意,也算对自己一个月来研究成果的初步肯定。

首先该技术原型主要面向舆情,舆情的特点是语料来源广泛,主题相关性不明显,从网上抓取的舆情可以是任何形式任何主题的。正统的新闻,微博,论坛评论等等,因此判断难度较大。国内情感分析成果主要应用于对特定领域的评论倾向分析来改善产品和做用户调研。针对有主题相关性的语料,可以用目前非常优秀的SVM支撑向量机分类算法通过前期训练,将训练出的数学模型去预测未知语料,正确率最佳可达90%以上。

但是在舆情领域SVM这种算法就不尽如人意了,所以经过技术调查,我采用纯词法分析且基于情感词典这样一种与SVM恰恰相反的非学习监督方法完成了该技术原型,针对网上抓取的测试语料的判断准确率为:积极文本准确率在80%左右,消极文本因为难度较大(后面会说道)准确率在70%左右。同时保证了错误率在%10左右。正误率之比在10:1之上。先看图说话。

环境:C+WindowsApi,VS2010,Windows7 x64

技术原型界面:

参数解释:

    testText.txt:要测试的文本,因为舆情文本一般较短,所以技术原型这里将每句作为一个语料单位。

    emDic.txt:使用的情感词基准词典。

    bDetail:是否展示判断过程,即情感倾向分析的细节,0/1。

    sepValue:分类权值。用于正负面及未知的分类权值,测试最佳:0.8

分词细节:

 

分类结果:

消极语料判错原因分析(手动跟踪了100多条文本分析过程得出):
  1)口语化严重(这本书与名著的距离好远,不怎么样),
  2)表达隐晦,高级语法(暗喻,反讽),
  3)错别字,
  4)文本过短(情感信息较少)。
  5)情感倾向不不明显:如 还好。
  6)某些词领域评价词使用率较高,影响判断:没到货等
  7)积极倾向,大于消极倾向(先抑后扬,人工分错)
  8)情感词修饰主体不一致(书内容描述)
错误文本举例:

这本书叫《于丹心得》更好一些。(贬义)
看完这本书,我感觉于丹更像一位幼儿园老师。(贬义)
书看了一遍就送人了。(贬义)
说的真好。(贬义)

改进方向:

交叉对比:研究第二种方法可以两种方法交叉对比来提高分类精度。

全自动学习机制:自动丰富词库,或者加入监督学习机制更新词库。

Just a display,还得继续研究。。。。
















本文转hackfreer51CTO博客,原文链接:http://blog.51cto.com/pnig0s1992/825981,如需转载请自行联系原作者

相关文章
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
8天前
|
自然语言处理 API C++
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!
SmartVscode插件深度解析:自然语言控制VS Code的革命性工具及其开源框架App-Controller
|
1月前
|
自然语言处理 算法 Python
自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
【10月更文挑战第9天】自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
49 4
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【9月更文挑战第17天】本文主要介绍了AI技术在自然语言处理(NLP)领域的应用,包括文本分类、情感分析、机器翻译和语音识别等方面。通过实例展示了AI技术如何帮助解决NLP中的挑战性问题,并讨论了未来发展趋势。
|
13天前
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的自然语言处理技术
【10月更文挑战第38天】在本文中,我们将深入探讨自然语言处理(NLP)技术及其在机器学习领域的应用。通过浅显易懂的语言和生动的比喻,我们将揭示NLP技术的奥秘,包括其工作原理、主要任务以及面临的挑战。此外,我们还将分享一些实用的代码示例,帮助您更好地理解和掌握这一技术。无论您是初学者还是有经验的开发者,相信您都能从本文中获得宝贵的知识和启示。
21 3
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
深度探索人工智能中的自然语言处理技术#### 一、
【10月更文挑战第28天】 本文旨在深入剖析人工智能领域中的自然语言处理(NLP)技术,探讨其发展历程、核心算法、应用现状及未来趋势。通过详尽的技术解读与实例分析,揭示NLP在智能交互、信息检索、内容理解等方面的变革性作用,为读者提供一幅NLP技术的全景图。 #### 二、
42 1
|
15天前
|
机器学习/深度学习 自然语言处理 算法
自然语言处理中的情感分析技术
自然语言处理中的情感分析技术
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理中的语义理解技术
自然语言处理中的语义理解技术
37 0
|
1月前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
50 2
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【10月更文挑战第4天】本文将介绍人工智能(AI)在自然语言处理(NLP)领域的应用,包括语音识别、机器翻译、情感分析等方面。我们将通过一些实际案例展示AI如何帮助人们更好地理解和使用自然语言。同时,我们也会探讨AI在NLP领域面临的挑战和未来发展方向。
下一篇
无影云桌面