开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

基于评论、新闻的情感倾向分析作商品的价格预测

简介:
+关注继续查看

实验环境

 ●  操作系统:Windows、Linux
 ●  语言环境:Python、MATLAB、java
 ●  实验工具:NLTK、sklearn、MATLAB2015b、Pycharm

 ●  服务器: tomcat

用开源框架Scrapy分析Xpath路径抓取中关村报价网站

上述文件中product文件夹是定制好抓取电子产品价格的数据采集器,MySQL建立数据库见文件

应用scrapy爬虫框架,定制爬虫抓取中关村报价产品的价格数据并且存储于MySQL数据库中

1.其中的过程是分析网页的Xpath路径,根据要获取的数据的路径定位到价格数据(可以分析不同的网站数据抓取)

2.存储数据打MySQL数据库中,主要是方便操作和使用

scrapy startproject tutorial
4000204f5aca9bec0d5290c1187754e63cd66c87

爬虫名字可以随意设定,同时设定采集器在服务器上能够定时采集数据这里定制bat文件。 锁定域名范围为:zol.com分析URL中正则表达式如下:http://detail.zol.com.cn/cell_phone/index****.shtml

最后将采集到的数据存储到MySQL数据库中如下图:

c73899a1190fbfa33c9e6e89fb95ea2d7cf49561

如果是在Linux服务器上做该定时任务只需要按照需要编写crontab即可。

爬虫定制方法以及网页分析

这里为了处理抓取新闻数据时候需要处理动态页面的信息采用了beautifulsoup,通过调用相关接口处理JS页面。 为保证数据的全面性而选取了百度新闻,同样需要分析页面源码的Xpath路径,为了剔除网页的标签,需要同上的路径分析。 最后可以通过用户提供的关键词获取新闻数据,效果如下图所示:

afc7a12d17cd332b779def7cebcb0ee2b68fd5eb

获得的新闻数据如下:

d9bbe8d26e7dbb53961265c4be2f31e6f53a3234
文本分析

 ●  为了便于处理需要对文本做一个分句处理过程,方便对文本的情感倾向分析以及特征提取。
 ●  本系统是建立在可信文本的条件下做情感倾向因素分析,所以首先需要对文本做可信分类,故需要提取分析的特征:包括文本的词长度、品牌出现次数、分成句子总数、和标准描述相似度、正负面概率得分等特征详细见源码文件*feature文件夹内容
 ●  在分类过程中这里对比了9个分类方法:
 ●  svm.SVC(gamma=0.001, C=100.)
 ●  svm.SVR()
 ●  LogisticRegression(penalty='l2', tol=0.001)
 ●  tree.DecisionTreeClassifier()
 ●  GaussianNB()
 ●  BernoulliNB()
 ●  RandomForestClassifier(n_estimators=20, max_depth=None, min_samples_split=1, random_state=0)
 ●  GradientBoostingClassifier(n_estimators=20)
 ●  AdaBoostClassifier(tree.DecisionTreeClassifier(max_depth=1),algorithm="SAMME",n_estimators=200)

通过分析对比发现随机森林分类效果最好。

最终特征如下图所示:

a7b678173ce31ab8b1c071b907fa499c6eb8ef9f

再根据情感程度匹配来计算文本的情感倾向得分:在情感词典这里采用了知网基础情感词、和自己通过语料和搜索引擎得到的领域情感词(详细描过程见源码)最终得到该品牌下的情感倾向因素得分如下图:

23157dafed6db13037c70c49d8e5792a53e5fbe1

图中分别是积极消极得分和平均分以及方差。

基于情感因素预测模型

模型建立过程详细见论文描述,最后得到各个模型的实验系统如图所示:

e7fda85ed896af3230fdc20cf900c5072efdd63c

基于研究算法Android应用软件

基于应用上述研究的算法对电子产品的价格作出预测后,在Android系统开发应用软件增加研究的实际意义展示效果如下:

636197f71f5592ab47e0497990895695aa305349531d55b21b77cd90190154c75ac87dc913f7e904

单个商品的预测趋势如下图所示:

d3b93ac54d4cd4a2d5f41df78f0d0a446ca42e65

最后提供部分本系统接口

 ●  语料填充
 ●  文档路径
 ●  定制主题
 ●  全自动采集数据
 ●  模型更改

 ●  应用软件更改


原文发布时间为:2018-09-20

本文来自云栖社区合作伙伴“大数据挖掘DT机器学习”,了解相关信息可以关注“大数据挖掘DT机器学习”。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
HUDI preCombinedField 总结(二)-源码分析
HUDI preCombinedField 总结(二)-源码分析
43 0
数学建模(三):预测
在数学建模比赛中,预测也是我们最常见的问题之一,特别是每年的国赛C题,C题不出意外都为统计题。博主在去年的国赛C题和今年的长三角数学建模中都有遇到预测类的题目,在预测类问题中时间预测和多指标预测最为常见,接下来就详细讲一下如何利用BP神经网络去解决该类问题
83 0
掌握 HashMap 看这一篇文章就够了(二)
最近几天,一直在学习 HashMap 的底层实现,发现关于 HashMap 实现的博客文章还是很多的,对比了一些,都没有一个很全面的文章来做总结,本篇文章也断断续续结合源码写了一下,如果有理解不当之处,欢迎指正!
43 0
HashMap 的 7 种遍历方式与性能分析!「修正篇」(中)
HashMap 的 7 种遍历方式与性能分析!「修正篇」
65 0
一名普通大学生的建站历程
使用Linux系统云服务器和宝塔来搭站,回忆起来确实不难,但是在使用过程遇到的每一个问题都卡了我很久,希望以后和我一样的同学能够多多来这里提问,不要一个人挤破脑袋去想。
174 0
HDOU/HDU 2548 两军交锋(看你的思维~)
Problem Description 话说辽军与MCA相峙多年,终于在一个秋日的早晨爆发了一次大规模的冲突.情况是这样子的,当天上午,由耶律-Pacision领军的辽军忽然带领数万人马浩浩荡荡向MCA山杀来,而这时候驻扎在MCA防守前线的是久经沙场的老将纪哥.
721 0
hdu 2112 HDU Today
点击打开链接hdu 2112 思路:最短路 分析:只要把名字映射成整数,然后利用整数去求解即可。 注意事项: 1 题目中的起点和终点可能相同,这个时候输出0。
782 0
+关注
技术小能手
云栖运营小编~
文章
问答
文章排行榜
最热
最新
相关电子书
更多
蘑菇街广告的排序:从历史数据学习到个性化强化学习
立即下载
社交网络中的群体用户行为分析与表示学习
立即下载
百合网婚恋推荐算法
立即下载