【数据对比】综合分析百度情感分析以及华为情感分析的差异,我有了如下结果

简介: 【数据对比】综合分析百度情感分析以及华为情感分析的差异,我有了如下结果

前言


某一天,经理找到我,说BOSS需要情感分析对比的结果,我这边能不能研究一下几家情感分析的平台,按照(巴拉巴拉)的要求进行分析,于是就有了这篇文章......


为什么要进行对比


  1. 公司任务
  2. 了解下情感分析
  3. 对比几家情感分析


业务场景:


用提供的截取微博网上留言信息,调用华为云的情感分析,百度云情感分析(通用接口),百度云情感分析(定制化模型,自定义学习资料)。根据以下几个点进行对比。

  • 未处理的原版数据
  • 通用模型-       原版分类置信度
  • 定制模型 -  原版分类置信度     (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型 -  原版分类置信度     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 原版评论分类置信度     (华为云 仅2000条左右数据)
  • 通用模型-       原版评论负面倾向概率
  • 定制模型  - 原版评论负面倾向概率     (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型  - 原版评论负面倾向概率     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 通用模型-       原版评论正面倾向概率
  • 使用定制模型  -      原版评论正面倾向概率     (800条学习资料样本,     85.96%准确率的学习资料)
  • 使用定制模型  -      原版评论正面倾向概率     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 通用模型-  原     版评论分析正负结果值
  • 定制模型 -       原版评论分析正负结果值      (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型 -       原版评论分析正负结果值      (1800条学习资料样本,     65.93%准确率的学习资料)
  • 原版评论正负结果值     (华为云 仅2000条左右数据)
  • 处理掉@和#后的评论数据:
  • 通用模型-       原版分类置信度
  • 定制模型 -  原版分类置信度     (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型 -  原版分类置信度     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 原版评论分类置信度     (华为云 仅2000条左右数据)
  • 通用模型-       原版评论负面倾向概率
  • 定制模型  - 原版评论负面倾向概率     (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型  - 原版评论负面倾向概率     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 通用模型-       原版评论正面倾向概率
  • 使用定制模型  -      原版评论正面倾向概率     (800条学习资料样本,     85.96%准确率的学习资料)
  • 使用定制模型  -      原版评论正面倾向概率     (1800条学习资料样本,     65.93%准确率的学习资料)
  • 通用模型-  原     版评论分析正负结果值
  • 定制模型 -       原版评论分析正负结果值      (800条学习资料样本,     85.96%准确率的学习资料)
  • 定制模型 -       原版评论分析正负结果值      (1800条学习资料样本,     65.93%准确率的学习资料)
  • 原版评论正负结果值     (华为云 仅2000条左右数据)


解决的问题:


  1. 对比了两家的情感分析之后,经过综合分析,百度云情感分析(通用模型)的准确率是最高的。
  2. 目前综合来看,百度云的情感分析通用模式是自然语言分析的最好选择。
  3. 定制化的百度模型实际测试不如通用模型准确(可能为学习模型数据不够准确)。


挑战:


  1. 首次使用华为云情感分析,对于接口调用方面自己阅读文档不够详细,走了较多的弯路,不过经过仔细研究自行解决。
  2. 由于存在QPS限制,调用的时候需要限制调用频率。
  3. 由于网络原因可能存在频繁调用的情况。
  4. 数据较多的情况下处理数据的时长比较久(针对试用而言)。
  5. 根据不同的定制化模型。
  6. 可能存在无法分析的特殊字符数据。


使用服务:


自然语言处理 - 情感分析


如何解决:


1. 在不超过**qps**限制的情况下,试用分页形式,分段请求,在数据库中设置 判断值判断数据是否进行分析,如果重复调用会直接过滤掉已经进行情感分析的数据。
   2. 对于线程进行`休眠`操作,防止调用请求过于频繁接口调用失败。
   3. 使用日志记录失败请求信息,失败请求原因,失败请求数据。
   4. 多次调用数据确保大部分数据可以产生结果,个别数据请求失败以及没有数据的忽略。
复制代码


使用场景:


  1. 比对市面上几家华为云的情感分析使用,根据分析结果数据进行比对。
  2. 对比百度云通用模型和定制化模型的使用。
  3. 对比不同的环境下分析的数据,数据差异值。


方案截图:


网络异常,图片无法展示
|


(处理掉特殊字符前的截图)


网络异常,图片无法展示
|


(处理掉特殊字符后的截图)


使用规模:


共1000条数据左右。(其实总共有18000条数据)


使用收益:


  1. 单单从纸面数据来看,可能百度的稍好一些
  2. 最后BOSS让我用的百度云的情感分析
  3. 很好奇情感分析的原理


结语


原数据报表有 18000条,如果有对情感分析感兴趣,或者想要了解情感分析对比结果的,可以留言邮箱,我会抽空把报表数据发送至您的邮箱

如果觉得对您有帮助欢迎扩散

相关文章
|
7月前
|
人工智能 自然语言处理 Linux
OSUM:告别ASR单一功能,西工大开源的语音大模型会「读心」!识别+情感分析+年龄预测等8大任务1个模型全搞定
OSUM 是西北工业大学开发的开源语音理解模型,支持语音识别、情感分析、说话者性别分类等多种任务,基于 ASR+X 训练策略,具有高效和泛化能力强的特点。
510 8
OSUM:告别ASR单一功能,西工大开源的语音大模型会「读心」!识别+情感分析+年龄预测等8大任务1个模型全搞定
|
7月前
|
机器学习/深度学习 存储 人工智能
《DeepSeek情感分析技术:突破与创新,精准判断情感倾向》
在数字化时代,文本数据激增,情感分析成为关键需求。DeepSeek作为AI领域的佼佼者,基于Transformer架构实现深度语义理解,通过多模态融合技术全面感知情感,结合领域自适应与迁移学习跨越不同场景,采用对抗训练提升鲁棒性,并融合情感词典与知识图谱增强理解。这些创新使DeepSeek能精准判断情感倾向,为企业和研究提供有力支持。
902 20
|
存储 人工智能 前端开发
视野修炼-技术周刊第61期
🔥强烈推荐 1. 2023年🧑‍💻工程师的 Mac 工具箱 Arc - 浏览器, Warp - 终端, Raycast - 启动器,Orbstack - 容器,Setapp - 软件订阅,CleanShotX - 截屏,OBS - 录屏推流,Gifox - Gif图制作, 1Password - 密码管理器,Bartender - 菜单栏管理,Downie - 视频下载,IINA / Infuse - 视频播放器,iRightMouse - 鼠标右键增强,PopClip / Bob - 鼠标工具 Arc 和 Warp 目前笔者一直在用,其它的看着也还不错,按使用场景可以试试 作者:粥里
|
网络协议 网络安全 网络虚拟化
|
10月前
|
安全 Java 测试技术
🎉Java零基础:全面解析枚举的强大功能
【10月更文挑战第19天】本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!
240 60
|
11月前
|
算法
|
11月前
|
SQL 关系型数据库 数据库
克服“写不出来SQL”的困境:策略与技巧
在数据库管理和开发中,SQL(Structured Query Language)是不可或缺的工具
|
11月前
|
SQL 安全 数据挖掘
牛客网刷题之SQL篇:非技术快速入门39T
这篇文章是关于牛客网上的SQL刷题教程,涵盖了基础的SQL运算符和多个实际的数据分析场景,旨在帮助非技术人员快速入门SQL。
601 0
牛客网刷题之SQL篇:非技术快速入门39T
|
10月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
341 0
|
SQL 搜索推荐 OLAP
Flink 流批一体场景应用及落地情况
本文由阿里云 Flink 团队苏轩楠老师撰写,旨在介绍 Flink 流批一体在几个常见场景下的应用。
68692 11
Flink 流批一体场景应用及落地情况