阿里云大数据公众趋势预测

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

公众趋势预测

更新时间:2016-11-23 16:04:15

点此咨询顾问

互联网是触达用户、感知公众态势的最有效方式。通过公众趋势分析,业务方可以第一时间倾听用户心声,对正/负面消息快速响应,并通过预判用户群体对品牌和竞品的喜好倾向,指导产品和服务的改进升级。

应用场景

  • 政务机关:践行网上群众路线,广开言路,凝聚共识,提升服务效率和口碑。
  • 传媒行业:发现事件热点,梳理传播脉络,跟踪栏目受众的喜好倾向,鉴别新闻炒作。
  • 金融行业:商贷行业风险评估,P2P金融舆论风险评估,证券多空情绪波动与分析。
  • 地产行业:区块楼盘质量口碑监测,分析潜在业主的喜好倾向,物业服务质量评估。
  • 教育行业:关注教育资源供需平衡,校园热点事件预警,提高教育事业的满意度。
  • 医疗行业:关注医疗资源供需平衡,医患纠纷预警,提升医疗服务质量。
  • 旅游行业:倾听游客反馈,预判旅游出行趋势和热门程度,提升旅游服务的体验。
  • 企业品牌:分析消费者对品牌的认知和注意力迁移,关注竞品分析,塑造品牌口碑。

系统架构

公众趋势预测1

公众趋势分析整体业务架构如上图所示,底层采用成熟的商业化基础组件,可以弹性调度资源,保障系统稳定运行。

公众趋势分析通过分布式爬虫和神马搜索引擎,可采集的源站类型多种多样,包括:新闻门户、论坛贴吧、博客社区、微博微信、资讯客户端、RSS聚合、视频站点等。此外,通过关联业务方的数据接口,可以进一步整合站点浏览统计、资讯评论内容和消费点评内容等。

各类数据源进入公众趋势分析之后,经过去重去噪、正文萃取和自然语言处理,可以对舆情内容进行实时聚类分析、情感分析、热词提取、相似性分析和智能过滤,并且每一天离线计算全量舆情的聚类统计。

公众趋势分析既提供标准化的操作界面,同时也提供相应的API接口用于扩展性开发,进行个性化定制和业务集成。

技术优势

快速感知

公众趋势分析的采集模块对于高优先级源站最快2分钟获取数据,常规源站平均10分钟获取数据。利用对等计算框架、多租户隔离方案、多站点下载动态均衡技术、智能反爬策略动态调整等技术手段,结合上千台服务器的爬虫能力,采集模块可以保障数据在不被屏蔽的情况下及时快速获取。

信息覆盖全面

通过自建爬虫、神马搜索引擎接口、微博推送以及其他关联方的数据应用接口,可以对全网公开发布数据进行采集(千万源站,每日更新约20亿网页),覆盖各类网站、论坛、自媒体等。

特殊站点可直接在公众趋势分析中提交需求订制,后台审核后将自动完成网页的监控功能,保障信息渠道的全面覆盖。

算法精准高效

通过强大的机器学习算法、NLP自然语言处理算法、文本处理的协同处理,通过用户参与模型训练或者社会化标提供的数据语料,公众趋势分析已经实现以下指标:

  • 实时聚类最短在10ms即可一条信息与百万级数据匹配。实时聚类抽样准确率和离线聚类的准确率均在95%以上。
  • 情感分析的交叉验证准确率在90%以上。
  • 分类算法正确率在1千条语料/分类的情况下,交叉判定准确率可达到98%以上。
  • 智能过滤算法在基于1万条语料的前提下,准确率可达到80%以上。该算法可保障用户只看到希望看到的数据,而垃圾、广告、干扰信息均可通过智能过滤给排除掉。
  • 正文萃取算法进行百万新闻文章萃取验证的准确率可达到98%以上,论坛格式的内容正文萃取的准确率可达到90%以上。

海量信息智能化分析

公众趋势分析在文本相似性分析、自动聚类、自动分类和情感分析基础上,建立多个舆情指标,根据舆情指标和舆情分类的结果综合研判当前的宏观舆情态势。另外,通过各区域舆情对比功能,帮助用户及时准确地把握宏观舆情走势。提供实时信息预警机制,可以将短时间内发生的突发热点事件以及敏感新闻通过短信、邮件方式通知用户,同时可以帮助用户快速制作出关于相关舆情事件的统计简报。

公众趋势分析提供传播路径分析、热点事件分析、情感分析、热词云、标签分析、智能模版过滤。公众趋势分析通过应用ODPS及UDF自定义算法函数,可对舆情数据进行智能化的分析。以情感分析为例,我们以情感数量和全互联网影响力模型为基础,情感强弱作加权,附加中性舆情的偏离修正,达到舆情趋势的准确判断。例如,某个超级大V账号的一条微博,可能比10个普通账号发的10条微博所呈现的情感值更高。

全互联网影响力评估模型和用户打标舆情的数据,是为情感分析、智能分析作语料支撑的。用户对舆情打标签实质上是参与机器学习的模型训练,从而对每一条舆情的重要程度/是否有效进行判断,准确性不断提高,并且参与模型训练的过程完全自动化完成的,无需后台干预。用户使用时间越长,打标签的舆情越多,则训练出来的分析模型越准确。

一站式协同处理

处置功能丰富,包括数据标签、事件管理、观点、地点、标记、过滤、备注、自定义属性等。

数据可整理为简报资讯,通过PC端、无线端、邮件分享给他人,并且还可以由其他人参与互动,让所有关心舆情的人随时随地一起协同起来。

多语种采集及分析

爬虫采集能力理论上支持各种语言的抓取,通过在阿里云境外节点的部署,可实现对各类境外站点的采集监控。用户仅需要向后台提交需要监控的站点,遵循当地监管部门的相应法律法规,即可进行采集。

多语种的算法分析方面,规则引擎、情感分析、聚类分析、热词分析、智能分类、智能过滤等功能模块目前支持19种语言,包括:中文、英语、俄语、法语、日语、韩语、西班牙语,德语、葡萄牙语、荷兰语、意大利语,阿拉伯语、土耳其语、希伯来语、波兰语、印地语、印尼语、越南语、泰语。

智能在线翻译

结合阿里巴巴集团国际站多年积累的技术成果,公众趋势分析可将非英文的文本实时在线翻译为英文,并提供原始内容和翻译内容双向对比查看,从而方便对小语种的监控和分析。

开放API扩展能力

公众趋势分析定向开放API数据接口,合作伙伴可深度集成,为客户量身打造“限量版”。开发者可以通过API数据接口进行:关键词专题配置、关键词配置、接收实时抓取数据、微博传播路径分析,后续还可以利用现有数据在BI多维分析产品和可视化产品中做进一步的分析。

公众趋势分析的各项功能采用模块化设计,均可转换为API方式。根据业务方的实际需求,对应的功能模块可开放API调用。

品牌舆情大屏


TB1mq_BOpXXXXaqapXXXXXXXXXX-1920-1080.jp

TB1306MOpXXXXcxXVXXXXXXXXXX-1920-1080.jp

TB1ZV6zOpXXXXcSaXXXXXXXXXXX-1920-1080.jp


点此咨询顾问

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
10天前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
17085 8
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
8天前
|
分布式计算 数据可视化 大数据
阿里云大牛熬夜整理的Python大数据小抄,GitHub星标125K!
Python 是一种流行的编程语言,在大数据领域有广泛的应用。Python 拥有丰富的库和工具,可用于数据处理、分析和可视化。 在大数据处理方面,Python 可以与 Hadoop、Spark 等大数据框架集成,实现大规模数据的处理和分析。它也适用于数据清洗、数据转换、数据挖掘等任务。 此外,Python 的数据分析库如 Pandas、NumPy 和 Matplotlib 等,提供了强大的数据处理和可视化功能,使得数据分析变得更加简单和高效。
|
14天前
|
分布式计算 数据可视化 大数据
阿里云大牛熬夜整理的Python大数据小抄,GitHub星标125K!
Python 是一种流行的编程语言,在大数据领域有广泛的应用。Python 拥有丰富的库和工具,可用于数据处理、分析和可视化。 在大数据处理方面,Python 可以与 Hadoop、Spark 等大数据框架集成,实现大规模数据的处理和分析。它也适用于数据清洗、数据转换、数据挖掘等任务。 此外,Python 的数据分析库如 Pandas、NumPy 和 Matplotlib 等,提供了强大的数据处理和可视化功能,使得数据分析变得更加简单和高效。
|
16天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
31 1
|
16天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
33 1
|
1天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之在阿里云DataWorks中,如何关闭跨空间查询表功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
机器学习/深度学习 运维 算法
|
11天前
|
数据采集 自然语言处理 大数据
​「Python大数据」词频数据渲染词云图导出HTML
使用Python,本文展示数据聚类和办公自动化,焦点在于通过jieba分词处理VOC数据,构建词云图并以HTML保存。`wordCloud.py`脚本中,借助pyecharts生成词云,如图所示,关键词如"Python"、"词云"等。示例代码创建了词云图实例,添加词频数据,并输出到"wordCloud.html"。
36 1
​「Python大数据」词频数据渲染词云图导出HTML
|
1天前
|
分布式计算 DataWorks API
DataWorks产品使用合集之使用REST API Reader往ODPS写数据时,如何获取入库时间
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
20小时前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用合集之数据删除之后,是否支持回滚
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。