阿里云大数据公众趋势预测

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

公众趋势预测

更新时间:2016-11-23 16:04:15

点此咨询顾问

互联网是触达用户、感知公众态势的最有效方式。通过公众趋势分析,业务方可以第一时间倾听用户心声,对正/负面消息快速响应,并通过预判用户群体对品牌和竞品的喜好倾向,指导产品和服务的改进升级。

应用场景

  • 政务机关:践行网上群众路线,广开言路,凝聚共识,提升服务效率和口碑。
  • 传媒行业:发现事件热点,梳理传播脉络,跟踪栏目受众的喜好倾向,鉴别新闻炒作。
  • 金融行业:商贷行业风险评估,P2P金融舆论风险评估,证券多空情绪波动与分析。
  • 地产行业:区块楼盘质量口碑监测,分析潜在业主的喜好倾向,物业服务质量评估。
  • 教育行业:关注教育资源供需平衡,校园热点事件预警,提高教育事业的满意度。
  • 医疗行业:关注医疗资源供需平衡,医患纠纷预警,提升医疗服务质量。
  • 旅游行业:倾听游客反馈,预判旅游出行趋势和热门程度,提升旅游服务的体验。
  • 企业品牌:分析消费者对品牌的认知和注意力迁移,关注竞品分析,塑造品牌口碑。

系统架构

公众趋势预测1

公众趋势分析整体业务架构如上图所示,底层采用成熟的商业化基础组件,可以弹性调度资源,保障系统稳定运行。

公众趋势分析通过分布式爬虫和神马搜索引擎,可采集的源站类型多种多样,包括:新闻门户、论坛贴吧、博客社区、微博微信、资讯客户端、RSS聚合、视频站点等。此外,通过关联业务方的数据接口,可以进一步整合站点浏览统计、资讯评论内容和消费点评内容等。

各类数据源进入公众趋势分析之后,经过去重去噪、正文萃取和自然语言处理,可以对舆情内容进行实时聚类分析、情感分析、热词提取、相似性分析和智能过滤,并且每一天离线计算全量舆情的聚类统计。

公众趋势分析既提供标准化的操作界面,同时也提供相应的API接口用于扩展性开发,进行个性化定制和业务集成。

技术优势

快速感知

公众趋势分析的采集模块对于高优先级源站最快2分钟获取数据,常规源站平均10分钟获取数据。利用对等计算框架、多租户隔离方案、多站点下载动态均衡技术、智能反爬策略动态调整等技术手段,结合上千台服务器的爬虫能力,采集模块可以保障数据在不被屏蔽的情况下及时快速获取。

信息覆盖全面

通过自建爬虫、神马搜索引擎接口、微博推送以及其他关联方的数据应用接口,可以对全网公开发布数据进行采集(千万源站,每日更新约20亿网页),覆盖各类网站、论坛、自媒体等。

特殊站点可直接在公众趋势分析中提交需求订制,后台审核后将自动完成网页的监控功能,保障信息渠道的全面覆盖。

算法精准高效

通过强大的机器学习算法、NLP自然语言处理算法、文本处理的协同处理,通过用户参与模型训练或者社会化标提供的数据语料,公众趋势分析已经实现以下指标:

  • 实时聚类最短在10ms即可一条信息与百万级数据匹配。实时聚类抽样准确率和离线聚类的准确率均在95%以上。
  • 情感分析的交叉验证准确率在90%以上。
  • 分类算法正确率在1千条语料/分类的情况下,交叉判定准确率可达到98%以上。
  • 智能过滤算法在基于1万条语料的前提下,准确率可达到80%以上。该算法可保障用户只看到希望看到的数据,而垃圾、广告、干扰信息均可通过智能过滤给排除掉。
  • 正文萃取算法进行百万新闻文章萃取验证的准确率可达到98%以上,论坛格式的内容正文萃取的准确率可达到90%以上。

海量信息智能化分析

公众趋势分析在文本相似性分析、自动聚类、自动分类和情感分析基础上,建立多个舆情指标,根据舆情指标和舆情分类的结果综合研判当前的宏观舆情态势。另外,通过各区域舆情对比功能,帮助用户及时准确地把握宏观舆情走势。提供实时信息预警机制,可以将短时间内发生的突发热点事件以及敏感新闻通过短信、邮件方式通知用户,同时可以帮助用户快速制作出关于相关舆情事件的统计简报。

公众趋势分析提供传播路径分析、热点事件分析、情感分析、热词云、标签分析、智能模版过滤。公众趋势分析通过应用ODPS及UDF自定义算法函数,可对舆情数据进行智能化的分析。以情感分析为例,我们以情感数量和全互联网影响力模型为基础,情感强弱作加权,附加中性舆情的偏离修正,达到舆情趋势的准确判断。例如,某个超级大V账号的一条微博,可能比10个普通账号发的10条微博所呈现的情感值更高。

全互联网影响力评估模型和用户打标舆情的数据,是为情感分析、智能分析作语料支撑的。用户对舆情打标签实质上是参与机器学习的模型训练,从而对每一条舆情的重要程度/是否有效进行判断,准确性不断提高,并且参与模型训练的过程完全自动化完成的,无需后台干预。用户使用时间越长,打标签的舆情越多,则训练出来的分析模型越准确。

一站式协同处理

处置功能丰富,包括数据标签、事件管理、观点、地点、标记、过滤、备注、自定义属性等。

数据可整理为简报资讯,通过PC端、无线端、邮件分享给他人,并且还可以由其他人参与互动,让所有关心舆情的人随时随地一起协同起来。

多语种采集及分析

爬虫采集能力理论上支持各种语言的抓取,通过在阿里云境外节点的部署,可实现对各类境外站点的采集监控。用户仅需要向后台提交需要监控的站点,遵循当地监管部门的相应法律法规,即可进行采集。

多语种的算法分析方面,规则引擎、情感分析、聚类分析、热词分析、智能分类、智能过滤等功能模块目前支持19种语言,包括:中文、英语、俄语、法语、日语、韩语、西班牙语,德语、葡萄牙语、荷兰语、意大利语,阿拉伯语、土耳其语、希伯来语、波兰语、印地语、印尼语、越南语、泰语。

智能在线翻译

结合阿里巴巴集团国际站多年积累的技术成果,公众趋势分析可将非英文的文本实时在线翻译为英文,并提供原始内容和翻译内容双向对比查看,从而方便对小语种的监控和分析。

开放API扩展能力

公众趋势分析定向开放API数据接口,合作伙伴可深度集成,为客户量身打造“限量版”。开发者可以通过API数据接口进行:关键词专题配置、关键词配置、接收实时抓取数据、微博传播路径分析,后续还可以利用现有数据在BI多维分析产品和可视化产品中做进一步的分析。

公众趋势分析的各项功能采用模块化设计,均可转换为API方式。根据业务方的实际需求,对应的功能模块可开放API调用。

品牌舆情大屏


TB1mq_BOpXXXXaqapXXXXXXXXXX-1920-1080.jp

TB1306MOpXXXXcxXVXXXXXXXXXX-1920-1080.jp

TB1ZV6zOpXXXXcSaXXXXXXXXXXX-1920-1080.jp


点此咨询顾问

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
人工智能 分布式计算 DataWorks
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。
85 5
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
|
1天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
14 1
|
24天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
|
5天前
|
分布式计算 Cloud Native 大数据
《阿里云产品四月刊》—云原生大数据计算服务 MaxCompute 新功能
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
6天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
9天前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
1天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
11 0
|
2天前
|
人工智能 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 开启免费公测,统一 Python 开发生态。分布式计算框架 MaxFrame 支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据,100%兼容 Pandas 且自动分布式,与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。
18 0
|
2月前
|
存储 分布式计算 DataWorks
【阿里云云原生专栏】云原生下的数据湖建设:阿里云MaxCompute与DataWorks解决方案
【5月更文挑战第26天】在数字化时代,数据成为企业创新的关键。阿里云MaxCompute和DataWorks提供了一种构建高效、可扩展数据湖的解决方案。数据湖允许存储和分析大量多格式数据,具备高灵活性和扩展性。MaxCompute是PB级数据仓库服务,擅长结构化数据处理;DataWorks则是一站式大数据协同平台,支持数据集成、ETL和治理。通过DataWorks收集数据,MaxCompute存储和处理,企业可以实现高效的数据分析和挖掘,从而提升业务洞察和竞争力。
392 0
|
6天前
|
存储 人工智能 OLAP
深度|大模型时代下,基于湖仓一体的数据智能新范式
本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。