大数据与舆情共舞:趋势客观预测 风险科学预警

简介:

ZDNet至顶网软件频道消息:最早提出词汇“Big Data”的是2011年麦肯锡的《大数据:下一个创新、竞争和生产力的前沿》研究报告,他提到“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。”之后,大数据概念开始风靡全球。近年来大数据不断地向社会各行各业渗透,可以为每一个领域带来变革性影响,并且正在成为各行业创新的原动力和助推器。

以近年来在中国兴起并急剧发展的舆情监测和分析行业为例,即通过海量信息采集、智能语义分析、自然语言处理、数据挖掘,以及机器学习等技术,不间断地监控网站、论坛、博客、微博、平面媒体、微信等信息,及时、全面、准确地掌握各种信息和网络动向,从浩瀚的数据宇宙中发掘事件苗头、归纳舆论观点倾向、掌握公众态度情绪、并结合历史相似和类似事件进行趋势预测和应对建议。互联网如今已经成为收集民意、了解政府和企业工作成效的一个非常有效的途径。然而由于缺乏对互联网发贴等行为的必要监管措施,在舆情危机事件发生后,难以及时有效获取深层次、高质量的网络舆情信息,经常造成舆情危机事件处置工作的被动,因此,北信源舆情分析专家建议应该重视对互联网舆情的应对,建立起“监测、响应、总结、归档”的舆情应对体系。

大数据带来的信息风暴正在改变我们的生活、工作和思维。舆情服务在进行行业规范和整合的同时,正面临着大数据的挑战。在国内市场中,舆情分析类产品林林总总,产品水平也参差不齐。如何选择一款优秀的产品?首先需要选择技术背景雄厚的生产厂商。北信源经过十几年的发展,拥有专门的数据管理部门和专业分析团队,专业的技术人员对信息的鉴别力、萃取力、掌控力处于全国领先水平。

对大数据的采集加工是整个舆情分析服务的基础,掌握数据抓取能力与舆情解读能力,通过“加工”实现数据的“增值”,是舆情分析的必备技能。北信源网情监测平台采用多线路、加密隧道方式作为互联网上公开信息的采集通道,通过自主研发的爬虫系统,从网上自动获取页面信息。北信源舆情搜索引擎使用信息采集技术对全球范围内的网页进行检索,通过中文语义特性并结合舆情结构特点而构成的元数据搜索技术,能够提高信息采集的针对性,同时扩大采集范围的广度,提升舆情搜索的精准度。另外在采集的速率上,北信源网情监测平台通过“云计算”技术在互联网不同位置可任意部署监测工作站PC机,实现非重点网站的定时监测、重要网站及链接全天候监测。并根据网页及链接的重要度,做到对最重要的网站数据分钟级的采集更新。

如何对复杂大数据进行解释是舆情服务的关键,数据分析的模式是否科学将直接影响数据分析的质量,决定了舆情产品的可用性。基于数据分析,能否提炼出独到、高质量的观点,在凌乱纷繁的数据背后找到更符合客户要求的舆情产品和服务,并进行针对性的调整和优化,这是大数据时代舆情最大的变量。北信源舆情分析引擎,涉及的最主要的技术包括文本分类、聚类、观点倾向性识别、主题检测与跟踪等计算机文本信息内容识别技术。以数据挖掘为核心技术,应用不同的建模基础,包括关联规则、序列模式、频繁序列、决策树分类、神经元网络、线性回归、Logistic回归、K-Means聚类、模糊聚类、异常检测等多种数据挖掘算法,结合相应的数据挖掘模型可视化方法,用预测模型对舆情数据进行预测评分。

对趋势的研判则是大数据时代舆情分析的目标。如今人们能够从浩如烟海的数据中挖掘信息、判断趋势、提高效益,但这远远不够,信息爆炸的时代要求人们不断增强关联舆情信息的分析和预测,把服务的重点从单纯的收集有效数据向对舆情的深入研判拓展。北信源舆情监测与分析平台从情报检索与分析技术基础上发展起来,除了能够跟踪、协助解决关联舆情,还能够辅以经过分析后的决策参考。

大数据时代的大舆情充分反映数据爆炸背景下的数据处理与应用需求,这是大数据时代最大的舆情变革。北信源网情监测与分析管理平台成功地实现了针对互联网海量舆情自动实时的监测、自动内容分析和自动报警的功能,有效地解决了传统的以人工方式对舆情监测的实施难题,加快了网络舆论的监管效率,有利于组织力量展开信息整理、分析、引导和应对工作,提高用户对网络突发舆情的公共事件应对能力,加强互联网“大数据”分析研判。并能够协助用户建立起舆情监测应对体系:

•快速发现:实践表明,在互联网舆情出现后4小时内是控制舆情的黄金时间,被称为“黄金4小时”;

•体系化应对:建立起横向、纵向的专职舆情员队伍,当舆情出现时统一指挥、协同作战、快速响应、科学应对;

•总结归档:做好舆情存档、应对能力回溯与评估有利于改进行业行政执行力,避免类似的舆情再次发生,也可以预测某类舆情的发展趋势及总结对该类舆情的科学应对措施。

原文发布时间为:2014年08月19日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
大数据
大数据Azkaban失败任务预警
大数据Azkaban失败任务预警
124 0
|
存储 数据采集 机器学习/深度学习
什么是科学问题,大数据考试题
什么是科学问题,大数据考试题
72 2
什么是科学问题,大数据考试题
|
监控 搜索推荐 大数据
大数据舆情监测让企业拥有“不一般”的竞争力
大数据时代,网络信息量剧增、传播速度快、偶发性高,使得舆情监测的情况越来越复杂,大数据舆情就是利用大数据技术有效地管理和监控大数据信息,全面、科学地预测互联网上公众的言论和观点。
509 0
大数据舆情监测让企业拥有“不一般”的竞争力
|
安全 数据中心 分布式计算
如何有效降低大数据平台安全风险
在2019杭州云栖大会大数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着,在大数据平台中要处理的安全风险中,对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后,描述了阿里云飞天大数据平台的安全体系。
13429 1
如何有效降低大数据平台安全风险
|
大数据 量子技术 vr&ar

热门文章

最新文章