云场景实践研究第31期:方正舆情

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

摘要:在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。


方正舆情于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统,形成全面成熟的舆情整体解决方案,完成多个大型项目的建设,持续领跑舆情行业。并且在2011年率先尝试以多租户方式(SaaS)服务于不同行业。致力于云计算、大数据技术的研究与应用,完成自有大数据服务中心建设(机房内服务器数量达300台之多),搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台;在数据库方面,采用MySQL、MongoDB等主流数据库,研制并推出了互联网大数据信息服务平台,为不同行业用户提供大数据应用解决方案。

在2015年,企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右等数据指标,并完成了大数据服务中心数据推送+阿里云系统应用部署模式。


单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比很高。


采用的阿里云产品

  • 阿里云云服务器  ECS
  • 阿里云云数据库 RDS版
  • 阿里云大数据计算服务 MaxCompute
  • 阿里云云数据库 Redis版
  • 阿里云表格储存 TableStore
  • 阿里云开放搜索 OpenSearch

为什么使用阿里云

一方面阿里云服务器安全且易于维护,其云主机的磁盘IO性能更加优秀,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。使企业的业务系统在处理更加庞大繁多的数据业务时更加游刃有余。另一方面,阿里云提供了可靠的安全防护措施,方便了运维人员及时发现系统异常,为企业业务的正常运行上了一道坚固的保险。


关于方正舆情

背靠北京大学,业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域,致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务,使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来,企业一直专注于大数据产品的研发与应用,并取得了大数据相关专利上百余项,拥有强大的技术研发能力。多年来,企业秉承着“技术为本、应用为先”的经营理念,为各行各业的用户提供先进的大数据整体解决方案,有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前,企业的大数据整体解决方案已服务国内外用户超过200家。



为什么选择阿里云

为了应付互联网海量数据采集与分析并提高企业业务的服务效率,自从2015年接触阿里云以来,企业便开始逐渐采用阿里云的产品。从ECS、RDS、OTS到MaxCompute等等,短短2年,便已将企业互联网大数据系统接入阿里云市场,并开始实现运行。

云端迁移之路

在企业业务的迁移过程中,由于阿里云操作的便捷性及云数据库的兼容性,在上云过程中并未遇到太多的问题,智胜企业互联网大数据系统中的前端程序基于java语言编写,可直接部署在阿里云的ECS中。此外,前端程序使用的Redis和MySQL服务,可直接替换为阿里云的云数据库Redis版和RDS版,并且不需要定制的客户端连接程序。因此,企业的结构化数据在非常平滑的完成了迁移。对于非结构化数据,将其统一进行格式化之后,存储于阿里云的TableStore实例中。基于TablesStore存取方式,以及业务中数据接收、上载程序定义的数据存取接口,快速完成了数据读取操作的过度。通过阿里云OpenSearch同TableStore配合使用,可直接对存储在TableStore中的海量数据建立全文索引,方便对海量的数据进行搜索操作。企业基于MapReduce编程模型的机器学习程序,直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上,完成舆情数据自然语言处理、聚类、分类等操作。

阿里云带来的优势

智胜企业互联网大数据系统接入阿里云市场后,作为阿里云市场的isv,可通过阿里云市场对用户购买产品的付费行为做出响应,以账号的形式供用户使用,而阿里云市场则为企业提供了交易管理界面,方便后续的用户运营等。目前数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,可以满足需求。MySQL数据库容量使用保持在20GB左右。

而阿里云的作用不仅仅体现在了数据的上载方面。目前业务中大量的计算操作集中在数据的统计方面。在阿里云的帮助下,企业的机器学习模块利用已有的数据模型以及算法,可以满足每小时约1GB左右数据量的处理工作。在目前数量下,阿里云的OpenSearch响应时间约为100ms左右,通过定期将数据导入MySQL进行更加细致的统计操作,以统计结果的形式保存,减少重复检索行为和压力。此外阿里云通过对SQL脚本的持续改进,使得系统响应延时基本保持在一个可用范围内,并随时可通过服务器数量的横向扩展,应对访问容量的增加。

9d45d95503630d0a198b6aa9f5fe63fcd3da4fa0


上云前后

单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比企业自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比高,另外阿里云BGP多线技术和分发缓存技术,对于互联网大数据SAAS应用,在成本方面优势非常明显,灵活的收费方式可以节约很多成本,同时也为不同细分用户市场提供更加灵活价格区间及应用功能。

整体来说,一方面通过业务迁移到阿里云上,企业提高了系统的业务性能,大大升级了系统的数据处理及分析能力,实现了企业数据处理等业务能力上的飞跃。另一方面,依靠阿里云提供的性能监测、报警功能等安全措施,方便了运维人员及时发现系统异常,并及时采取措施,使得企业的业务系统更有保障,运行业务更加放心。



关于方正舆情的更多实践详情:智于技而胜在云:智胜企业互联网大数据系统上云实践

原文发布日期:2017-02-17

云栖社区场景研究小组成员:郭思乔,仲浩。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
10月前
|
应用服务中间件 Linux 网络安全
如何在 CentOS 7 上为 Nginx 创建自签名 SSL 证书
如何在 CentOS 7 上为 Nginx 创建自签名 SSL 证书
336 1
|
5月前
|
SQL 存储 监控
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
在业务场景中,日志数据可能存储在日志服务 Project 的不同 Logstore/MetricStore 中或不同地域的 Project 中。日志服务的数据集(StoreView)功能支持跨地域、跨 Store 联合查询和分析,让用户基于数据集就能高效便捷地查询分析全地域的数据,真正做到数据分析不受地域边界的限制。
162 54
|
程序员 Linux 调度
《操作系统》——计算机系统概述
《操作系统》——计算机系统概述
430 3
|
前端开发 UED
模板(Template):构建精美界面的设计之道
在现代应用程序开发中,模板是一个至关重要的概念,它用于定义应用程序的用户界面(UI)和布局。模板允许开发人员创建精美的界面,使用户界面设计变得更加可维护和可扩展。在本博客中,我们将深入研究模板的定义、类型和最佳实践,以及如何运用模板来打造出吸引人的应用程序界面。
153 0
|
域名解析 网络协议 网络安全
解密网络通信的关键技术(下):DNS、ARP、DHCP和NAT,你了解多少?
本文探讨了动态主机配置协议(DHCP)和网络地址转换(NAT)技术的工作原理和应用。DHCP通过简化IP地址配置过程实现了动态地址分配,而NAT则解决了IPv4地址紧缺问题。我们还介绍了DHCP中继代理和NAT中的网络地址与端口转换(NAPT)概念。然而,这些技术也存在一些限制,如无法主动建立连接和性能开销。总的来说,DHCP和NAT在网络中发挥着重要作用,但在实际应用中需要综合考虑其利弊。无论你是对网络技术感兴趣还是想了解如何更好地管理IP地址,本文都将为你提供有价值的信息。
350 1
解密网络通信的关键技术(下):DNS、ARP、DHCP和NAT,你了解多少?
|
Java 关系型数据库 MySQL
【五一创作】嵌入式Sqlite数据库【基本语法、Sqlite-JDBC、嵌入到Java程序】
【五一创作】嵌入式Sqlite数据库【基本语法、Sqlite-JDBC、嵌入到Java程序】
|
SQL Java 数据库连接
【MyBatisPlus】通俗易懂 快速入门 详细教程
【MyBatisPlus】通俗易懂 快速入门 详细教程
1137 0
|
存储 关系型数据库 MySQL
PolarDB的性能对比
PolarDB的性能对比
836 1
|
Java 数据库连接 mybatis
一文彻底搞懂Mybatis系列(二)之mybatis事务管理机制深度剖析
一文彻底搞懂Mybatis系列(二)之mybatis事务管理机制深度剖析
1080 0
|
SQL 移动开发 编解码
如何使用 AntV S2 打造大数据表格组件?
如何使用 AntV S2 打造大数据表格组件?
1264 0