云场景实践研究第31期：方正舆情

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽

摘要：在2015年，方正舆情企业接触阿里云之后，开始逐渐采用阿里云的产品，从ECS、RDS、OTS到MaxCompute等等，由于阿里云RDS兼容MySQL客户端，企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右，TableStore平均写延时在15ms左右，读延时在5ms左右，MySQL数据库容量使用保持在20GB左右，很好的满足了企业的需求。

方正舆情于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统，形成全面成熟的舆情整体解决方案，完成多个大型项目的建设，持续领跑舆情行业。并且在2011年率先尝试以多租户方式（SaaS）服务于不同行业。致力于云计算、大数据技术的研究与应用，完成自有大数据服务中心建设（机房内服务器数量达300台之多），搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台；在数据库方面，采用MySQL、MongoDB等主流数据库，研制并推出了互联网大数据信息服务平台，为不同行业用户提供大数据应用解决方案。

在2015年，企业接触阿里云之后，开始逐渐采用阿里云的产品，从ECS、RDS、OTS到MaxCompute等等，由于阿里云RDS兼容MySQL客户端，企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右，TableStore平均写延时在15ms左右，读延时在5ms左右，MySQL数据库容量使用保持在20GB左右等数据指标，并完成了大数据服务中心数据推送+阿里云系统应用部署模式。

单从性能上讲一方面阿里云服务器安全和易维护，并且由于基于虚拟化技术和阿里强大的云服务器硬件资源，云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势，能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写，满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便，性价比很高。

采用的阿里云产品

• 阿里云云服务器  ECS
• 阿里云云数据库 RDS版
• 阿里云大数据计算服务 MaxCompute
• 阿里云云数据库 Redis版
• 阿里云表格储存 TableStore
• 阿里云开放搜索 OpenSearch

为什么使用阿里云

一方面阿里云服务器安全且易于维护，其云主机的磁盘IO性能更加优秀，能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写，满足上层数据全文检索和大数据分析等应用。使企业的业务系统在处理更加庞大繁多的数据业务时更加游刃有余。另一方面，阿里云提供了可靠的安全防护措施，方便了运维人员及时发现系统异常，为企业业务的正常运行上了一道坚固的保险。

关于方正舆情

背靠北京大学，业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域，致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务，使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来，企业一直专注于大数据产品的研发与应用，并取得了大数据相关专利上百余项，拥有强大的技术研发能力。多年来，企业秉承着“技术为本、应用为先”的经营理念，为各行各业的用户提供先进的大数据整体解决方案，有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前，企业的大数据整体解决方案已服务国内外用户超过200家。

为什么选择阿里云

为了应付互联网海量数据采集与分析并提高企业业务的服务效率，自从2015年接触阿里云以来，企业便开始逐渐采用阿里云的产品。从ECS、RDS、OTS到MaxCompute等等，短短2年，便已将企业互联网大数据系统接入阿里云市场，并开始实现运行。

云端迁移之路

在企业业务的迁移过程中，由于阿里云操作的便捷性及云数据库的兼容性，在上云过程中并未遇到太多的问题，智胜企业互联网大数据系统中的前端程序基于java语言编写，可直接部署在阿里云的ECS中。此外，前端程序使用的Redis和MySQL服务，可直接替换为阿里云的云数据库Redis版和RDS版，并且不需要定制的客户端连接程序。因此，企业的结构化数据在非常平滑的完成了迁移。对于非结构化数据，将其统一进行格式化之后，存储于阿里云的TableStore实例中。基于TablesStore存取方式，以及业务中数据接收、上载程序定义的数据存取接口，快速完成了数据读取操作的过度。通过阿里云OpenSearch同TableStore配合使用，可直接对存储在TableStore中的海量数据建立全文索引，方便对海量的数据进行搜索操作。企业基于MapReduce编程模型的机器学习程序，直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上，完成舆情数据自然语言处理、聚类、分类等操作。

阿里云带来的优势

智胜企业互联网大数据系统接入阿里云市场后，作为阿里云市场的isv，可通过阿里云市场对用户购买产品的付费行为做出响应，以账号的形式供用户使用，而阿里云市场则为企业提供了交易管理界面，方便后续的用户运营等。目前数据上载每小时处理数据量约1GB左右，TableStore平均写延时在15ms左右，读延时在5ms左右，可以满足需求。MySQL数据库容量使用保持在20GB左右。

而阿里云的作用不仅仅体现在了数据的上载方面。目前业务中大量的计算操作集中在数据的统计方面。在阿里云的帮助下，企业的机器学习模块利用已有的数据模型以及算法，可以满足每小时约1GB左右数据量的处理工作。在目前数量下，阿里云的OpenSearch响应时间约为100ms左右，通过定期将数据导入MySQL进行更加细致的统计操作，以统计结果的形式保存，减少重复检索行为和压力。此外阿里云通过对SQL脚本的持续改进，使得系统响应延时基本保持在一个可用范围内，并随时可通过服务器数量的横向扩展，应对访问容量的增加。

上云前后

单从性能上讲一方面阿里云服务器安全和易维护，并且由于基于虚拟化技术和阿里强大的云服务器硬件资源，云主机的磁盘IO性能相比企业自己的大数据中心机房更有优势，能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写，满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便，性价比高，另外阿里云BGP多线技术和分发缓存技术，对于互联网大数据SAAS应用，在成本方面优势非常明显，灵活的收费方式可以节约很多成本，同时也为不同细分用户市场提供更加灵活价格区间及应用功能。

整体来说，一方面通过业务迁移到阿里云上，企业提高了系统的业务性能，大大升级了系统的数据处理及分析能力，实现了企业数据处理等业务能力上的飞跃。另一方面，依靠阿里云提供的性能监测、报警功能等安全措施，方便了运维人员及时发现系统异常，并及时采取措施，使得企业的业务系统更有保障，运行业务更加放心。

关于方正舆情的更多实践详情：智于技而胜在云：智胜企业互联网大数据系统上云实践

原文发布日期：2017-02-17

云栖社区场景研究小组成员：郭思乔，仲浩。