云场景实践研究第31期:方正舆情

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

摘要:在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。


方正舆情于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统,形成全面成熟的舆情整体解决方案,完成多个大型项目的建设,持续领跑舆情行业。并且在2011年率先尝试以多租户方式(SaaS)服务于不同行业。致力于云计算、大数据技术的研究与应用,完成自有大数据服务中心建设(机房内服务器数量达300台之多),搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台;在数据库方面,采用MySQL、MongoDB等主流数据库,研制并推出了互联网大数据信息服务平台,为不同行业用户提供大数据应用解决方案。

在2015年,企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右等数据指标,并完成了大数据服务中心数据推送+阿里云系统应用部署模式。


单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比很高。


采用的阿里云产品

  • 阿里云云服务器  ECS
  • 阿里云云数据库 RDS版
  • 阿里云大数据计算服务 MaxCompute
  • 阿里云云数据库 Redis版
  • 阿里云表格储存 TableStore
  • 阿里云开放搜索 OpenSearch

为什么使用阿里云

一方面阿里云服务器安全且易于维护,其云主机的磁盘IO性能更加优秀,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。使企业的业务系统在处理更加庞大繁多的数据业务时更加游刃有余。另一方面,阿里云提供了可靠的安全防护措施,方便了运维人员及时发现系统异常,为企业业务的正常运行上了一道坚固的保险。


关于方正舆情

背靠北京大学,业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域,致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务,使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来,企业一直专注于大数据产品的研发与应用,并取得了大数据相关专利上百余项,拥有强大的技术研发能力。多年来,企业秉承着“技术为本、应用为先”的经营理念,为各行各业的用户提供先进的大数据整体解决方案,有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前,企业的大数据整体解决方案已服务国内外用户超过200家。



为什么选择阿里云

为了应付互联网海量数据采集与分析并提高企业业务的服务效率,自从2015年接触阿里云以来,企业便开始逐渐采用阿里云的产品。从ECS、RDS、OTS到MaxCompute等等,短短2年,便已将企业互联网大数据系统接入阿里云市场,并开始实现运行。

云端迁移之路

在企业业务的迁移过程中,由于阿里云操作的便捷性及云数据库的兼容性,在上云过程中并未遇到太多的问题,智胜企业互联网大数据系统中的前端程序基于java语言编写,可直接部署在阿里云的ECS中。此外,前端程序使用的Redis和MySQL服务,可直接替换为阿里云的云数据库Redis版和RDS版,并且不需要定制的客户端连接程序。因此,企业的结构化数据在非常平滑的完成了迁移。对于非结构化数据,将其统一进行格式化之后,存储于阿里云的TableStore实例中。基于TablesStore存取方式,以及业务中数据接收、上载程序定义的数据存取接口,快速完成了数据读取操作的过度。通过阿里云OpenSearch同TableStore配合使用,可直接对存储在TableStore中的海量数据建立全文索引,方便对海量的数据进行搜索操作。企业基于MapReduce编程模型的机器学习程序,直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上,完成舆情数据自然语言处理、聚类、分类等操作。

阿里云带来的优势

智胜企业互联网大数据系统接入阿里云市场后,作为阿里云市场的isv,可通过阿里云市场对用户购买产品的付费行为做出响应,以账号的形式供用户使用,而阿里云市场则为企业提供了交易管理界面,方便后续的用户运营等。目前数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,可以满足需求。MySQL数据库容量使用保持在20GB左右。

而阿里云的作用不仅仅体现在了数据的上载方面。目前业务中大量的计算操作集中在数据的统计方面。在阿里云的帮助下,企业的机器学习模块利用已有的数据模型以及算法,可以满足每小时约1GB左右数据量的处理工作。在目前数量下,阿里云的OpenSearch响应时间约为100ms左右,通过定期将数据导入MySQL进行更加细致的统计操作,以统计结果的形式保存,减少重复检索行为和压力。此外阿里云通过对SQL脚本的持续改进,使得系统响应延时基本保持在一个可用范围内,并随时可通过服务器数量的横向扩展,应对访问容量的增加。

9d45d95503630d0a198b6aa9f5fe63fcd3da4fa0


上云前后

单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比企业自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比高,另外阿里云BGP多线技术和分发缓存技术,对于互联网大数据SAAS应用,在成本方面优势非常明显,灵活的收费方式可以节约很多成本,同时也为不同细分用户市场提供更加灵活价格区间及应用功能。

整体来说,一方面通过业务迁移到阿里云上,企业提高了系统的业务性能,大大升级了系统的数据处理及分析能力,实现了企业数据处理等业务能力上的飞跃。另一方面,依靠阿里云提供的性能监测、报警功能等安全措施,方便了运维人员及时发现系统异常,并及时采取措施,使得企业的业务系统更有保障,运行业务更加放心。



关于方正舆情的更多实践详情:智于技而胜在云:智胜企业互联网大数据系统上云实践

原文发布日期:2017-02-17

云栖社区场景研究小组成员:郭思乔,仲浩。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术,为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档,实现高效数据核验与合规性检查,显著提升审查速度和精准度,同时保障敏感信息管理和数据安全。
99 11
|
4月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
78 0
|
4月前
|
机器学习/深度学习 运维 算法
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
对2021高校大数据挑战赛中智能运维异常检测与趋势预测赛题的赛后总结与分析,涉及赛题解析、不足与改进,并提供了异常检测、异常预测和趋势预测的方法和模型选择的讨论。
124 0
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
|
机器学习/深度学习 数据可视化 数据挖掘
第四届“泰迪杯”数据分析技能赛-赛题A:《通讯产品销售和盈利能力分析》报告
第四届“泰迪杯”数据分析技能赛-赛题A:《通讯产品销售和盈利能力分析》报告
767 0
|
存储 安全 物联网
【AIGC 视角】 可信计算调研报告
【AIGC 视角】 可信计算调研报告
234 0
|
存储 安全 关系型数据库
【阿里云新品发布·周刊】第23期:阿里云基因行业解决方案技术解读,助您轻松应对基因数据分析难题
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 [最新发布] 阿里云基因行业产品解决方案 2019年8月28日14:00,阿里云召开了基因行业产品解决方案全新技术解读的发布会。
2125 0
【阿里云新品发布·周刊】第23期:阿里云基因行业解决方案技术解读,助您轻松应对基因数据分析难题
|
监控 安全 算法
【云周刊】第153期:2017机器学习和AI最热!2018看海外13位专家如何评价技术趋势?
2017机器学习和AI最热!2018看海外13位专家如何评价技术趋势?【飞天解决方案】金融企业从自建MySQL数据库迁移RDS方案,未来,阿里云ET大脑将如何打造可编程城市,阿里聚安全年终盘点|2017互联网安全领域十大话题...更多精彩内容,尽在云周刊!
41331 0
|
存储 弹性计算 安全
云场景实践研究第80期:华大基因
作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
4509 1
|
存储 弹性计算 安全
【云栖号案例 | 教育与科研机构】科研机构上云提供更加精准分析检测服务
作为科研机构想要利用本地物理机实现数据实时备份,将业务都部署到一台服务器上。上云后购买两台ECS分别部署,DTS将云上数据实时传输到本地物理机。
|
新零售 机器学习/深度学习 分布式计算
云场景实践研究第87期:汇合营销
借助阿里云数加平台的力量,汇合营销确立了三大优势之一之技术优势,打破了海量数据处理分析和实时查询分析的技术瓶颈,而作为精准营销广告提供商,算法模型的好坏直接与最终收益挂钩,所以借助阿里云数加的机器学习平台可以起到事半功倍的效果。
2142 0