云场景实践研究第31期:方正舆情

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

摘要:在2015年,方正舆情企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右,很好的满足了企业的需求。


方正舆情于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统,形成全面成熟的舆情整体解决方案,完成多个大型项目的建设,持续领跑舆情行业。并且在2011年率先尝试以多租户方式(SaaS)服务于不同行业。致力于云计算、大数据技术的研究与应用,完成自有大数据服务中心建设(机房内服务器数量达300台之多),搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台;在数据库方面,采用MySQL、MongoDB等主流数据库,研制并推出了互联网大数据信息服务平台,为不同行业用户提供大数据应用解决方案。

在2015年,企业接触阿里云之后,开始逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,由于阿里云RDS兼容MySQL客户端,企业的结构化数据在非常平滑的完成了迁移。目前企业已形成的混合云模式可以实现数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,MySQL数据库容量使用保持在20GB左右等数据指标,并完成了大数据服务中心数据推送+阿里云系统应用部署模式。


单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比很高。


采用的阿里云产品

  • 阿里云云服务器  ECS
  • 阿里云云数据库 RDS版
  • 阿里云大数据计算服务 MaxCompute
  • 阿里云云数据库 Redis版
  • 阿里云表格储存 TableStore
  • 阿里云开放搜索 OpenSearch

为什么使用阿里云

一方面阿里云服务器安全且易于维护,其云主机的磁盘IO性能更加优秀,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。使企业的业务系统在处理更加庞大繁多的数据业务时更加游刃有余。另一方面,阿里云提供了可靠的安全防护措施,方便了运维人员及时发现系统异常,为企业业务的正常运行上了一道坚固的保险。


关于方正舆情

背靠北京大学,业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域,致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务,使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来,企业一直专注于大数据产品的研发与应用,并取得了大数据相关专利上百余项,拥有强大的技术研发能力。多年来,企业秉承着“技术为本、应用为先”的经营理念,为各行各业的用户提供先进的大数据整体解决方案,有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前,企业的大数据整体解决方案已服务国内外用户超过200家。



为什么选择阿里云

为了应付互联网海量数据采集与分析并提高企业业务的服务效率,自从2015年接触阿里云以来,企业便开始逐渐采用阿里云的产品。从ECS、RDS、OTS到MaxCompute等等,短短2年,便已将企业互联网大数据系统接入阿里云市场,并开始实现运行。

云端迁移之路

在企业业务的迁移过程中,由于阿里云操作的便捷性及云数据库的兼容性,在上云过程中并未遇到太多的问题,智胜企业互联网大数据系统中的前端程序基于java语言编写,可直接部署在阿里云的ECS中。此外,前端程序使用的Redis和MySQL服务,可直接替换为阿里云的云数据库Redis版和RDS版,并且不需要定制的客户端连接程序。因此,企业的结构化数据在非常平滑的完成了迁移。对于非结构化数据,将其统一进行格式化之后,存储于阿里云的TableStore实例中。基于TablesStore存取方式,以及业务中数据接收、上载程序定义的数据存取接口,快速完成了数据读取操作的过度。通过阿里云OpenSearch同TableStore配合使用,可直接对存储在TableStore中的海量数据建立全文索引,方便对海量的数据进行搜索操作。企业基于MapReduce编程模型的机器学习程序,直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上,完成舆情数据自然语言处理、聚类、分类等操作。

阿里云带来的优势

智胜企业互联网大数据系统接入阿里云市场后,作为阿里云市场的isv,可通过阿里云市场对用户购买产品的付费行为做出响应,以账号的形式供用户使用,而阿里云市场则为企业提供了交易管理界面,方便后续的用户运营等。目前数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,可以满足需求。MySQL数据库容量使用保持在20GB左右。

而阿里云的作用不仅仅体现在了数据的上载方面。目前业务中大量的计算操作集中在数据的统计方面。在阿里云的帮助下,企业的机器学习模块利用已有的数据模型以及算法,可以满足每小时约1GB左右数据量的处理工作。在目前数量下,阿里云的OpenSearch响应时间约为100ms左右,通过定期将数据导入MySQL进行更加细致的统计操作,以统计结果的形式保存,减少重复检索行为和压力。此外阿里云通过对SQL脚本的持续改进,使得系统响应延时基本保持在一个可用范围内,并随时可通过服务器数量的横向扩展,应对访问容量的增加。

9d45d95503630d0a198b6aa9f5fe63fcd3da4fa0


上云前后

单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比企业自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比高,另外阿里云BGP多线技术和分发缓存技术,对于互联网大数据SAAS应用,在成本方面优势非常明显,灵活的收费方式可以节约很多成本,同时也为不同细分用户市场提供更加灵活价格区间及应用功能。

整体来说,一方面通过业务迁移到阿里云上,企业提高了系统的业务性能,大大升级了系统的数据处理及分析能力,实现了企业数据处理等业务能力上的飞跃。另一方面,依靠阿里云提供的性能监测、报警功能等安全措施,方便了运维人员及时发现系统异常,并及时采取措施,使得企业的业务系统更有保障,运行业务更加放心。



关于方正舆情的更多实践详情:智于技而胜在云:智胜企业互联网大数据系统上云实践

原文发布日期:2017-02-17

云栖社区场景研究小组成员:郭思乔,仲浩。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
52 0
|
1月前
|
机器学习/深度学习 运维 算法
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
对2021高校大数据挑战赛中智能运维异常检测与趋势预测赛题的赛后总结与分析,涉及赛题解析、不足与改进,并提供了异常检测、异常预测和趋势预测的方法和模型选择的讨论。
70 0
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
|
存储 人工智能 运维
“数据洞察创新挑战赛”专题征文活动
9月8日,大赛正式进入复赛阶段,一场全新的挑战也即将开始。相信,在这个过程中,每一位参赛者都会有自己的一些心得体会,现在,我们邀请你来分享你的参赛心得,将自己的技术见解、亲身体会分享给更多志同道合的伙伴吧。
1140 3
“数据洞察创新挑战赛”专题征文活动
|
机器学习/深度学习 数据可视化 数据挖掘
第四届“泰迪杯”数据分析技能赛-赛题A:《通讯产品销售和盈利能力分析》报告
第四届“泰迪杯”数据分析技能赛-赛题A:《通讯产品销售和盈利能力分析》报告
633 0
|
存储 机器学习/深度学习 分布式计算
当金融风控遇上人工智能,众安金融的实时特征平台实践
随着企业数字化转型升级,线上业务呈现多场景、多渠道、多元化的特征。数据要素价值的挖掘可谓分秒必争,业务也对数据的时效性和灵活性提出了更高的要求。在庞大分散、高并发的数据来源背景下,数据的实时处理能力成为企业提升竞争力的一大因素。今天分享的是众安金融实时特征平台实践。
405 0
当金融风控遇上人工智能,众安金融的实时特征平台实践
|
存储 安全 物联网
【AIGC 视角】 可信计算调研报告
【AIGC 视角】 可信计算调研报告
184 0
|
机器学习/深度学习 人工智能 监控
透视全球AI治理十大事件:站在创新十字路口的AI会失控吗?
AI 显著的帮助了社会生产效率的提高,同时也让人类生活变得更加舒适便捷。但另一方面 AI 出现,对于人类社会伦理道德、隐私安全等方方面面都提出了挑战。新年伊始,回顾近两年全球较有代表性的十大 AI 伦理事件,我们认为,在允许技术适度向前发展的同时,也要在隐私、安全和便捷三者之间找到恰当的平衡。
257 0
透视全球AI治理十大事件:站在创新十字路口的AI会失控吗?
|
机器学习/深度学习 数据采集 人工智能
持续探索行业新趋势,PAI平台获得联邦学习评测证书
2021 年 6 月 24 日,阿里云机器学习平台PAI获得“大数据产品能力评测”联邦学习项目基础能力专项评测证书,持续探索行业新趋势,不断在前沿的热门领域尝试AI应用落地。
820 0
持续探索行业新趋势,PAI平台获得联邦学习评测证书
|
存储 安全 关系型数据库
【阿里云新品发布·周刊】第23期:阿里云基因行业解决方案技术解读,助您轻松应对基因数据分析难题
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 [最新发布] 阿里云基因行业产品解决方案 2019年8月28日14:00,阿里云召开了基因行业产品解决方案全新技术解读的发布会。
2094 0
【阿里云新品发布·周刊】第23期:阿里云基因行业解决方案技术解读,助您轻松应对基因数据分析难题
|
监控 安全 算法
【云周刊】第153期:2017机器学习和AI最热!2018看海外13位专家如何评价技术趋势?
2017机器学习和AI最热!2018看海外13位专家如何评价技术趋势?【飞天解决方案】金融企业从自建MySQL数据库迁移RDS方案,未来,阿里云ET大脑将如何打造可编程城市,阿里聚安全年终盘点|2017互联网安全领域十大话题...更多精彩内容,尽在云周刊!
41320 0