开发者社区> 场景研读> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云场景实践研究第85期:墨迹天气

简介: 墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。
+关注继续查看

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。此外,利用阿里云数加大数据技术,基于对日志数据的分析,可以支持运营团队和广告团队优化现有业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”

——章汉龙

墨迹天气运维部经理

正如上述展现的,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。


采用的阿里云产品

  • 阿里云大数据计算服务 MaxCompute(原ODPS)
  • 阿里云大数据开发套件(DataIDE)
  • 阿里云流计算(StreamCompute)
  • 阿里云流式数据发布和订阅服务(DataHub)

为什么使用阿里云

对于用户正在如何使用墨迹的数据的分析是墨迹运营团队每天的最重要的工作,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

墨迹天气可以借助阿里云的力量提升数据分析工作的效率,并且可以节省存储空间,并且提升性能和稳定性。


关于 墨迹天气

墨迹天气所遇到的数据挑战

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。之前墨迹使用国外某云计算服务公司的云服务器存储这些数据,利用Hadoop的MapReducer和Hive对数据进行处理分析,但是存在以下问题:
1. 成本:包括存储、计算及大数据处理服务成本对比阿里云成本很高。
2. 网络带宽:移动端业务量大,需要大量的网络带宽资源支持,但数据上传也需要占用网络带宽,彼此之间相互干扰造成数据传输不稳定。


为什么选择阿里云?

墨迹天气基于阿里云的解决方案及架构
针对上述情况,墨迹将日志分析业务逐步迁移到阿里云大数据平台-数加平台之上。新的日志分析架构如页面下方架构图所示。

9d8c9a13a49ae58e90910bec11dc1cc55b4e9b6c

方案涉及的阿里云数加平台组件有:大数据计算服务(MaxCompute,原名ODPS)、大数据开发套件(DataIDE)、流计算(StreamCompute,规划中)、流式数据发布和订阅(DataHub)。另外,由于每天产生的数据量较大,上传数据会占用带宽,为了不影响业务系统的网络资源,墨迹天气开通了阿里云高速通道,用于数据上传。通过此种手段解决了网络带宽的问题。
通过阿里云数加日志分析解决方案,墨迹的业务得到以下提升:
1. 充分利用移动端积累下来的海量日志数据。
2. 对用户使用情况和广告业务进行大数据分析。
3. 利用阿里云数加大数据技术,基于对日志数据的分析,支持运营团队和广告团队优化现有业务。


墨迹天气拥抱阿里云所带来的成效

墨迹天气迁移到MaxCompute后,流程上做了优化,省掉了编写MR程序的工作,日志数据全部通过SQL进行分析,工作效率提升了5倍以上。在存储方面,MaxCompute的表按列压缩存储,更节省存储空间,整体存储和计算的费用比之前省了70%,性能和稳定性也有很大提升。此外还可以借助MaxCompute上的机器学习算法,对数据进行深度挖掘,为用户提供个性化的服务。阿里云MaxCompute提供更为易用、全面的大数据分析功能。MaxCompute可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。


关于墨迹天气的更多实践详情:云场景实践研究第2期:高德
原文发布日期:2018-01-31
云栖社区场景研究小组成员:贾子甲,仲浩。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云场景实践研究第54期:小红唇
小红唇的业务数据库已经完全迁移到了阿里的RDS平台,借助阿里云的QUICK BI,小红唇能够非常方便地根据实际的运营数据对进一步的决策和运营商的策略进行调整,极大提高了运营效率。小红唇借助于阿里云MaxCompute比较完善的整个生态系统设计了大数据平台,并且无需专职数据团队,降低了人员成本,还拥有了在21天内搭建推荐系统的能力。
2044 0
云场景实践研究第26期:基云惠康
作为首家将基因数据分析业务部署到阿里云上的公司,基云惠康通过使用批量计算服务,最终使成本控制在了两位数,比最开始节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
2049 0
云场景实践研究第51期:趣店
对于像趣店这样的创业团队而言,由于成本问题,自建IDC显然是不现实的,所以趣店在创业之初就选择了上云。如今,趣店对于阿里云存在着深度依赖的关系,只要有需求一来,技术团队首先会去思考阿里云有没有这样的服务,这样的方式帮助趣店将精力集中在自己的业务本身,使得产品能够迅速得以迭代。
1977 0
云场景实践研究第48期:九游
要提升业务交付能力,亦要保证成本,九游利用阿里云OSS的能力,提升交付,降低成本,实现了发行高服务能力及高性价比的完美平衡。本文将从技术方面,向大家展示阿里云是如何支持九游的运维的。
1573 0
云场景实践研究第66期:映客直播
映客直播作为创业公司从0至日活千万的数据库架构变迁,如何让数据库支持在直播中的经典应用场景,如何构建一个高可用数据库架构。数据库本身而言是一个基础设施。那么作为基础设施,映客主要可以依赖数据库的稳定性以及基本的性能。
1850 0
云场景实践研究第19期:小博无线
作为国内领先的商用无线技术方案提供商, 小博无线2013年10月上云以来,已在云端飞行了三年整,从单台主机进化为今天数十台主机, 上百个负载均衡, 数百个容器的略具规模的系统。本文主要介绍小博无线三年来使用云计算平台的实践经验。
1840 0
云场景实践研究第80期:华大基因
作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
4109 0
云场景实践研究第52期:畅游
混合云在安全上有很重要的优势,阿里安全体系很健全,混合云模式既保证了用户线下的场景核心需求,同时依托阿里安全防护体系,将安全堡垒又加固了一层,混合云可能比常规的云上云下打通更实际,优势更明显。借助阿里云提供的混合云解决方案,畅游在游戏的维护成本等各方面都有很大的进步,其故障修复和应用上线的时间速度提升几十倍甚至上百倍。
2173 0
云场景实践研究第50期:咕咚
咕咚是独树一帜的互联网运动品牌,全国最大的全民运动社交平台,近几年,企业的活跃用户数在快速增加,对云资源的需求也在不断增长,原有的云资源已无法满足业务诉求。在阿里云的帮助下,企业选择从原有的经典网络迁移到专有网络,很好地满足了对云资源的需求。
2329 0
云场景实践研究第9期:小咖秀
具有千万用户的爆款APP小咖秀在最初就是基于阿里云搭建而成,从开始的一台云服务器扩展到现在的接近一百台服务器的规模,而专职运维人员却很少,这是因为其系统级别的监控使用自己搭建的监控平台,而服务方面则依赖于阿里云的成熟的云监控。
2003 0
+关注
场景研读
技术学习永无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云高级开发工程师高深在2018云栖大会·上海峰会中做了题为《网络视听规范化时代,视频AI破解直播违规难题》的分享,就视频内容审核、语音内容审核、复审及取证等方面的内容做了深入的分析。
立即下载
长安十二时辰背后的技术密集——从智能算法到音视频创新技术
立即下载
直面音视频质量评估之痛——走进腾讯音视频质量体系
立即下载