开发者社区> 场景研读> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云场景实践研究第85期:墨迹天气

简介: 墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。
+关注继续查看

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力,可以充分利用移动端积累下来的海量日志数据,并且对用户使用情况和广告业务进行大数据分析。此外,利用阿里云数加大数据技术,基于对日志数据的分析,可以支持运营团队和广告团队优化现有业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”

——章汉龙

墨迹天气运维部经理

正如上述展现的,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。


采用的阿里云产品

  • 阿里云大数据计算服务 MaxCompute(原ODPS)
  • 阿里云大数据开发套件(DataIDE)
  • 阿里云流计算(StreamCompute)
  • 阿里云流式数据发布和订阅服务(DataHub)

为什么使用阿里云

对于用户正在如何使用墨迹的数据的分析是墨迹运营团队每天的最重要的工作,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

墨迹天气可以借助阿里云的力量提升数据分析工作的效率,并且可以节省存储空间,并且提升性能和稳定性。


关于 墨迹天气

墨迹天气所遇到的数据挑战

墨迹运营团队每天最关心的是用户正在如何使用墨迹,在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中,对这些数据分析,就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右,主要的日志分析场景是天气查询业务和广告业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。之前墨迹使用国外某云计算服务公司的云服务器存储这些数据,利用Hadoop的MapReducer和Hive对数据进行处理分析,但是存在以下问题:
1. 成本:包括存储、计算及大数据处理服务成本对比阿里云成本很高。
2. 网络带宽:移动端业务量大,需要大量的网络带宽资源支持,但数据上传也需要占用网络带宽,彼此之间相互干扰造成数据传输不稳定。


为什么选择阿里云?

墨迹天气基于阿里云的解决方案及架构
针对上述情况,墨迹将日志分析业务逐步迁移到阿里云大数据平台-数加平台之上。新的日志分析架构如页面下方架构图所示。

9d8c9a13a49ae58e90910bec11dc1cc55b4e9b6c

方案涉及的阿里云数加平台组件有:大数据计算服务(MaxCompute,原名ODPS)、大数据开发套件(DataIDE)、流计算(StreamCompute,规划中)、流式数据发布和订阅(DataHub)。另外,由于每天产生的数据量较大,上传数据会占用带宽,为了不影响业务系统的网络资源,墨迹天气开通了阿里云高速通道,用于数据上传。通过此种手段解决了网络带宽的问题。
通过阿里云数加日志分析解决方案,墨迹的业务得到以下提升:
1. 充分利用移动端积累下来的海量日志数据。
2. 对用户使用情况和广告业务进行大数据分析。
3. 利用阿里云数加大数据技术,基于对日志数据的分析,支持运营团队和广告团队优化现有业务。


墨迹天气拥抱阿里云所带来的成效

墨迹天气迁移到MaxCompute后,流程上做了优化,省掉了编写MR程序的工作,日志数据全部通过SQL进行分析,工作效率提升了5倍以上。在存储方面,MaxCompute的表按列压缩存储,更节省存储空间,整体存储和计算的费用比之前省了70%,性能和稳定性也有很大提升。此外还可以借助MaxCompute上的机器学习算法,对数据进行深度挖掘,为用户提供个性化的服务。阿里云MaxCompute提供更为易用、全面的大数据分析功能。MaxCompute可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。


关于墨迹天气的更多实践详情:云场景实践研究第2期:高德
原文发布日期:2018-01-31
云栖社区场景研究小组成员:贾子甲,仲浩。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
技术&案例:墨迹天气与东润环能的大数据把玩姿势
辞旧迎新之际,更是钻研技术的最佳时机......秉持这一原则,咱们依然诚意十足,特线上墨迹天气与东润环能玩转数据的姿势;此外,小编还特别给大家准备了数据导入的技巧。
4469 0
一零四、大数据可视化技术与应用实训(展示大屏幕)
一零四、大数据可视化技术与应用实训(展示大屏幕)
0 0
航空企业如何用「AI利器」提升乘客体验
航空公司掌握的客户数据可以说远超任何其他领域,而且这些信息当中蕴藏着对于运营、效率以及服务有着深远影响的高价值情报。然而,目前大部分航空企业仍然沿用着上世纪八十年代旅游繁盛期遗留下来的传统零售模式。因此,航空公司仍然很难真正捕捉到大量数据,并以有意义的方式将其用于生成洞见。
0 0
冬季实战末期场景体验报告
k8s 控制器 deploy RS STS
0 0
解决方案应用实例 |阿里云智能客服助力兔宝宝提升客户体验
兔宝宝通过阿里云的智能客服与人力云降本增效,满足售前到售后的客户服务全生命周期的管理,解决客服人力成本高、质量差的问题,从而更好地服务消费者,提升客户体验。
0 0
易信功能挖掘
易信功能挖掘 在设置里面找工具,进入工具有邮箱插件,安装该插件:进入绑定邮件账号,目前好像只支持163,126邮箱和189.cn邮箱。进入邮箱插件:安装邮箱插件:绑定邮件账号:安装邮箱插件成功:发邮件: 来源:http://www.
556 0
AMAP-TECH算法大赛开赛!基于车载视频图像的动态路况分析
车载视频图像包含了更多的信息量,给了我们另外一个解决问题的视角。通过视频或图片,可以观察到路面的真实状态,包括机动车数量、道路宽度和空旷度等等。基于车载视频图像可以获取更准确的路况状态,为用户出行提供更高质量的服务。
0 0
+关注
场景研读
技术学习永无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云高级开发工程师高深在2018云栖大会·上海峰会中做了题为《网络视听规范化时代,视频AI破解直播违规难题》的分享,就视频内容审核、语音内容审核、复审及取证等方面的内容做了深入的分析。
立即下载
智能核芯 精准强悍 灵动贴心
立即下载
智能核芯 精准强悍 灵动贴心
立即下载