云场景实践研究第85期：墨迹天气

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽

墨迹运营团队每天最关心的是用户正在如何使用墨迹，在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中，对这些数据分析，就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右，主要的日志分析场景是天气查询业务和广告业务。墨迹天气通过借助阿里云数加平台的能力，可以充分利用移动端积累下来的海量日志数据，并且对用户使用情况和广告业务进行大数据分析。此外，利用阿里云数加大数据技术，基于对日志数据的分析，可以支持运营团队和广告团队优化现有业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”

——章汉龙

墨迹天气运维部经理

正如上述展现的，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

采用的阿里云产品

• 阿里云大数据计算服务 MaxCompute（原ODPS）
• 阿里云大数据开发套件（DataIDE）
• 阿里云流计算（StreamCompute）
• 阿里云流式数据发布和订阅服务（DataHub）
  

为什么使用阿里云

对于用户正在如何使用墨迹的数据的分析是墨迹运营团队每天的最重要的工作，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

墨迹天气可以借助阿里云的力量提升数据分析工作的效率，并且可以节省存储空间，并且提升性能和稳定性。

关于 墨迹天气

墨迹天气所遇到的数据挑战

墨迹运营团队每天最关心的是用户正在如何使用墨迹，在他们操作中透露了哪些个性化需求。这些数据全部存储在墨迹的API日志中，对这些数据分析，就变成了运营团队每天的最重要的工作。墨迹天气的API每天产生的日志量大约在2TB左右，主要的日志分析场景是天气查询业务和广告业务。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。之前墨迹使用国外某云计算服务公司的云服务器存储这些数据，利用Hadoop的MapReducer和Hive对数据进行处理分析，但是存在以下问题：
1. 成本：包括存储、计算及大数据处理服务成本对比阿里云成本很高。
2. 网络带宽：移动端业务量大，需要大量的网络带宽资源支持，但数据上传也需要占用网络带宽，彼此之间相互干扰造成数据传输不稳定。

为什么选择阿里云？

墨迹天气基于阿里云的解决方案及架构
针对上述情况，墨迹将日志分析业务逐步迁移到阿里云大数据平台-数加平台之上。新的日志分析架构如页面下方架构图所示。

方案涉及的阿里云数加平台组件有：大数据计算服务（MaxCompute,原名ODPS）、大数据开发套件（DataIDE）、流计算（StreamCompute,规划中）、流式数据发布和订阅（DataHub）。另外，由于每天产生的数据量较大，上传数据会占用带宽，为了不影响业务系统的网络资源，墨迹天气开通了阿里云高速通道，用于数据上传。通过此种手段解决了网络带宽的问题。
通过阿里云数加日志分析解决方案，墨迹的业务得到以下提升：
1. 充分利用移动端积累下来的海量日志数据。
2. 对用户使用情况和广告业务进行大数据分析。
3. 利用阿里云数加大数据技术，基于对日志数据的分析，支持运营团队和广告团队优化现有业务。

墨迹天气拥抱阿里云所带来的成效

墨迹天气迁移到MaxCompute后，流程上做了优化，省掉了编写MR程序的工作，日志数据全部通过SQL进行分析，工作效率提升了5倍以上。在存储方面，MaxCompute的表按列压缩存储，更节省存储空间，整体存储和计算的费用比之前省了70%，性能和稳定性也有很大提升。此外还可以借助MaxCompute上的机器学习算法，对数据进行深度挖掘，为用户提供个性化的服务。阿里云MaxCompute提供更为易用、全面的大数据分析功能。MaxCompute可根据业务情况做到计算资源自动弹性伸缩，天然集成存储功能。通过简单的几项配置操作后，即可完成数据上传，同时实现了多种开源软件的对接。

关于墨迹天气的更多实践详情：云场景实践研究第2期：高德
原文发布日期：2018-01-31
云栖社区场景研究小组成员：贾子甲，仲浩。