开发者社区> 云学习小组> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

咕咚运动数据存储实践

简介: 摘要:6月29日2016云栖大会成都峰会拉开帷幕,咕咚运动运维负责人李锐带来了“咕咚运动数据存储实践”的重要演讲。从咕咚APP的性质和目标,谈到互联网OLTP模型,重点介绍了分布式数据库和对象存储的应用,最后也简要的介绍了互联网OLAP模型。让我们一起先睹为快吧——
+关注继续查看


咕咚APP——综合运动社交平台

 

 

咕咚APP致力于打造运动社交综合型平台,目前咕咚APP所涵盖人群包括:跑步、健走、骑行、游泳、滑雪、篮球、足球等多个领域,并为其提供相应功能进行承载。

 

咕咚APP有稳定的GPS轨迹记录及全面的数据存储,满足运动人群对于个体/群组的社交需求。咕咚APP已经拥有近5000万注册用户,日活人数450万+人,致力于为平台上千万运动爱好者,打造专属的运动功能、社交功能、以及独特的O2O功能。

 

 

互联网OLTP模型

 

 

缓存(ECS(redis&&twemproxy)+SLB)


 ad00c747f45d5ac58df608dd3325c5bc528b8aab

 

队列

 

 

经历的阶段:

◆ Redis:单线程,扩展性不强,不支持ack。

◆ RabbitMQ:集群方案常出问题,并且无法获取error log,出问题后很难定位。

◆ 阿里云MQ方案:无单点,无瓶颈,可自由扩展,支持重试机制。

 

 

数据库(RDS MySQL)

 

 

1. 托管的数据库服务。

2. 全方位的基础监控,权限控制。

3. 高可用性,无感知自动切换主备。

4. 弹性升级配置。

5. 相关配套中间件功能强大,比如DRDS,DTS。

 

4c6e1e7a8426a4c8091c351c989ac861621586df

海量数据存储方案(PreSharding+DRDS)

 

 

对象数据存储(OSS咕咚路线详情数据)

 

OSS的优势表现在以下几点:

 

1. 海量扩展性。

2. 高可用性 (可用性不低于99.9% ; 持久性10个9)。

3. 安全性(提供白名单,防盗链,主子账号功能)。

4. 成本低。

5. 团队的快速响应(咕咚提出的对OSS监控的需求,开发到上线非常迅速)。

 

OSS适合在图片、音视频、日志、数据库备份集&& binlog等场景中应用。那么,咕咚从OSS获得了哪些便利?主要有以下三个方面:

 

1. 从RDS迁移到OSS成本降低了90%以上。

2. 天然多重副本,不用再考虑灾难备份。

3. 分布式设计,不用再考虑扩展性。

 

归档数据(OAS)

 

1. 价格非常便宜,支持断点续传。

2. 单个文件最大支持40TB。

3. 适合用来存储归档数据。

 

互联网OLAP模型

 

 

移动端日志采集

 

 

1. 通用的SDK,来代替原有的埋点API,更加稳定。

2. 多维的报表数据。

3. 相关crash信息。

4. 日志数据可统一推到ODPS做进一步的分析处理。

 

 

数据仓库(ODPS)

 

1. 托管的数据仓库方案。

2. 分布式列式数据库模型,强大的计算能力,高压缩比。

3. 支持sql,MapReduce。

4. 无缝抽取分布式RDS数据,集中化数据处理。

 

 

 

 

本文根据咕咚运动运维负责人李锐在6月29日举办的2016云栖大会·成都峰会上的演讲整理而成。

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
央视网的融媒体数据中台实践
作为中央电视台新媒体平台,央视网在不断升级建设“一网(中央重点新闻网站)+一端(移动客户端)+新媒体集成播控平台(IPTV、手机电视、互联网电视)+市场端口连接”的全新传播格局,打造“无处不在”新入口的同时也深刻认识到,需要让大数据成为驱动整个企业发展的核心动能。
2039 0
大数据存储平台之异构存储实践
经常做数据处理的伙伴们肯定会有这样一种体会:最近一周内的数据会被经常使用到,而比如最近几周的数据使用率会有下降,每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑,存储的数据可能一个月才被访问几次。
14468 0
《虚拟数据中心构建指南》——3.3 存储网络
本节书摘来自华章出版社《虚拟数据中心构建指南》一 书中的第3章,第3.3节,作者:(法)麦里(Maillé, V.),(法)门内尔(Menecier, R. F.)著;姚军等译.更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1321 0
《虚拟数据中心构建指南》——3.6 数据存储
本节书摘来自华章出版社《虚拟数据中心构建指南》一 书中的第3章,第3.6节,作者:(法)麦里(Maillé, V.),(法)门内尔(Menecier, R. F.)著;姚军等译.更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1387 0
《数据整理实践指南》一导读
本书是帮助你完成工作的。一般说来,你可以在没有我们许可的情况下,在程序和文件里使用本书中的代码,除非你在重复创建代码中极为重要的一部分。比如说,写一段程序要用好几段本书中的代码,不需要经过许可。而销售或发布来自O’Reilly书籍中配套的CD-ROM是需要经过许可的。
1425 0
运动的云上新玩法:咕咚LBS场景实践
10月13日2016杭州云栖大会拉开帷幕,位置服务专场的CEO申波带来了“咕咚:位置服务,数据如何让运动更好玩有趣”的重要演讲。本次分享从咕咚的进化开始谈起,进而讲到社区+工具的运动核心点,重点介绍了LBS场景下精准的运动轨迹、社交以及O2O,最后分享了咕咚的线上新玩法。一起来欣赏吧——
3141 0
数据结构实践——置换-选择算法模拟
本文是针对[数据结构基础系列(10):外部排序]中的实践项目。 【项目 】置换-选择算法模拟   编写程序,模拟置换-选择算法生成初始归并段的过程。   设大文件中的记录共有18个: 15 4 97 64 17 32 108 44 76 9 39 82 56 31 80 73 255 68   内存工作区可以容纳5个记录,输出产生的归并段文件。   在模拟中,输
1114 0
存储过程中进行循环处理数据
用游标,和WHILE可以遍历您的查询中的每一条记录并将要求的字段传给变量进行相应的处理================== 代码 DECLARE @A1 VARCHAR(10),@A2 VARCHAR(10),@A3 INTDECLARE YOUCURNAME CURSOR FOR SELE...
656 0
+关注
云学习小组
一群热爱技术的朋友们在云栖社区组成的学习小组!
144
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载