咕咚运动数据存储实践

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
对象存储 OSS,20GB 3个月
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
简介: 摘要:6月29日2016云栖大会成都峰会拉开帷幕,咕咚运动运维负责人李锐带来了“咕咚运动数据存储实践”的重要演讲。从咕咚APP的性质和目标,谈到互联网OLTP模型,重点介绍了分布式数据库和对象存储的应用,最后也简要的介绍了互联网OLAP模型。让我们一起先睹为快吧——


咕咚APP——综合运动社交平台

 

 

咕咚APP致力于打造运动社交综合型平台,目前咕咚APP所涵盖人群包括:跑步、健走、骑行、游泳、滑雪、篮球、足球等多个领域,并为其提供相应功能进行承载。

 

咕咚APP有稳定的GPS轨迹记录及全面的数据存储,满足运动人群对于个体/群组的社交需求。咕咚APP已经拥有近5000万注册用户,日活人数450万+人,致力于为平台上千万运动爱好者,打造专属的运动功能、社交功能、以及独特的O2O功能。

 

 

互联网OLTP模型

 

 

缓存(ECS(redis&&twemproxy)+SLB)


 ad00c747f45d5ac58df608dd3325c5bc528b8aab

 

队列

 

 

经历的阶段:

◆ Redis:单线程,扩展性不强,不支持ack。

◆ RabbitMQ:集群方案常出问题,并且无法获取error log,出问题后很难定位。

◆ 阿里云MQ方案:无单点,无瓶颈,可自由扩展,支持重试机制。

 

 

数据库(RDS MySQL)

 

 

1. 托管的数据库服务。

2. 全方位的基础监控,权限控制。

3. 高可用性,无感知自动切换主备。

4. 弹性升级配置。

5. 相关配套中间件功能强大,比如DRDS,DTS。

 

4c6e1e7a8426a4c8091c351c989ac861621586df

海量数据存储方案(PreSharding+DRDS)

 

 

对象数据存储(OSS咕咚路线详情数据)

 

OSS的优势表现在以下几点:

 

1. 海量扩展性。

2. 高可用性 (可用性不低于99.9% ; 持久性10个9)。

3. 安全性(提供白名单,防盗链,主子账号功能)。

4. 成本低。

5. 团队的快速响应(咕咚提出的对OSS监控的需求,开发到上线非常迅速)。

 

OSS适合在图片、音视频、日志、数据库备份集&& binlog等场景中应用。那么,咕咚从OSS获得了哪些便利?主要有以下三个方面:

 

1. 从RDS迁移到OSS成本降低了90%以上。

2. 天然多重副本,不用再考虑灾难备份。

3. 分布式设计,不用再考虑扩展性。

 

归档数据(OAS)

 

1. 价格非常便宜,支持断点续传。

2. 单个文件最大支持40TB。

3. 适合用来存储归档数据。

 

互联网OLAP模型

 

 

移动端日志采集

 

 

1. 通用的SDK,来代替原有的埋点API,更加稳定。

2. 多维的报表数据。

3. 相关crash信息。

4. 日志数据可统一推到ODPS做进一步的分析处理。

 

 

数据仓库(ODPS)

 

1. 托管的数据仓库方案。

2. 分布式列式数据库模型,强大的计算能力,高压缩比。

3. 支持sql,MapReduce。

4. 无缝抽取分布式RDS数据,集中化数据处理。

 

 

 

 

本文根据咕咚运动运维负责人李锐在6月29日举办的2016云栖大会·成都峰会上的演讲整理而成。

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
数据采集 监控 数据挖掘
如何更有价值采集电商数据,高效分析数据?
大数据,就是在一定时间范围内用常规工具软件对历史数据捕捉、处理,加以分析,进而改善决策和管理。在大数据时代,企业必须用大数据分析方法来做电商。
|
2月前
|
传感器 数据采集 存储
LabVIEW水下温盐深数据一体化采集与分析
LabVIEW水下温盐深数据一体化采集与分析
20 1
|
9月前
|
关系型数据库 定位技术 分布式数据库
沉浸式学习PostgreSQL|PolarDB 18: 通过GIS轨迹相似伴随|时态分析|轨迹驻点识别等技术对拐卖、诱骗场景进行侦查
本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.
1218 1
|
2月前
|
分布式计算 NoSQL 大数据
探索数据宇宙:深入解析大数据分析与管理技术
探索数据宇宙:深入解析大数据分析与管理技术
68 1
|
12月前
|
定位技术
GIS空间分析 叠加分析与缓冲区分析2 房产开发适宜性制图
GIS空间分析 叠加分析与缓冲区分析2 房产开发适宜性制图 本文讲述了基于选址分析的适应性分析案例
87 0
|
监控
构建三维一体立体化监控,看这一篇就够了!
如果你需要搭建一套能够立体化监控你的应用及业务,出现问题及时告警的监控体系,这篇文章应该是你所需要的!
480 0
构建三维一体立体化监控,看这一篇就够了!
|
2月前
|
存储 并行计算 关系型数据库
使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云数据的高速存储、压缩、高效精确提取
背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云...
71 0
|
存储 并行计算 Cloud Native
使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云数据的高速存储、压缩、高效精确提取
PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力. 本文将介绍使用 PolarDB 开源版 部署 pgpointcloud 支撑激光点云数据的高速存储、压缩、高效精确提取
397 0
|
存储 数据采集 数据可视化
教您通过NBI大数据可视化工具零编码轻松实现桑基图的制作
人人都是数据分析师的时代,我们如何才能真正让普通用户拥有数据分析的能力,我们都知道要想掌握大数据分析,首先在技术层面就得有一定的技术深度和广度,数据分析大致分为数据采集,数据存储,数据建模计算,数据可视化分析四个阶段,要想掌握这些能力,那大家可能想到的是需要一个有实力的团队才能做到吧,那今天就给大家介绍一款大数据可视化分析工具(更多资料了解:http://nbi.easydatavis.com:8033),通过零编码,简单快速实现数据可视化分析 NBI一站式数据可视化分析平台(更多资料了解:http://nbi.easydatavis.com:8033) NBI一站式大数据分析平台作为新一
教您通过NBI大数据可视化工具零编码轻松实现桑基图的制作