咕咚运动数据存储实践

简介: 摘要:6月29日2016云栖大会成都峰会拉开帷幕,咕咚运动运维负责人李锐带来了“咕咚运动数据存储实践”的重要演讲。从咕咚APP的性质和目标,谈到互联网OLTP模型,重点介绍了分布式数据库和对象存储的应用,最后也简要的介绍了互联网OLAP模型。让我们一起先睹为快吧——


咕咚APP——综合运动社交平台

 

 

咕咚APP致力于打造运动社交综合型平台,目前咕咚APP所涵盖人群包括:跑步、健走、骑行、游泳、滑雪、篮球、足球等多个领域,并为其提供相应功能进行承载。

 

咕咚APP有稳定的GPS轨迹记录及全面的数据存储,满足运动人群对于个体/群组的社交需求。咕咚APP已经拥有近5000万注册用户,日活人数450万+人,致力于为平台上千万运动爱好者,打造专属的运动功能、社交功能、以及独特的O2O功能。

 

 

互联网OLTP模型

 

 

缓存(ECS(redis&&twemproxy)+SLB)


 

 

队列

 

 

经历的阶段:

◆ Redis:单线程,扩展性不强,不支持ack。

◆ RabbitMQ:集群方案常出问题,并且无法获取error log,出问题后很难定位。

◆ 阿里云MQ方案:无单点,无瓶颈,可自由扩展,支持重试机制。

 

 

数据库(RDS MySQL)

 

 

1. 托管的数据库服务。

2. 全方位的基础监控,权限控制。

3. 高可用性,无感知自动切换主备。

4. 弹性升级配置。

5. 相关配套中间件功能强大,比如DRDS,DTS。

 


海量数据存储方案(PreSharding+DRDS)

 

 

对象数据存储(OSS咕咚路线详情数据)

 

OSS的优势表现在以下几点:

 

1. 海量扩展性。

2. 高可用性 (可用性不低于99.9% ; 持久性10个9)。

3. 安全性(提供白名单,防盗链,主子账号功能)。

4. 成本低。

5. 团队的快速响应(咕咚提出的对OSS监控的需求,开发到上线非常迅速)。

 

OSS适合在图片、音视频、日志、数据库备份集&& binlog等场景中应用。那么,咕咚从OSS获得了哪些便利?主要有以下三个方面:

 

1. 从RDS迁移到OSS成本降低了90%以上。

2. 天然多重副本,不用再考虑灾难备份。

3. 分布式设计,不用再考虑扩展性。

 

归档数据(OAS)

 

1. 价格非常便宜,支持断点续传。

2. 单个文件最大支持40TB。

3. 适合用来存储归档数据。

 

互联网OLAP模型

 

 

移动端日志采集

 

 

1. 通用的SDK,来代替原有的埋点API,更加稳定。

2. 多维的报表数据。

3. 相关crash信息。

4. 日志数据可统一推到ODPS做进一步的分析处理。

 

 

数据仓库(ODPS)

 

1. 托管的数据仓库方案。

2. 分布式列式数据库模型,强大的计算能力,高压缩比。

3. 支持sql,MapReduce。

4. 无缝抽取分布式RDS数据,集中化数据处理。

 

 

 

 

本文根据咕咚运动运维负责人李锐在6月29日举办的2016云栖大会·成都峰会上的演讲整理而成。

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
Linux 数据安全/隐私保护
centOS 7无法连接网络详细解决办法
centOS 7无法连接网络详细解决办法
2691 0
centOS 7无法连接网络详细解决办法
|
8月前
|
缓存 人工智能 监控
构建AI智能体:五十五、混合式智能投资顾问:融合快速响应与深度推理的自适应架构
混合式智能投资顾问系统通过情境感知的智能路由机制,在反应式快速响应与深思式深度分析间实现动态平衡。系统根据查询复杂度、用户价值和资源状况,自动选择最优处理通道:简单查询(0.5-2秒)走反应式通道,中等复杂度(2-8秒)采用混合并行处理,复杂问题(8-15秒)进入深思式深度分析。设计创新包括动态负载均衡、渐进式响应和多级缓存体系,既保证响应速度又提供深度价值。该架构通过智能路由层、多通道处理引擎和实时监控系统,实现了计算资源的最优分配,为不同复杂度的投资咨询需求提供个性化解决方案,标志着智能投顾技术进入成熟阶段
758 2
|
5月前
|
网络协议 数据可视化 应用服务中间件
如何申请免费ssl证书以及自动续期
本文详解SSL证书申请与自动续期方案:推荐可视化工具CertGo(桌面端)和轻量脚本acme.sh。涵盖阿里云DNS配置、FreeSSL账号绑定(EAB)、多域名/泛域名申请、Nginx部署及自动续签,零依赖、易上手,助你轻松实现HTTPS全站加密。(239字)
1512 3
|
运维 数据挖掘 Windows
服务器数据恢复—服务器硬盘指示灯亮黄灯的数据恢复案例
服务器硬盘指示灯闪烁黄灯是一种警示,意味着服务器硬盘出现故障即将下线。发现这种情况建议及时更换硬盘。 一旦服务器上有大量数据频繁读写,硬盘指示灯会快速闪烁。服务器上某个硬盘的指示灯只有黄灯亮着,而其他颜色的灯没有亮的话,通常表示这块硬盘出现故障,这时候更换新硬盘同步数据即可。 如果没有及时发现硬盘损坏或者更换硬盘失败导致服务器崩溃,应该如何恢复数据呢?下面通过一个真实案例讲解一下服务器硬盘指示灯亮黄色的数据恢复案例。
1209 1
|
人工智能 自然语言处理 供应链
《AI引领传统企业:数字化转型与商业创新的破局之路》
在当今时代,AI为传统企业带来数字化转型和商业创新的机遇。通过数据分析、精准决策、业务流程优化、产品服务创新、营销渠道拓展及人才管理,AI助力企业提升效率、降低成本、增强竞争力。企业需转变思维、加大技术投入、培养AI人才,建立适应转型的企业文化,以充分挖掘AI潜力,实现可持续发展。
1007 15
|
SQL Java 数据库连接
MyBatis-Plus的几种常见用法
MyBatis-Plus 为 MyBatis 提供了许多增强功能,使得开发更加便捷高效。通过基础的 CRUD 操作、条件构造器、分页插件和自动填充等功能,开发者可以显著减少代码量,提高开发效率。在实际应用中,根据具体需求选择合适的功能模块,能够更好地利用 MyBatis-Plus 提升项目开发效率。
529 22
|
机器学习/深度学习 算法 搜索推荐
KNN算法(k近邻算法)原理及总结
KNN算法(k近邻算法)原理及总结
1658 0
|
小程序 安全 数据库连接
为什么已经提交的小程序无法连接后台服务?
【10月更文挑战第17天】为什么已经提交的小程序无法连接后台服务?
2474 0
|
Kubernetes Docker 容器
【Docker专栏】Docker网络配置详解:从Bridge到Overlay
【5月更文挑战第7天】本文介绍了Docker的四种网络类型:Bridge(默认,每个容器连接虚拟桥)、Host(容器共享宿主机网络命名空间)、Overlay(跨宿主机通信,适合集群环境)和Macvlan(容器直接连接物理网络)。Bridge网络适用于同主机通信,而Overlay适合多主机集群。Host网络缺乏隔离,Macvlan则让容器直接连到外部网络。理解这些网络类型有助于优化Docker容器的网络配置。
1275 8
【Docker专栏】Docker网络配置详解:从Bridge到Overlay
|
算法 网络安全 数据安全/隐私保护