ApsaraDB云数据库助力优驾产品升级和架构变革

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 2017云栖大会POLARDB专场,广州通易科技有限公司技术负责人刘锬带来ApsaraDB云数据库助力优驾产品升级和架构变革的演讲。本文主要先介绍了优驾产品,接着介绍了应用需求与技术架构,最后分享了上云之路和使用云数据库的体会。

2017云栖大会POLARDB专场,广州通易科技有限公司技术负责人刘锬带来ApsaraDB云数据库助力优驾产品升级和架构变革的演讲。本文主要先介绍了优驾产品,接着介绍了应用需求与技术架构,最后分享了上云之路和使用云数据库的体会。

以下是精彩内容分享:

 

优驾产品

dd6024cd7c4ac611d7edc961e14e236ac72c82d4

我们做的产品是车联网的产品,最右边是连接汽车API的盒子,我们做APP连接盒子。我们出了一个旗舰产品,4G后视镜和车的连接大屏,产品本质上来讲就是AI助理,帮助大家解决一些用车的小问题,怎么开车出行,怎么精明养车等。

我们的产品深度支持100多个车品牌,我们能读出来的数据能力和专业4S店诊断仪诊断出来的数据一样。

 

应用需求与技术架构

8a4dc6d5bcd800ee036d9ac2cd922cc83fb2c407

这是数据的架构,车里传感器非常多,很多数据流都在汽车总线上跑。而车对外暴露一个API 16桢接口,把车和网络连接起来。盒子不管是和手机、平板、后视镜、车机,都是通过蓝牙连接,数据上传到云分析数据。

汽车里的数据流比我们想象当中要多,仪表上可见的都是数据流,仪表上不可见的也有各种各样数据流,还包括在车上能看到各种各样故障灯。假设有100个数据流,每个数据流都是在50毫秒产生一个数字的变化,这个时候数据量是很大的,比如在国庆期间,有一位用户大概15天的时间从广西南宁出发,然后把青藏线和川藏线全部走了一遍,跑了8千多公里,他把8千多公里数据在一个时间点提交传上来,他的数据一天行车1200公里,1200公里数据大概有50万条原始数据,还不是我们处理后的数据,这意味着8千公里大概就是350万条左右,一次性一个峰值一个用户就把数据提交上来,我们就很痛苦自己多出一个BUG,导致不正常。

a5a351e2a6d43f6cd701c5a40976bf7674002b13

现在数据库存储成本高,我们并没有把所有数据都存到数据库。大家知道一个应用只有10万个用户,其实是非常小的应用,但它的数据量很高。我们想要做的事情是在车出现异常之前发现它,发现它之后找到解决方案,我作为一个车主能不能去之前就知道车可能会怎么修,哪一个部件坏了,甚至于部件在网上哪个卖家卖得最便宜,这是我们想要解决的问题。

我们通过大数据预测车况异常,数据接进来之后用一些机器学习算法,包括专家的知识库做一个问题预测。然后能够把维修方案给出来,跟哪个部件有关,然后再去做维修配件电商全网比价,把所有电商上汽车配件全部抓下来,看它的价格比较,告诉你去哪一家买是最便宜的。这个应用的范围很广。

 

与云共舞

最开始产品上线的时候,我们自己弄了一个服务器,用户量很少。大家也知道应用的特性,数据快速增长,我们天天还想着开发一些业务的功能,数据库性能也很差,用户工作量也很大。后来阿里云技术专家提了很多意见,和我们探讨怎么把自建服务器上环境迁移到云上面来。

上云之路

最开始我们用云的时候,买InnoDB的实例,性能很高,运维起来很简单。我们没有DBA,只有开发人员客串DBA。这时候还是有两个问题:第一,数据还是快速增长,数据存储成本肯定还会很高;第二,当时数据库实例是2TB,通过2TB的上线,这时候要做分库分表,再买个实例很麻烦。

MySQL的RDS是2个TB,hadoop是PB级别的。大家有没有想过一个问题,10个TB的数据和100个TB的数据也要用hadoop吗?有没有一类产品,它能够突破这个上线,因为MySQL我们用起来很熟悉,MySQL能不能支持大数据产品的应用。阿里云出来一个产品支持TokuDB存储引擎,5倍的压缩比。当时我们把一些事物处理放在InnoDB,OLAP放在TokuDB上。

aad7292f004e03c0a7fad8d769158faf5cda13f6

但问题又来了,TokuDB还是有上限的,后来出现了Hybrid,我的体会有几点:

第一,它依然是支持MySQL的,所以用起来不需要再去学习什么,很方便;

第二,它存储成本会相对低一些,因为它是SSD和SATA混合,也支持高压缩,TokuDB引擎在里面依然可以用;

第三,一份存储数据既可以做TP业务,也可以用AP业务。大家也知道要把这些数据拿出来做分析,要把数据拖到另外一个地方去,用之前准备工作太长,这个数据库好的地方在于我写一次,APP业务也可以在上面跑,有分布式数据库;

第四,直接可用,最后数据突破上限PB级。

其实产品出来之后,一样还存在问题,只读实例,成本线性增加、创建速度慢;数据备份,2TB、50小时。POLARDB一次性满足了我全部的幻想,我们作为一个不知名的厂商在做很小的产品,在解决一些很小的问题,使用POLARDB,我可以用很少的成本。   

 

使用云数据库的体会

云数据库用了这么久,在这几年用阿里云的数据库产品给我印象最深刻的是阿里云的价值观,他们能把客户放在第一位。

首先,它不怠慢客户。我们的产品在刚刚出来时也没有什么用处,只是自己有问题而已。在这个时候他们不会因为你是一个很小的客户,提出问题就不重视。我们从当时提出问题到现在阿里云推出的各个产品线,解决了当时提的问题,MySQL能不能支持大数据场景下的应用。

其次,积极互动。他们的产品有什么意见,他们会经常主动问意见。

第三点,阿里云的数据库有一个特点,你有什么新的需求我们就开发新的产品对应你。

第四点也是最重要的一点,坚持性价比。性价比很重要,我之所以用你,你的东西固然好,但必须得便宜,中小企业关注的是成本。

 

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
3月前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
3月前
|
消息中间件 缓存 监控
优化微服务架构中的数据库访问:策略与最佳实践
在微服务架构中,数据库访问的效率直接影响到系统的性能和可扩展性。本文探讨了优化微服务架构中数据库访问的策略与最佳实践,包括数据分片、缓存策略、异步处理和服务间通信优化。通过具体的技术方案和实例分析,提供了一系列实用的建议,以帮助开发团队提升微服务系统的响应速度和稳定性。
|
4月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之人脸数据库容量是否支持扩容
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
4月前
|
存储 移动开发 数据库
视觉智能开放平台产品使用合集之人脸数据库容量是否支持扩容
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
26天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
27天前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
2月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
210 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
2月前
|
存储 消息中间件 人工智能
ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用》。
|
2月前
|
存储 消息中间件 运维
架构升级的救星!流量回放自动化测试的必备指南
大家好,我是小米,一名29岁的技术宅。今天分享一个物联网领域的实用技能——流量回放自动化测试。系统重构后,测试工作量巨大,本文介绍如何通过日志收集和数据回放进行自动化测试,包括离线、实时和并行回放模式,帮助快速定位Bug,提升测试效率和系统稳定性。欢迎关注我的微信公众号“软件求生”,获取更多技术干货!
50 3