MySQL每秒57万的写入,带你飞~

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 一、需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。 二、实现再分析 对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存大于数据情况下,可以维持在10万-15万行写入。

一、需求

一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。

二、实现再分析

对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存大于数据情况下,可以维持在10万-15万行写入。 但很多时间我们接受的项目还是数据超过内存的。 这里使用XeLabs TokuDB做一个测试。

三、XeLabs TokuDB介绍

项目地址: https://github.com/XeLabs/tokudb

相对官方TokuDB的优化:

  • 内置了jemalloc 内存分配
  • 引入更多的内置的TokuDB性能指标
  • 支持Xtrabackup备份
  • 引入ZSTD压缩算法
  • 支持TokuDB的binlog_group_commit特性
四、测试表

TokuDB核心配置:

8268b5e247de15c4f779599bf7518712db5b9c1e

7d48428248bfcda3f493bb9b3e627c677db33860

ed25f0386fe95ba1c9ac9a4ddfd9d10eea5cfb4f

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 关系型数据库 MySQL
Mysql第七天,存储引擎
Mysql第七天,存储引擎
60 0
Mysql第七天,存储引擎
|
存储 SQL 缓存
【MySQL我可以讲一个小时】
【MySQL我可以讲一个小时】
117 0
【MySQL我可以讲一个小时】
|
存储 SQL 数据采集
|
SQL 存储 缓存
一小时让你彻底理解 MySQL
一小时让你彻底理解 MySQL 在写本文章开始之前我给大家说下,根据个人学历理解记录的笔记,如果有什么问题可以关注、联系我们一起讨论。本人还是建议大家多多学习体系的技术。博客不会讲解太细。
113 0
一小时让你彻底理解 MySQL
|
SQL 存储 缓存
《MySQL》系列 - 小胖问我:MySQL 日志到底有啥用?菜!
《MySQL》系列 - 小胖问我:MySQL 日志到底有啥用?菜!
《MySQL》系列 - 小胖问我:MySQL 日志到底有啥用?菜!
|
存储 SQL 关系型数据库
MySQL统计总数就用count,别花里胡哨的《死磕MySQL系列 十》
MySQL统计总数就用count,别花里胡哨的《死磕MySQL系列 十》
197 0
MySQL统计总数就用count,别花里胡哨的《死磕MySQL系列 十》
|
SQL 关系型数据库 MySQL
|
SQL 关系型数据库 MySQL
|
SQL 关系型数据库 MySQL
|
SQL 关系型数据库 MySQL