数据库查询语句优化,mysql优化,join语句优化附带YYC松鼠短视频系统详细demo效果

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS Agent(兼容OpenClaw),2核4GB
简介:

数据库查询语句优化,数据库结构优化,细节以及结果展示,

始于我们一个比较大的客户他的并发较高用户访问较多,造成CPU过于消耗然后得到了反馈情况。

0

首先是收到反馈,并且客户发来一段代码。

这是反馈来的查询代码,也就是有bug的代码(去年研发系统比较急,优化没做):

SELECT

`v`.`id`,

`v`.`title`,

`v`.`url`,

`v`.`img`,

`v`.`create_time`,

`v`.`uid`,

`v`.`state`,

`u`.`name`,

ifnull( u.head_img, 'static/image/head.png' ) head_img,

count( DISTINCT s1.id ) skr_count,

ifnull( s.skr, '0' ) skr,

ifnull( co.create_time, '0' ) collection,

ifnull( f.id, '0' ) follow,

count( DISTINCT c.id ) comment_count,

count( DISTINCT h.id ) view_count 

FROM

tp_video v

LEFT JOIN `tp_skr` `s` ON `v`.`id` = s.vid 

AND s.type = 0 

AND '25712' = s.uid

LEFT JOIN `tp_skr` `s1` ON `v`.`id` = s1.vid 

AND s1.type = 0

LEFT JOIN `tp_user` `u` ON `v`.`uid` = `u`.`id`

LEFT JOIN `tp_follow` `f` ON `v`.`uid` = f.follow_id 

AND f.uid = '25712'

LEFT JOIN `tp_collection` `co` ON `v`.`id` = co.vid 

AND co.uid = '25712'

LEFT JOIN `tp_view_history` `h` ON `v`.`id` = `h`.`vid`

LEFT JOIN `tp_comment` `c` ON `v`.`id` = c.vid 

AND c.pid = 0 

AND c.type = 0 

WHERE

`v`.`state` = 1 

GROUP BY

`v`.`id` 

ORDER BY

`create_time` DESC 

LIMIT 0,

20

ok 我们开始进入内部技术讨论环节

第一阶:目前认为索引优化用处不是特别大,但是有一点作用。

1
2

第二阶段:认为需要拆sql数据库

3
4

第三阶:开始质疑拆了是有用吗?讨论拆了以后会好,讨论sql数据量越大越慢,主要是因为全表查询。

5
6

第四阶:用主键索引 然后再拆,再查询

7
8

第五阶:测试并且得出效果,ok,完整成果如下,更新至官方1.9.2版本,效果展示,速度超6666~

YYC松鼠短视频系统1.9.2至此更新效果展示

RPReplay_Final1583981855

最终成果展示

//通过ID获取已看视频ID
            $vids = Db("view_history")->where(["uid" => $user['id']])->field("vid")->select();
            $ids = array_column($vids, "vid");;
            //通过已看视频ID获取未看视频并通过发布时间倒序排序
            //查询20条视频数据的ID
            $videos = Db("video")->page($page,20)->where(['state'=>1])->whereNotIn('id',$ids)->field("id")->select();
            $videoids = array_column($videos, "id");
            $list = Db("video v")
                ->whereIn("v.id", $videoids)
                ->join("skr s", " v.id=s.vid and s.type=0 and '" . $user['id'] . "'=s.uid", "left")
                ->join("skr s1",  "v.id=s1.vid and s1.type=0", "left")
                ->join("user u", "v.uid=u.id", "left")
                ->join("follow f","v.uid=f.follow_id and f.uid = '".$user['id']."'","left")//视频发布者ID等于被关注人ID并且关注用户ID等于当前用户ID
                ->join("collection co","v.id=co.vid and co.uid = '".$user['id']."'","left")//视频ID等于收藏的视频ID并且收藏的用户ID为当前用户ID
                ->join("view_history h", "v.id=h.vid", "left")
                ->join("comment c", "v.id=c.vid and c.pid=0 and c.type=0", "left")
                ->order("skr desc")
                ->group("v.id")
                ->field([
                    "v.id",//视频ID
                "v.title",//视频标题
                    "v.url",//视频链接
                    "v.img",//视频图片
                    "v.create_time",//视频创建时间
                    "v.uid",//视频对应用户ID
                    "v.state",//视频状态
                    "u.name",//视频发布人名称
                    "ifnull(u.head_img,'static/image/head.png') head_img",//用户头像
                    "count(distinct s1.id) skr_count",//点赞数
                    "ifnull(s.skr,'0') skr",//当前用户是否点赞
                    "ifnull(co.create_time,'0') collection",//当前用户是否收藏
                    "ifnull(f.id,'0') follow",//当前用户是否关注
                    "count(distinct c.id) comment_count",//评论数
                    "count(distinct h.id) view_count",//播放次数
                ])
                ->select();

            return $list;
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1300 152
|
8月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
8月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
8月前
|
SQL 关系型数据库 MySQL
Mysql数据恢复—Mysql数据库delete删除后数据恢复案例
本地服务器,操作系统为windows server。服务器上部署mysql单实例,innodb引擎,独立表空间。未进行数据库备份,未开启binlog。 人为误操作使用Delete命令删除数据时未添加where子句,导致全表数据被删除。删除后未对该表进行任何操作。需要恢复误删除的数据。 在本案例中的mysql数据库未进行备份,也未开启binlog日志,无法直接还原数据库。
|
8月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
515 158
|
8月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
962 156
|
8月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
542 156
|
8月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(上)
最终建议:当前系统是完美的读密集型负载模型,优化重点应放在减少行读取量和提高数据定位效率。通过索引优化、分区策略和内存缓存,预期可降低30%的CPU负载,同时保持100%的缓冲池命中率。建议每百万次查询后刷新统计信息以持续优化
650 161
|
9月前
|
存储 运维 关系型数据库
从MySQL到云数据库,数据库迁移真的有必要吗?
本文探讨了企业在业务增长背景下,是否应从 MySQL 迁移至云数据库的决策问题。分析了 MySQL 的优势与瓶颈,对比了云数据库在存储计算分离、自动化运维、多负载支持等方面的优势,并提出判断迁移必要性的五个关键问题及实施路径,帮助企业理性决策并落地迁移方案。

推荐镜像

更多