数据库查询语句优化,mysql优化,join语句优化附带YYC松鼠短视频系统详细demo效果

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介:

数据库查询语句优化,数据库结构优化,细节以及结果展示,

始于我们一个比较大的客户他的并发较高用户访问较多,造成CPU过于消耗然后得到了反馈情况。

0

首先是收到反馈,并且客户发来一段代码。

这是反馈来的查询代码,也就是有bug的代码(去年研发系统比较急,优化没做):

SELECT

`v`.`id`,

`v`.`title`,

`v`.`url`,

`v`.`img`,

`v`.`create_time`,

`v`.`uid`,

`v`.`state`,

`u`.`name`,

ifnull( u.head_img, 'static/image/head.png' ) head_img,

count( DISTINCT s1.id ) skr_count,

ifnull( s.skr, '0' ) skr,

ifnull( co.create_time, '0' ) collection,

ifnull( f.id, '0' ) follow,

count( DISTINCT c.id ) comment_count,

count( DISTINCT h.id ) view_count 

FROM

tp_video v

LEFT JOIN `tp_skr` `s` ON `v`.`id` = s.vid 

AND s.type = 0 

AND '25712' = s.uid

LEFT JOIN `tp_skr` `s1` ON `v`.`id` = s1.vid 

AND s1.type = 0

LEFT JOIN `tp_user` `u` ON `v`.`uid` = `u`.`id`

LEFT JOIN `tp_follow` `f` ON `v`.`uid` = f.follow_id 

AND f.uid = '25712'

LEFT JOIN `tp_collection` `co` ON `v`.`id` = co.vid 

AND co.uid = '25712'

LEFT JOIN `tp_view_history` `h` ON `v`.`id` = `h`.`vid`

LEFT JOIN `tp_comment` `c` ON `v`.`id` = c.vid 

AND c.pid = 0 

AND c.type = 0 

WHERE

`v`.`state` = 1 

GROUP BY

`v`.`id` 

ORDER BY

`create_time` DESC 

LIMIT 0,

20

ok 我们开始进入内部技术讨论环节

第一阶:目前认为索引优化用处不是特别大,但是有一点作用。

1
2

第二阶段:认为需要拆sql数据库

3
4

第三阶:开始质疑拆了是有用吗?讨论拆了以后会好,讨论sql数据量越大越慢,主要是因为全表查询。

5
6

第四阶:用主键索引 然后再拆,再查询

7
8

第五阶:测试并且得出效果,ok,完整成果如下,更新至官方1.9.2版本,效果展示,速度超6666~

YYC松鼠短视频系统1.9.2至此更新效果展示

RPReplay_Final1583981855

最终成果展示

//通过ID获取已看视频ID
            $vids = Db("view_history")->where(["uid" => $user['id']])->field("vid")->select();
            $ids = array_column($vids, "vid");;
            //通过已看视频ID获取未看视频并通过发布时间倒序排序
            //查询20条视频数据的ID
            $videos = Db("video")->page($page,20)->where(['state'=>1])->whereNotIn('id',$ids)->field("id")->select();
            $videoids = array_column($videos, "id");
            $list = Db("video v")
                ->whereIn("v.id", $videoids)
                ->join("skr s", " v.id=s.vid and s.type=0 and '" . $user['id'] . "'=s.uid", "left")
                ->join("skr s1",  "v.id=s1.vid and s1.type=0", "left")
                ->join("user u", "v.uid=u.id", "left")
                ->join("follow f","v.uid=f.follow_id and f.uid = '".$user['id']."'","left")//视频发布者ID等于被关注人ID并且关注用户ID等于当前用户ID
                ->join("collection co","v.id=co.vid and co.uid = '".$user['id']."'","left")//视频ID等于收藏的视频ID并且收藏的用户ID为当前用户ID
                ->join("view_history h", "v.id=h.vid", "left")
                ->join("comment c", "v.id=c.vid and c.pid=0 and c.type=0", "left")
                ->order("skr desc")
                ->group("v.id")
                ->field([
                    "v.id",//视频ID
                "v.title",//视频标题
                    "v.url",//视频链接
                    "v.img",//视频图片
                    "v.create_time",//视频创建时间
                    "v.uid",//视频对应用户ID
                    "v.state",//视频状态
                    "u.name",//视频发布人名称
                    "ifnull(u.head_img,'static/image/head.png') head_img",//用户头像
                    "count(distinct s1.id) skr_count",//点赞数
                    "ifnull(s.skr,'0') skr",//当前用户是否点赞
                    "ifnull(co.create_time,'0') collection",//当前用户是否收藏
                    "ifnull(f.id,'0') follow",//当前用户是否关注
                    "count(distinct c.id) comment_count",//评论数
                    "count(distinct h.id) view_count",//播放次数
                ])
                ->select();

            return $list;
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
4月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
5月前
|
SQL 缓存 监控
MySQL缓存机制:查询缓存与缓冲池优化
MySQL缓存机制是提升数据库性能的关键。本文深入解析了MySQL的缓存体系,包括已弃用的查询缓存和核心的InnoDB缓冲池,帮助理解缓存优化原理。通过合理配置,可显著提升数据库性能,甚至达到10倍以上的效果。
|
5月前
|
SQL 存储 关系型数据库
MySQL体系结构详解:一条SQL查询的旅程
本文深入解析MySQL内部架构,从SQL查询的执行流程到性能优化技巧,涵盖连接建立、查询处理、执行阶段及存储引擎工作机制,帮助开发者理解MySQL运行原理并提升数据库性能。
|
7月前
|
缓存 NoSQL Linux
在CentOS 7系统中彻底移除MongoDB数据库的步骤
以上步骤完成后,MongoDB应该会从您的CentOS 7系统中被彻底移除。在执行上述操作前,请确保已经备份好所有重要数据以防丢失。这些步骤操作需要一些基本的Linux系统管理知识,若您对某一步骤不是非常清楚,请先进行必要的学习或咨询专业人士。在执行系统级操作时,推荐在实施前创建系统快照或备份,以便在出现问题时能够恢复到原先的状态。
687 79
|
4月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
314 6
|
5月前
|
SQL 关系型数据库 MySQL
MySQL的查询操作语法要点
储存过程(Stored Procedures) 和 函数(Functions) : 储存过程和函数允许用户编写 SQL 脚本执行复杂任务.
267 14
|
5月前
|
SQL 关系型数据库 MySQL
MySQL的查询操作语法要点
以上概述了MySQL 中常见且重要 的几种 SQL 查询及其相关概念 这些知识点对任何希望有效利用 MySQL 进行数据库管理工作者都至关重要
154 15
|
5月前
|
SQL 监控 关系型数据库
SQL优化技巧:让MySQL查询快人一步
本文深入解析了MySQL查询优化的核心技巧,涵盖索引设计、查询重写、分页优化、批量操作、数据类型优化及性能监控等方面,帮助开发者显著提升数据库性能,解决慢查询问题,适用于高并发与大数据场景。
|
5月前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
966 5
|
5月前
|
安全 关系型数据库 数据管理
阿里云数据库:构建高性能与安全的数据管理系统
阿里云数据库提供RDS、PolarDB、Tair等核心产品,具备高可用、弹性扩展、安全合规及智能运维等技术优势,广泛应用于电商、游戏、金融等行业,助力企业高效管理数据,提升业务连续性与竞争力。

推荐镜像

更多