性能优化反思:不要在for循环中操作DB

简介: 我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装

简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。


我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装。


举个栗子


场景说明


  1. 业务在多个情景下需要获得用户的详细信息,有点可以通过查询用户表直接获取到,有的需要查询关联关系表获取到,有的只保存了关联的id,并没有单独创建关联关系表,需要单独写获取函数取值。
  2. 既然多个场景下需要调用,那么封装成一个公共方法,让多个场景统一调用公共方法是基本的优化思路。
  3. 上面提到了复杂的存取值关系,我们需要分析一下,哪些操作是耗时的,耗时的操作如何优化,能否减少sql查询的次数。


举例说明:


  1. 下面的代码示例,我们封装了 CommonRender 的类,所有可以统一输出的方法都在这里
  2. 下面代码标注了优化之前优化之后
  3. 优化之前:在每次查询都需要根据保存的id,去数据库查询;如果列表页每次返回30条数据,那这部分就需要30次sql查询。
  4. 优化之后:采用的是提前批量取值,又写了一个函数 _renderHobby ,只需要1次sql。
  5. 这样就极大的减少了sql查询,提高了程序响应的速度。


<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [])
    {
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            'uid' => !isset($data['id']) ? 0 : $data['id'],
            'userid' => !isset($data['userid']) ? '' : $data['userid'],
            'username' => !isset($data['username']) ? '' : $data['username'],
            'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            .
            .
            .
        if (!empty($ret['birth'])) {
            $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
        } else {
            $ret['zodiacSign'] = '';
        }
        return $ret;
    }
    protected static function _renderHobby($userHobby, $hobbyInfo)
    {
        $ret = [];
        if ($userHobby) {
            $userHobbyIds = explode(',', $userHobby);
            foreach ($userHobbyIds as $key => $userHobbyId) {
                $ret[$key] = $hobbyInfo[$userHobbyId];
            }
        }
        return $ret;
    }
    //用户列表卡片常用字段
    public static function renderListCardUserinfo($data)
    {
        .
        .
        .
    }
}


进一步优化


上面的代码已经优化了性能,但是还不够优雅。


获取单用户信息场景比较多,比如编辑,登录,查看单人信息等,这种情况下我还每次都提前批量查询吗?这样的话需要改造的地方太多了。


下面做进一步优化:


  1. 在render方法内部封装了一层,如果外部没有传入或传入空数组,自己再查询db获得一次需要的数据源。


<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [])
    {
        //区别在这里:批量查询外部传入,减少sql查询次数; 单次查询在render内查一次
        $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            'uid' => !isset($data['id']) ? 0 : $data['id'],
            'userid' => !isset($data['userid']) ? '' : $data['userid'],
            'username' => !isset($data['username']) ? '' : $data['username'],
            'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            .
            .
            .
        if (!empty($ret['birth'])) {
            $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
        } else {
            $ret['zodiacSign'] = '';
        }
        return $ret;
    }
    protected static function _renderHobby($userHobby, $hobbyInfo)
    {
        $ret = [];
        if ($userHobby) {
            $userHobbyIds = explode(',', $userHobby);
            foreach ($userHobbyIds as $key => $userHobbyId) {
                $ret[$key] = $hobbyInfo[$userHobbyId];
            }
        }
        return $ret;
    }
    //用户列表卡片常用字段
    public static function renderListCardUserinfo($data)
    {
        .
        .
        .
    }
}


  1. 这样,那些获得单个用户资料的方法就不需要修改了。


//编辑用户资料
    public function editUserInfo(Request $request)
    {
        $userInfo = UserInfo::editUserById($this->_userid, $request);
        return [
            'user' =>
                CommonRender::renderUserinfo($userInfo)
                + UserInfo::formatCoverAndPickedFootprint($userInfo)
        ];
    }


性能对比


  1. 比如每次取30个用户数据,之前获得爱好,职业,期望部分要查询30次db。
  2. 优化之后只需要查询3次db。


public static function getBatchUserIntro($userid, $userList)
    {
        $retData = [];
        if (empty($userList)) {
            return $retData;
        }
        .
        .
        .
        //批量获得爱好、职业、期望遇到 在foreach中计算取值,不重复请求DB取值
        $hobbyInfo = HobbyInfo::getAllInfo();
        $professionInfo = ProfessionInfo::getAllInfo();
        $expectInfo = ExpectInfo::getAllInfo();
        foreach ($batchUserInfo as $item) {
            $retData[$item['userid']] = array_merge(
                    ['wxnumber' => Utility::maskWxnumber($item['wxnumber'], $batchExchangeStatus[$item['userid']] == UserUserWeixinExchange::TYPE_TRUE)]
                    + CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
        }
        .
        .
        .
        return $retData;
   }


相关文章
|
移动开发 缓存 前端开发
推荐一大波让你直呼哇塞的Canvas库【值得收藏】
推荐一大波让你直呼哇塞的Canvas库【值得收藏】
6543 0
推荐一大波让你直呼哇塞的Canvas库【值得收藏】
|
6月前
|
存储 缓存 监控
什么是线程池?它的工作原理?
我是小假 期待与你的下一次相遇 ~
390 1
|
监控 安全 网络协议
Hyper V上网实战:多虚拟机网络环境配置
在Hyper-V环境中配置多虚拟机网络以实现上网功能,需完成以下步骤:1. 确认Hyper-V安装与物理网络连接正常;2. 配置虚拟交换机(外部、内部或专用)以支持不同网络需求;3. 设置虚拟机网络适配器并关联对应虚拟交换机;4. 验证虚拟机网络连接状态;5. 根据场景需求优化多虚拟机网络环境。此外,还需注意网络隔离、性能监控及数据备份等事项,确保网络安全稳定运行。
|
供应链 数据挖掘 API
探秘淘宝商品SKU信息API接口
在电子商务中,SKU(库存量单位)用于区分商品的不同规格、颜色、尺寸等属性,是精细化管理的基础。本文深入探讨淘宝商品SKU信息API接口,介绍其功能特点、使用方法及应用场景,并提供Python代码示例。该API支持实时更新、多维度筛选,帮助开发者获取全面的SKU信息,优化库存管理、订单处理和销售数据分析,提升运营效率与市场竞争力。
1014 1
|
数据库
如何解决逻辑删除is_del与数据库唯一约束冲突
如何解决逻辑删除is_del与数据库唯一约束冲突
569 0
|
NoSQL Redis 数据库
SpringCloud 分布式锁的多种实现(一)
SpringCloud 分布式锁的多种实现
813 0
SpringCloud 分布式锁的多种实现(一)
|
Cloud Native 安全 自动驾驶
全新升级!《云原生架构白皮书 2022 版》重磅发布
今年,《云原生架构白皮书2022版》正式上线,相较于2020年版本,本次内容新增数十家企业实战经验合集,同时在云原生产品矩阵中,新增多个核心产品家族,如容器产品家族、微服务产品家族、云原生技术中台 CNStack 产品家族等,更加一站式助力企业数字化转型。
9530 1
全新升级!《云原生架构白皮书 2022 版》重磅发布
|
SQL 存储 NoSQL
MongoDB和MySQL的区别
前言: MySQL与MongoDB都是开源的常用数据库,但是MySQL是传统的关系型数据库,MongoDB则是非关系型数据库,也叫文档型数据库,是一种NoSQL的数据库。它们各有各的优点,关键是看用在什么地方。
11226 23
|
消息中间件 存储 缓存
消息队列之推还是拉,RocketMQ 和 Kafka 是如何做的?(上)
消息队列之推还是拉,RocketMQ 和 Kafka 是如何做的?(上)
消息队列之推还是拉,RocketMQ 和 Kafka 是如何做的?(上)
|
人工智能 自然语言处理 数据可视化
体验评测报告:阿里云百炼平台——大模型应用构建的全方位工具箱
体验评测报告:阿里云百炼平台——大模型应用构建的全方位工具箱
1319 2