Nginx源码阅读：避免惊群以及负载均衡的原理与具体实现

void
ngx_process_events_and_timers(ngx_cycle_t *cycle)
{
    ngx_uint_t  flags;
    ngx_msec_t  timer, delta;
    //timer是用于epoll_wait等待的时间，后面传入的参数
    //delta 记录处理epoll_process_events花费的时间
    if (ngx_timer_resolution) {
        timer = NGX_TIMER_INFINITE;//时间设置无穷大(实际上就是ngx_msec_t的最大值）
        flags = 0;
    } else {
        flags = NGX_UPDATE_TIME;
        timer = ngx_event_find_timer();//找到最近一个定时器触发所需要的时间
#if (NGX_WIN32)
        /* handle signals from master in case of network inactivity */
        if (timer == NGX_TIMER_INFINITE || timer > 500) {
            timer = 500;
        }
#endif
    }
    if (ngx_use_accept_mutex) {
        //用于负载均衡，如果当前进程中连接池中连接数量较多 或者 待连接数比较少，那么进程会采用让出，不执行任务。
        if (ngx_accept_disabled > 0) {
            ngx_accept_disabled--;
        } else {
            //尝试加锁
            //1.如果获得锁，会将所有listenfd加入到epoll
            //2.如果没有获得锁，会删除当前进程epoll中的listenfd
            if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) {//加锁
                return;
            }
            //如果持有了锁
            if (ngx_accept_mutex_held) {
                flags |= NGX_POST_EVENTS;//获得锁后的标志位NGX_POST_EVENTS（网络读写事件延迟处理标志）
            } else {
                if (timer == NGX_TIMER_INFINITE
                    || timer > ngx_accept_mutex_delay)
                {
                    timer = ngx_accept_mutex_delay;
                }
            }
        }
    }
    //之前队列中剩下的一些未完成的事件放在队列ngx_posted_next_events中，也就是要优先处理的
    //把这些事件放入ngx_posted_events队列头部，并清空ngx_posted_next_events
    if (!ngx_queue_empty(&ngx_posted_next_events)) {
        ngx_event_move_posted_next(cycle);
        timer = 0;//这些任务是上一轮的,要紧急处理，后续epoll_wait要立刻返回，不延迟
    }
    delta = ngx_current_msec;
    //里面执行epoll_wait
    //网络连接事件，放入ngx_posted_accept_events队列
    //网络读写事件，放入ngx_posted_events队列
    (void) ngx_process_events(cycle, timer, flags);//执行ngx_epoll_process_events
    delta = ngx_current_msec - delta;
    ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
                   "timer delta: %M", delta);
    //如果没有加锁成功，那么ngx_posted_accept_events会是空的               
    //执行accept事件（ngx_event_accept）
    ngx_event_process_posted(cycle, &ngx_posted_accept_events);
    if (ngx_accept_mutex_held) {//解锁
        ngx_shmtx_unlock(&ngx_accept_mutex);
    }
    ngx_event_expire_timers();
    //执行普通事件
    ngx_event_process_posted(cycle, &ngx_posted_events);
}

ngx_int_t
ngx_trylock_accept_mutex(ngx_cycle_t *cycle)
{
    if (ngx_shmtx_trylock(&ngx_accept_mutex)) {//尝试加锁（通过CAS操作，将mtx->lock设置为当前worker进程的pid，没有占用则mtx->lock为0）
        ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
                       "accept mutex locked");
        //之前已经持有了锁，那么就直接返回，继续监听端口（ngx_accept_events 在 epoll 里不使用）
        //标志位 ngx_accept_mutex_held 为 1 表示当前进程已经获取了 ngx_accept_mutex 锁
        if (ngx_accept_mutex_held && ngx_accept_events == 0) {
            return NGX_OK;
        }
        // 注册accept事件（之前没有持有锁，需要注册 epoll 事件监听端口，遍历监听端口列表，加入 epoll 连接事件，开始接受请求）
        if (ngx_enable_accept_events(cycle) == NGX_ERROR) {
            ngx_shmtx_unlock(&ngx_accept_mutex);// 如果监听失败就需要立即解锁，函数结束
            return NGX_ERROR;
        }
        // 已经成功将监听事件加入 epoll
        ngx_accept_events = 0;
        ngx_accept_mutex_held = 1;// 设置已经获得锁的标志
        return NGX_OK;
    }
    // trylock失败，未获得锁
    ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
                   "accept mutex lock failed: %ui", ngx_accept_mutex_held);
    // 若当前进程获取 ngx_accept_mutex 锁失败，并且 ngx_accept_mutex_held 为 1，则为错误情况
    // 本次未获得锁，但之前持有锁，也就是说之前在监听端口
    if (ngx_accept_mutex_held) {
        // 遍历监听端口列表，删除 epoll 监听连接事件，不接受请求
        if (ngx_disable_accept_events(cycle, 0) == NGX_ERROR) {
            return NGX_ERROR;
        }
        ngx_accept_mutex_held = 0;//没有获得锁的标志
    }
    return NGX_OK;
}

void
ngx_process_events_and_timers(ngx_cycle_t *cycle){
  ...
    if (ngx_accept_disabled > 0) {
            ngx_accept_disabled--;
        } else {
          //获取accept_mutex锁，用于后续accept连接
      }
    ...
}

ngx_accept_disabled = ngx_cycle->connection_n / 8
                              - ngx_cycle->free_connection_n;