php多进程处理

简介:

php多进程处理

往往我们会碰到一个情况,需要写一个脚本,这个脚本要处理的数据量极大,单进程处理脚本非常慢,那么这个时候就会想到使用多进程或者多线程的方式了。

我习惯使用多进程的方式,php中使用多进程的时候需要使用pcntl,pcntl的使用可以看这个PHP的pcntl多进程

但是这里有一个问题,一个主进程把任务分成n个部分,然后把任务分配给多个子进程,但是任务可能是有返回值的,所有的子进程处理完返回值以后需要把返回值返回给主进程。

这个就涉及到了进程间通信了。进程间通信可以使用的方法当然很多了,比如用redis,用数据库,用文件等。

php中最简单的要算shmop相关函数了。

  • shmop_open
  • shmop_read
  • shmop_write
  • shmop_size
  • shmop_delete

那怎么让一个类很容易有多进程处理的能力呢?可以使用php的trait,创建一个PcntlTrait,所有需要有多进程处理功能的类就use 这个trait就行。

PcntlTrait代码如下:

<?php namespace App\Console\Commands;

trait PcntlTrait
{
    private $workers = 1;

    public function worker($count)
    {
        $this->workers = $count;
    }

    public function pcntl_call($all, \Closure $callback)
    {
        $perNum = ceil(count($all) / $this->workers);

        $pids = [];
        for($i = 0; $i < $this->workers; $i++){
            $pids[$i] = pcntl_fork();
            switch ($pids[$i]) {
                case -1:
                    echo "fork error : {$i} \r\n";
                    exit;
                case 0:
                    $data = [];
                    try {
                        $data = $callback(array_slice($all, $i * $perNum, $perNum));
                    } catch(\Exception $e) {
                        echo ($e->getMessage());
                    }

                    $shm_key = ftok(__FILE__, 't') . getmypid();
                    $data = json_encode($data);
                    $shm_id = shmop_open($shm_key, "c", 0777, strlen($data) + 10);
                    shmop_write($shm_id, $data, 0);
                    shmop_close($shm_id);
                    exit;
                default:
                    break;
            }
        }

        // only master process will go into here
        $ret = [];
        foreach ($pids as $i => $pid) {
            if($pid) {
                pcntl_waitpid($pid, $status);

                $shm_key = ftok(__FILE__, 't') . $pid;
                $shm_id = shmop_open($shm_key, "w", 0, 0);

                $data = trim(shmop_read($shm_id, 0, shmop_size($shm_id)));
                $data = json_decode($data, true);
                $ret = array_merge($ret, $data);
                @shmop_close($shm_id);
                @shmop_delete($shm_id);
            }
        }

        return $ret;
    }
}

它有两个参数,第一个参数为传入数组,第二个参数为数组处理函数。

它的具体使用通过下面这个测试用例可以看出:

<?php

use App\Console\Commands\PcntlTrait;

class PcntlImp
{
        use PcntlTrait;
}

class TestPcntlTrait extends \TestCase
{
    public function setup()
    {
        $this->createApplication();
    }

    public function testPcntlCall()
    {
        $arr = [1,2,3,4,5,6,7,8,9,10];

        $imp = new \PcntlImp();
        $imp->worker(2);

        $data = $imp->pcntl_call($arr, function($info){
            if (empty($info)){
                return [];
            }

            $ret = [];
            foreach ($info as $item) {
                $ret[] = $item * $item;
            }
            return $ret;
        });

        $this->assertEquals(10, count($data));
        $this->assertEquals(25, $data[4]);
    }
}

非常方便~~




本文转自轩脉刃博客园博客,原文链接:http://www.cnblogs.com/yjf512/p/4688451.html,如需转载请自行联系原作者



相关文章
|
Unix API PHP
PHP如何实现多进程并发?底层原理是什么?
PHP如何实现多进程并发?底层原理是什么?
172 0
|
网络协议 PHP
php实现多进程socket服务器class
php实现多进程socket服务器class
110 0
php实现多进程socket服务器class
|
PHP Windows
php windows多进程,php windows创建多进程,
php windows多进程,php windows创建多进程,
556 0
|
应用服务中间件 Linux PHP
php惊群效应,php多进程共享一个套接字的问题,workerman多进程共享socket
php惊群效应,php多进程共享一个套接字的问题,workerman多进程共享socket
129 0
|
Shell PHP 机器学习/深度学习
PHP CLI模式下的多进程应用
作者: Laruence(   ) 本文地址: http://www.laruence.com/2009/06/11/930.html 转载请注明出处 PHP在很多时候不适合做常驻的SHELL进程, 他没有专门的gc例程, 也没有有效的内存管理途径.
1581 0
|
PHP Windows 索引
优雅的玩PHP多进程
proc_open (PHP 4 >= 4.3.0, PHP 5, PHP 7) proc_open — 执行一个命令,并且打开用来输入/输出的文件指针。 说明 ¶ resource proc_open ( string $cmd , array $descriptorspec , array &$pipes [, string$cwd [, array $env [, array $other_options ]]] ) 类似 popen() 函数, 但是 proc_open() 提供了更加强大的控制程序执行的能力。
1483 0
|
PHP 数据库 移动开发
|
PHP 移动开发
[PHP] 使用 pcntl 库实现PHP多进程
最近因项目需要,需要大量同步数据,数据量基数在3000万条左右,因此想到了开启多进程来处理,下面是处理的完整代码,基于laravel 5.1框架。 这是经过实际环境验证过的,所以类似场景可以简单修改下就可使用。
3769 0