PHP底层运行机制与原理剖析
PHP说简单,但是要精通也不是一件简单的事。我们除了会使用之外,还得知道它底层的工作原理。
了解PHP底层实现的目的是什么?动态语言要想用好首先得了解它,内存管理、框架模型值得我们借鉴,通过扩展开发实现更多更强大的功能,优化我们程序的性能。
PHP
是一种适用于web
开发的动态语言。具体点说,就是一个用C
语言实现包含大量组件模块的软件框架。是一个强大的UI
框架。
简言之; PHP
动态语言执行过程:拿到一段代码后,经过词法解析、语法解析等阶段后,源程序会被翻译成一个个指令(opcodes),然后 ZEND
虚拟机顺次执行这些指令完成操作。 PHP
本身是用 C
实现的,因此最终调用的也是 C
的函数,实际上,我们可以把 PHP
看做一个 C
开发的软件。
PHP的目录结构
PHP源代码还包括在开发过程中生成的几个文件,以及在上游各自位置进行维护的几个部分。(注:PHP版本7.4.13)
<php-src>/ ├─ .git/ # Git configuration and source directory ├─ TSRM/ # Thread Safe Resource Manager └─ Zend/ # Zend Engine ├─ zend_vm_execute.h # Generated by `Zend/zend_vm_gen.php` ├─ zend_vm_opcodes.c # Generated by `Zend/zend_vm_gen.php` ├─ zend_vm_opcodes.h # Generated by `Zend/zend_vm_gen.php` └─ ... ├─ appveyor/ # Appveyor CI service files └─ build/ # *nix build system files ├─ ax_*.m4 # https://github.com/autoconf-archive/autoconf-archive ├─ config.guess # https://git.savannah.gnu.org/cgit/config.git ├─ config.sub # https://git.savannah.gnu.org/cgit/config.git ├─ libtool.m4 # https://git.savannah.gnu.org/cgit/libtool.git ├─ ltmain.sh # https://git.savannah.gnu.org/cgit/libtool.git ├─ shtool # https://www.gnu.org/software/shtool/ └─ ... ├─ docs/ # PHP internals and repository documentation └─ ext/ # PHP core extensions └─ bcmath/ ├─ libbcmath/ # Forked and maintained in php-src └─ ... └─ curl/ ├─ sync-constants.php # The curl symbols checker └─ ... └─ date/ └─ lib/ # Bundled datetime library https://github.com/derickr/timelib ├─ parse_date.c # Generated by re2c 0.15.3 ├─ parse_iso_intervals.c # Generated by re2c 0.15.3 └─ ... └─ ... └─ ffi/ ├─ ffi_parser.c # Generated by https://github.com/dstogov/llk └─ ... └─ fileinfo/ ├─ libmagic/ # Modified libmagic https://github.com/file/file ├─ data_file.c # Generated by `ext/fileinfo/create_data_file.php` ├─ libmagic.patch # Modifications patch from upstream libmagic ├─ magicdata.patch # Modifications patch from upstream libmagic └─ ... └─ gd/ ├─ libgd/ # Bundled and modified GD library https://github.com/libgd/libgd └─ ... └─ mbstring/ ├─ libmbfl/ # Forked and maintained in php-src ├─ unicode_data.h # Generated by `ext/mbstring/ucgendat/ucgendat.php` └─ ... └─ pcre/ ├─ pcre2lib/ # https://www.pcre.org/ └─ ... └─ pdo_mysql/ ├─ php_pdo_mysql_sqlstate.h # Generated by `ext/pdo_mysql/get_error_codes.php` └─ ... └─ skeleton/ # Skeleton for developing new extensions with `ext/ext_skel.php` └─ ... └─ standard/ └─ html_tables/ ├─ mappings/ # https://www.unicode.org/Public/MAPPINGS/ └─ ... ├─ credits_ext.h # Generated by `scripts/dev/credits` ├─ credits_sapi.h # Generated by `scripts/dev/credits` ├─ html_tables.h # Generated by `ext/standard/html_tables/html_table_gen.php` └─ ... └─ tokenizer/ ├─ tokenizer_data.c # Generated by `ext/tokenizer/tokenizer_data_gen.sh` └─ ... └─ xmlrpc/ ├─ libxmlrpc/ # Forked and maintained in php-src └─ ... └─ zend_test # For testing internal APIs. Not needed for regular builds. └─ ... └─ zip/ # Bundled https://github.com/pierrejoye/php_zip └─ ... └─ ... └─ main/ # Binding that ties extensions, SAPIs, and engine together ├─ streams/ # Streams layer subsystem ├─ php_version.h # Generated by release managers using `configure` └─ ... ├─ pear/ # PEAR installation └─ sapi/ # PHP SAPI modules └─ cli/ ├─ mime_type_map.h # Generated by `sapi/cli/generate_mime_type_map.php` └─ ... └─ ... ├─ scripts/ # php-config, phpize and internal development scripts ├─ tests/ # Core features tests ├─ travis/ # Travis CI service files └─ win32/ # Windows build system files ├─ cp_enc_map.c # Generated by `win32/cp_enc_map_gen.exe` └─ ... └─ ...
目录 | 说明 |
TSRM | 线程相关安全的实现,PHP的线程安全是构建在TSRM库之上的,PHP实现中常见的*G宏通常是对TSRM的封装,TSRM(Thread Safe Resource Manager)线程安全资源管理器。 |
Zend | PHP解析器的核心实现,比如脚本的词法语法解析,opcode的执行以及扩展机制的实现等 |
build | linux下编译相关的目录 |
ext | PHP的扩展,包括了绝大多数PHP的函数的定义和实现,如array系列,pdo系列,spl系列等函数的实现,都在这个目录中。个人写的扩展在测试时也可以放到这个目录,方便测试和调试。 |
main | PHP的主要代码,这里存放PHP最为核心的文件,主要实现PHP的基本设施,这里和Zend引擎不一样,Zend引擎主要实现语言最核心的语言运行环境。 |
netware | 网络目录,socket的定义与实现 |
pear | PHP扩展及应用的代码仓库,包含PEAR的核心文件。PEAR是PHP扩展与应用库(the PHP Extension and Application Repository)的缩写。它是一个PHP扩展及应用的一个代码仓库,简单地说,PEAR之于PHP就像是CPAN(Comprehensive Perl Archive Network)之于Perl。 |
sapi | PHP的应用层接口,包含了各种服务器抽象层的代码,例如apache的mod_php,cli,cgi,embed以及fpm等接口。 |
scripts | Linux下的脚本目录 |
tests | 测试脚本目录,包含PHP各项功能的测试文件 |
travis | 用于构建,非PHP特有目录 |
win32 | Windows下编译PHP的相关脚本,比如sokcet的实现在Windows下和*Nix平台就不太一样,同时也包括了Windows下编译PHP相关的脚本。 |
虽然源码目录众多,但是核心目录却只有sapi
、main
、zend
、ext
、TSRM
。
SAPI
PHP
程序的输入可以是来自于命令行的标准输入,也可以是来自基于 cgi/fastcgi
协议的网络请求。甚至可以嵌入到单片机供C
、C++
程序调用。它们分别对应cli模式、fpm/cgi模式、embed模式,除了这些还有apache2handler
、litespeed模式。
- apache2handle:这是以
apache
作为webserver
,采用mod_PHP
模式运行时候的处理方式,也是现在应用最广泛的一种。 - cgi:这是
webserver
和PHP
直接的另一种交互方式,也就是大名鼎鼎的fastcgi协议,在最近fastcgi+PHP
得到越来越多的应用,也是异步webserver
所唯一支持的方式;典型应用nginx
服务器;fastcgi
说白点就是php
的一个扩展 - cli:命令调用
sapi目录是对输入和输出层的抽象,是PHP提供对外服务的规范。
同理,输出可以写到命令行的标准输出,也可以作为基于cgi/fastcgi
协议的网络响应返回给客户端。
SAPI
全称 Server API
,负责PHP
对外提供服务规范,它定义了结构体sapi_module_struct
,该结构体定义了模式启动、关闭、激活、失效等多个钩子函数指针,每个模式将这些函数指针指向自己的函数,就可以轻松扩展PHP
对外服务的方式。以上几种模式也正是实现了sapi_module_strcut
才完成了PHP
的多场景应用。
fastcgi流程
Web Server
启动时载入FastCGI
进程管理器(IIS ISAPI或Apache Module)FastCGI
进程管理器自身初始化,启动多个CGI
解释器进程(可见多个php-cgi)并等待来自WebServer
的连接。- 当客户端请求到达
Web Server
时,FastCGI
进程管理器选择并连接到一个CGI
解释器。Web server
将CGI
环境变量和标准输入发送到FastCGI
子进程php-cgi
。 FastCGI
子进程完成处理后将标准输出和错误信息从同一连接返回Web Server
。当FastCGI
子进程关闭连接时,请求便告处理完成。FastCGI
子进程接着等待并处理来自FastCGI
进程管理器(运行在Web Server中)的下一个连接。 在CGI
模式中,php-cgi
在此便退出了。- 在上述情况中,你可以想象
CGI
通常有多慢。每一个Web``请求
PHP都必须重新解析php.ini
、重新载入全部扩展并重初始化全部数据结构。使用FastCGI
,所有这些都只在进程启动时发生一次。一个额外的好处是,持续数据库连接(Persistent database connection)可以工作。
main
main
目录是SAPI
层和Zend
层的黏合剂。
main
目录的作用是承接SAPI
的请求,分析出要执行的脚本文件和参数,并对环境和配置进行初始化,比如初始化变量和常量、注册函数、解析配置文件、加载扩展等等。
Zend
Zend
引擎是php
的内核部分,它将php
代码翻译(词法、语法解析等一系列编译过程)为可执行opcode
的处理并实现相应的处理方法、实现了基本的数据结构、内存分配管理等,它由编译器和执行器两部分组成
编译器负责将PHP
代码进行词法、语法分析,并生成抽象语法树,然后进一步编译为opcode
,opcode
是Zend
虚拟机可识别的指令,php7
一共有173
个opcode
,所有的语法都是由这些opcode
组成的。执行器负责执行编译器输出的opcode
。
Extensions
ext(extension)
,它是扩展PHP
内核功能的一种方式,分为PHP
扩展与zend
扩展,都支持用户自定义开发,这两种都比较常见,PHP
扩展有gd
、json
、date
、array
等,而我们熟知的opcache
就是Zend
扩展。
TSRM
TSRM(Thread Safe Resource Manager)
线程安全资源管理器。
全局变量就是定义在函数外的变量,它属于公共资源,在多线程的环境下,访问公共资源就可能会引起冲突,TSRM
就是为解决该问题而诞生的。
线程安全机制主要为了保证共享资源的安全。PHP
的线程安全机制简洁直观——在多线程环境下,为每个线程提供独立的全局变量副本。具体实施是通过TSRM
为每个线程分配(分配前加锁)一个独立ID
(自增)作为当前线程的全局变量内存区索引,在以后的全局变量访问中,实现线程之间的完全独立。
PHP
大部分SAPI
都是单线程的,所以并不需要过多关注线程安全,但是在Apache
或者用户自己实现的PHP
环境下,就需要考虑线程安全问题了。
PHP的设计理念及特点
- 多进程模型:由于PHP是多进程模型,不同请求间互不干涉,这样保证了一个请求挂掉不会对全盘服务造成影响,目前PHP也早支持多线程模型。
- 弱类型语言:和C/C++、JAVA、C#等语言不同,PHP是一种弱类型的语言。一个变量的类型并不是一开始就确定不变的,运行中才会确定并可能发生隐式或显示的类型转换,这种机制的灵活性在web开发中非常方便、高效,具体会在后面PHP变量中详述。
- 引擎(Zend)+组件(ext)的模式降低内部耦合。
- 中间层(sapi )Sapi全称是Server Application Programming Interface 隔绝web server和PHP。
- 语法简单灵活,没有太多规范。缺点导致风格混杂。
php执行流程&opcode
php
动态语言执行过程:拿到一段代码后,经过词法解析、语法解析等阶段后,源程序会被翻译成一个个指令(opcodes),然后 Zend
虚拟机顺序执行这些指令。 php
本身是用 c
实现的,因此最终调用的也是 c
函数,实际上,我们可以把php
看做是c
开发的一个软件
php
的执行核心就是翻译出来的指令(opcode),是php
程序执行的基本单元
常见几个处理函数:
ZEND_ASSIGN_SPEC_CV_CV_HANDLER : 变量分配 ($a=$b) ZEND_DO_FCALL_BY_NAME_SPEC_HANDLER:函数调用 ZEND_CONCAT_SPEC_CV_CV_HANDLER:字符串拼接 $a.$b ZEND_ADD_SPEC_CV_CONST_HANDLER: 加法运算 $a+2 ZEND_IS_EQUAL_SPEC_CV_CONST:判断相等 $a==1 ZEND_IS_IDENTICAL_SPEC_CV_CONST:判断相等 $a===1
HashTable——核心数据结构
HashTable
是Zend
的核心数据结构,在PHP
里面几乎并用来实现所有常见功能,我们知道的PHP数组即是其典型应用,此外,在zend
内部,如函数符号表、全局变量等也都是基于hash table
具有如下特点:
- 支持典型的
key->value
查询 - 可以当做数组使用
- 添加、删除节点是O(1)复杂度
- key支持混合类型:同时存在关联数组合索引数组
- Value支持混合类型:array("string",2332)
- 支持线性遍历:如
foreach
Zend hash table
实现了典型的hash
表散列结构,同时通过附加一个双向链表,提供了正向、反向遍历数组的功能。其结构如下图:
可以看到:在hash table
中既有key->value
形式的散列结构,也有双向链表模式,使得它能够非常方便的支持快速查找和线性遍历。
- 散列结构:
Zend
的散列结构是典型的hash
表模型,通过链表的方式来解决冲突。需要注意的是zend
的hash table
是一个自增长的数据结构,当hash
表数目满了之后,其本身会动态以2倍的方式扩容并重新元素位置。初始大小均为8。另外,在进行key->value
快速查找时候,zend
本身还做了一些优化,通过空间换时间的方式加快速度。比如在每个元素中都会用一个变量nKeyLength
标识key
的长度以作快速判定。 - 双向链表:
Zend hash table
通过一个链表结构,实现了元素的线性遍历。理论上,做遍历使用单向链表就够了,之所以使用双向链表,主要目的是为了快速删除,避免遍历。Zend hash table
是一种复合型的结构,作为数组使用时,即支持常见的关联数组也能够作为顺序索引数字来使用,甚至允许2者的混合。PHP关联数组:关联数组是典型的hash_table
应用。一次查询过程经过如下几步(从代码可以看出,这是一个常见的hash查询过程并增加一些快速判定加速查找。):
getKeyHashValue h; index = n & nTableMask; Bucket *p = arBucket[index]; while (p) { if ((p->h == h) && (p->nKeyLength == nKeyLength)) { RETURN p->data; } p=p->next; } RETURN FALTURE;
- PHP索引数组
索引数组就是我们常见的数组,通过下标访问。例如:$arr[0]
,zend hashtable
内部进行了归一化处理,对于index
类型key
同样分配了hash
值和nKeyLength
(为0)。内部成员变量 nNextFreeElement
就是当前分配到的最大id,每次push
后自动加一。正是这种归一化处理,PHP才能够实现关联和非关联的混合。由于 push
操作的特殊性,索引key
在PHP
数组中先后顺序并不是通过下标大小来决定,而是由push
的先后决定。例如 $arr[1] = 2;
$arr[2] = 3;
对于double
类型的key
,Zend hashtable
会将他当做索引key
处理
PHP变量
PHP
是一门弱类型语言,本身不严格区分变量的类型。PHP
在变量申明的时候不需要指定类型。
PHP
在程序运行期间可能进行变量类型的隐示转换。 和其他强类型语言一样,程序中也可以进行显示的类型转换。
PHP
变量可以分为简单类型(int、string、bool)、集合类型(array resource object)和常量(const)。以上所有的变量在底层都是同一种结构 zval
。
Zval
主要由三部分组成:
- type:指定了变量所述的类型(整数、字符串、数组等)
- refcount&is_ref:用来实现引用计数(后面具体介绍)
- value:核心部分,存储了变量的实际数据
Zvalue
是用来保存一个变量的实际数据。因为要存储多种类型,所以zvalue
是一个union
,也由此实现了弱类型。
php
变量类型和其实际存储对应关系如下:
- 引用计数在内存回收、字符串操作等地方使用非常广泛。
PHP
中的变量就是引用计数的典型应用。Zval
的引用计数通过成员变量is_ref
和ref_count
实现,通过引用计数,多个变量可以共享同一份数据。避免频繁拷贝带来的大量消耗。在进行赋值操作时,zend
将变量指向相同的Zval
同时ref_count++
,在unset
操作时,ref_count-1
。只有当ref_count
减为0时,才会真正执行销毁操作。如果是引用赋值,则zend
会修改is_ref
为 1. PHP
变量通过引用计数实现变量共享数据,那么如果改变其中一个变量值呢?当试图写入一个变量时,Zend
若发现该变量指向的Zval
被多个变量共享,则为其复制一份ref_count
为 1的Zval
,并递减原Zval
的refcount
,这个过程称为 'Zval
分离'。可见,只有在有写操作发生时zend
才会进行拷贝操作, 因此也叫copy-on-write(写时拷贝)
对于引用变量,其要求和非引用型相反,引用赋值的变量必须是捆绑的,修改了一个变量就修改了所有捆绑变量。整数、浮点数是PHP中基础类型之一,也是一个简单型变量。对于整数和浮点数,在Zval
ue中是直接存储对应的值。其类型是long
和double
- 从
Zvalue
结构中可以看出,对于整数类型,和 c等强类型语言不同,php
是不区分int
、unsigned int
、long
等类型的,对它来说,整数只有一种类型也就是long
。由此,可以看出,在php
中,整数的取值范围是由编译器的位数来决定的而不是固定不变的 - 对于浮点数,类似整数,它也不区分
float
和double
,而是统一只有double
一种类型。在php
中,如果整数越界了怎么办?这种情况下会自动转换为double
类型,这个一定要小心,很多trik
都是由此产生。 - 和整数一样,字符变量也是
php
的基础类型和简单类型变量。通过Zvalue
结构可以看出,在php
中,字符串是由实际数据的指针和长度结构体组成,这点和c++
中的string
比较类似。由于通过一个实际变量表示长度,和c不同,它的字符串可以是二进制数(包含\0),同时在php
中,求字符串strlen
是 O(1) 操作。在新增、修改、追加字符串操作时,php
都会重新分配内存生成新的字符串。最后,出于安全考虑,php
在生成一个字符串时末尾仍然会添加一个\0
常见的字符串拼接方式及速度比较:假设有如下4个变量:
$strA = '123'; $strB = '456'; $intA = 123; $intB = 456;
现在对如上几种字符拼接方式做一个比较和说明
// 这种情况下,zend会重新 malloc 一块内存并进行相应处理,其速度一般 $res = "{$strA}{$strB}" // 这种速度是最快的,zend会在当前 strA基础上直接 relloc,避免重复拷贝 $res = $strA.$strB // 这种速度是比较慢的,需要进行隐式转换 $res = $intA.$intB // 这会是最慢的一种方式,因为sprintf在PHP中并不是一个语言结构,本身对于格式识别和处理就需要耗费比较多时间,另外本身机制也是malloc内存。不过sprintf的方式最具可读性,实际中可以根据具体情况灵活选择。 $res = sprintf (“%s%s”,$strA.$strB);
PHP的数组是通过zend hashtable来天然实现的。foreach操作如何实现?
- 对一个数组
foreach
就是通过遍历hashtable
中的双向链表完成的。对于索引数组,通过foreach
遍历效率比for
高,省去了key->value
的查找。count
操作直接调用HashTabel -> NumOfElements
,O(1)操作,对于'123'
这样的字符串,zend
会将其转成整型,$arr[123]
和$arr['123']
是等价的 - 资源类型是
PHP
中最复杂的变量,也是一种复合结构。PHP
的Zval
可以表示广泛的数据类型,但是对于自定义的数据类型却很难充分描述。由于没有有效的方法描绘这些复合结构,因此也没有办法对他们使用传统的草租房。要解决这个问题,只需要通过一个本质上任意的标识符(label)引用指针,这种方式被称为资源。
在Zval
中,对于resource
,lval
作为指针来使用,直接指向资源所在的地址。Resource
可以是任意的复合结构,我们熟悉的mysqli
、fsock
、memcached
等都是资源。
如何使用资源:
- 注册:对于一个自定义的数据类型,要想将它作为资源。首先需要进行注册,
zend
会为它分配全局唯一标示。 - 获取一个资源变量:对于资源,
zend
维护了一个id->实际数据的hash_tale
。对于一个resource
,在Zval
中只记录了它的id。fetch的时候通过id在hash_table中找到具体的值返回。 - 资源销毁:资源的数据类型是多种多样的。
Zend
本身没有办法销毁它。因此需要用户在注册资源的时候提供销毁函数。 - 当
unset
资源时,zend
调用相应的函数完成析构。同时从全局资源表中删除它。
资源可以长期驻留,不只是在所有引用它的变量超出作用域之后,甚至是在一个请求结束了并且新的请求产生之后。这些资源称为持久资源,因为它们贯通 SAPI
的整个生命周期持续存在,除非特意销毁。很多情况下,持久化资源可以在一定程度上提高性能。比如我们常见的mysql_pconnect
,持久化资源通过pemalloc
分配内存,这样在请求结束的时候不会释放。 对zend
来说,对两者本身并不区分。
PHP中的局部变量和全局变量是如何实现的
- 对于一个请求,任意时刻
PHP
都可以看到两个符号表(symbol_table和 active_symbol_table),其中前者用来维护全局变量。后者是一个指针,指向当前活动的变量符号表,当程序进入到某个函数中时,zend
就会为它分配一个符号表x同时将active_symbol_table
指向a。通过这样的方式实现全局、局部变量的区分。 - 获取变量值:
PHP
的符号表是通过hash_table
实现的,对于每个变量都分配唯一标识,获取的时候根据标识从表中找到相应Zval
返回。 - 函数中使用全局变量:在函数中,我们可以通过显式申明
global
来使用全局变量。在active_symbol_table
中创建symbol_table
中同名变量的引用,如果symbol_table
中没有同名变量则会先创建。