目录
paste.ini 配置文件详解
paste.ini 文件的格式类似于INI格式,每个 Section 的格式均为 [type:name]。
这里重要的是理解几种不同 type 的 Section 的作用:
composite
[composite:main]
use = egg:Paste#urlmap
/v2.0 = public_api
/v3 = api_v3
/ = public_version_api
[composite:admin]
use = egg:Paste#urlmap
/v2.0 = admin_api
/v3 = api_v3
/ = admin_version_api
composite section:Request 进来后第一个通过的 Section,表示需要将一个 HTTP URL Request 调度到一个或者多种 Application 上。
paste.ini 中有两种类型的
[composite:main|admin]
。Request 会通过哪一个 composite 由请求 URL 的端口或者 name 参数来决定,下面会有介绍。use:是一个关键字,指定处理请求的代码,这里表示我们使用 Paste egg包中 urlmap 来实现 composite 请求分发方式。 ==> 决定请求的分发方式为 urlmap(urlmap 算是一个通用的请求分发程序)
/v2.0 /v3 /:是 urlmap 进行分发时,需要使用到的参数。 URL为 /v3 开头的请求会路由给 pipeline api_v3 处理(也可以直接是一个 app section)
egg 是 python 的一个包
pipeline
[pipeline:api_v3]
# The last item in this pipeline must be service_v3 or an equivalent
# application. It cannot be a filter.
pipeline = sizelimit url_normalize request_id build_auth_context token_auth admin_token_auth json_body ec2_extension_v3 s3_extension simple_cert_extension revoke_extension federation_extension oauth1_extension endpoint_filter_extension service_v3
pipeline section : 指定的 section 有如下要求:
1.最后一个名字对应的 section 一定要是一个 app 类型。
2.非最后一个名字对应的 section 一定要是一个 filter 类型。
filter
[filter:sizelimit]
paste.filter_factory = oslo_middleware.sizelimit:RequestBodySizeLimiter.factory
filter section: 是一个实现了过滤器功能的中间件(将 Application 进行进一步的封装),用于过滤 Request 和 Response。
程序员可以通过添加 filter 来增加对 Request 和 Response 进行操作的功能。EG. 我在实现一个 application 之前需要对 Request 进行身份验证,那么就让这个 Request 通过提供身份验证功能的 filter 即可。
paste.filter_factory
表示调用哪个函数来获得这个 filter 中间件。sizelimit
是[pipeline:api_v3]
指定的第一个 filter ,作用是限制请求的大小。
app
[app:service_v3]
paste.app_factory = keystone.service:v3_app_factory
app: 一个 app 就是一个实现主要功能的具体的 application 。所以 app 必须是 Callable Object 类型,接受的参数(environ,start_response)
,这是WSGI Server交给Application的符合WSGI规范的参数。
Application 需要完成的任务是响应 envrion 中的请求,准备好响应头 headers 和消息体 body,然后交给 start_response 处理,返回响应消息体。
[pipeline:api_v3]
的最后一个元素,必须是一个 app section 。paste.app_factory :表示调用哪个函数来获得 application
keystone.service:v3_app_factory 指定处理请求和响应的 application
paste.app_factory = keystone.service:v3_app_factory
这一种方式,将一个 app 指向了一段 python 代码。此方式下,必须执行 app 协议:以app_factory
表示,后面的值为需要 import 的东西,在这个例子中需要import keystone.service
,并从中取得了v3_app_factory
的实例。-
app_factory
是一个 callable object,其接受的参数是一些关于 application 的配置信息,EG.(global_conf,**kwargs)
:- global_conf 是在 ini 文件中 default section 中定义的一系列 key-value 对
- **kwargs 则是一些本地配置,是在 ini 文件中,app section 中定义的一系列 key-value 对。app_factory 返回值是一个 application 对象。这个对象是的 WSGI Server 和 WSGI Application 可以进行交互,即可以传递 Request 和 Response 的数据。
DEFAULT
[DEFAULT]
admin_email = webmaster@example.com
[app:main]
use = ...
set admin_email = jmilkfan@example.com
全局配置主要是用于多个 app 共用一些变量,可以被覆盖,需要在 app 中重新定义。
server
[server:main]
: 定义WSGI的一个server。
Request 被 paste.ini 处理的流程
WSGI Server(Web Server) 接受到 URL_Path 形式的 HTTP Request 时,这些 Request 首先会被 Paste 模块按照配置文件 paste.ini 进行处理。
处理的过程为:
1. composite(将Request将URL_Path的前缀(/v2.0 /v3 /)和一个Application(app/filter)进行映射。然后将Request转发到pipeline或app中,最终会到达指定的 Application)
2. ==> pipeline(包含了filter和app)
3. ==> filter(调用Middleware对Request进行过滤)
4. ==> app(具体的Application来实现Request的操作) 。
这个过程就是将 Application 和 Middleware 串起来的过程,不一定要按照顺序执行,只要能到达 Application 即可。
EXAMPLE: Keystone Request URL 为 http://homename:35357/v3/auth/tokens
Step1. (hostname:35357): 这一部分由 Web Server 来获取并处理的(EG.虚拟机功能)。
Step2. (/v3/auth/tokens): 根据 paste.ini 中的配置来对剩下的 URL(/v3/auth/tokens)部分进行处理。首先请求的 Post=35357 决定了会经过 [composite:admin] section 。(一般是admin监听35357端口,main监听5000端口;也可以由
application = wsgi_server.initialize_application(name)
中 name 参数来决定)Step3. (/v3): composite section 会根据 /v3 这个 URL 前缀来决定将 Request 路由到哪一个 pipeline secion,这里就把请求转发给 [pipeline:api_v3] 处理,转发之前,会把 /v3 这个部分的 URL 去掉。
Step4. (/auth/tokens) : [pipeline:api_v3] 收到请求,URL_Path是 (/auth/tokens),然后开始调用各个 filter(中间件) 来处理请求。最后会把请求交给 [app:service_v3] 进行处理。
Step5. (/auth/tokens): [app:service_v3] 收到请求,URL_Path是 (/auth/tokens),最后交由的 WSGI Application:
keystone.service:v3_app_factory
去处理。
注意:剩下的URL后缀 /auth/tokens 则交由另一个模块 Routers 来处理,这个以后再介绍。
如何加载 paste.ini 配置文件?
使用 Paste.Deploy 模块,
Paste Deploy是一种机制,通过核心函数 loadapp() 函数和一个 paste.ini 配置文件或者 Paste egg 包来载入 WSGI Application。
#keystone/httpd/keystone.py
import os
from keystone.server import wsgi as wsgi_server
name = os.path.basename(__file__)
# NOTE(ldbragst): 'application' is required in this context by WSGI spec.
application = wsgi_server.initialize_application(name)
# Web Server 只能通过 application 可调用对象来与 Application 进行交互
#keystone/keystone/server/wsgi.py
def initialize_application(name):
def loadapp():
return keystone_service.loadapp(
'config:%s' % config.find_paste_config(), name)
...
_unused, application = common.setup_backends(
startup_application_fn=loadapp)
...
return application #返回一个可调用的 application 对象
config.find_paste_config()
用来查找并加载需要用到的 Paste 配置文件,这个文件在源码中的路径是 keystone/etc/keystone-paste.ini 文件。name 参数,是用来确定 WSGI Application 的入口
paste.ini 配置文件是用来确定使用哪一个 application
keystone_service.loadapp()
函数内部调用了paste.deploy.loadapp()
函数通过 name 参数来加载 WSGI Application,至于加载哪一个具体实现功能的 application 对象则由 Paste 模块的配置文件 keystone-paste.ini 来决定。
factory 工厂函数
用于 factory 工厂函数的协议有:
- *paste.app_factory
- *paste.composite_factory
- *paste.filter_factory
- *paste.server_factory
所有的这些 factory 都是含有__call__
方法的函数、方法或类。
EXAMPLE 1: paste.app_factory
def app_factory(global_config, **local_conf):
return wsgi_app
- global_config : 是一个字典
- local_conf : 则是关键字参数,返回一个 wsgi_app
EXAMPLE 2: paste.composite_factory
def composite_factory(loader, global_config, **local_conf):
return wsgi_app
- loader : 是一个对象,拥有
get_app(name_or_uri, global_conf=None)
根据 name 返回一个 application;get_filter() 和 get_server()
也是如此。
EXAMPLE 3:paste.pipeline_factory
def pipeline_factory(loader, global_config, pipeline):
# space-separated list of filter and app names:
pipeline = pipeline.split()
filters = [loader.get_filter(n) for n in pipeline[:-1]]
app = loader.get_app(pipeline[-1])
filters.reverse() # apply in reverse order!
for filter in filters:
app = filter(app)
return app
EXAMPLE 4:paste.filter_factory 这个 filter 会检查 CGI 中 REMOTE_USER 变量是否存在,并创建一个简单的认证 filter 过滤器。
def auth_filter_factory(global_conf, req_usernames):
# space-separated list of usernames:
req_usernames = req_usernames.split()
def filter(app):
return AuthFilter(app, req_usernames)
return filter
class AuthFilter(object):
def __init__(self, app, req_usernames):
self.app = app
self.req_usernames = req_usernames
def __call__(self, environ, start_response):
if environ.get('REMOTE_USER') in self.req_usernames:
return self.app(environ, start_response)
start_response('403 Forbidden',
[('Content-type', 'text/html')])
return ['You are forbidden to view this resource']
fliter 的工厂函数和 app 的工厂函数类似,除了它返回的是一个 filter。fliter 是一个把 application 作为唯一参数的 Callable 对象,返回一个被过滤了的 application。