号主从事算法服务开发多年，临近三月的尾巴，输出一个插件化部署算法服务的解决方案。篇幅内容都经过生产实践，如果对各位号友有所帮助，请拽个三连：点赞、关注和转发。
插件机制背景
插件化机制使框架与业务模块的实现相解耦，框架服务抽象出统一的交互接口，业务模块只要符合交互标准即可做到插件替换。
微内核架构是插件架构模式的一种典型实现，常常把微内核架构也叫做插件式架构。
当前微内核架构也被应用在许多我们熟知的产品，比如：操作系统、Chrome浏览器、Eclipse编辑器等
微内核架构包含两个组件：核心系统（core system）和插件模块（plugin component）
- 核心系统只包含让系统可以运作的最小功能
- 插件模块则包含一些特殊处理逻辑、额外的功能，用于提供更多的业务能力
具体如下图：
Python 插件核心
__import__()函数是我们本篇的核心，具体实现都围绕这个函数定制展开。
作用：用于动态加载类和函数。如果一个模块经常变化就可以使用 __import__() 来动态载入。
语法:
__import__(name, globals=None, locals=None, fromlist=(), level=0)
name[必须]：模块名称
globals - 全局变量集合，默认为None
locals - 局部变量集合，默认为None
fromlist - 是否导入子模块，看上去是导入模块的列表。但实际是一个判断条件，只要设置为非空的值，且模块名称是带有子模块的，将导入子模块。例如：sys.path。当不设置时，返回sys，如果设置为非空值，则返回ntpath（path模块）
level - 绝对或者相对导入此处我们做个简单的验证，通过__import__实现和import一样的导入能力。分别验证导入os.path和导入其对应的子模块，具体如下：
>>> __import__('os.path')
<module 'os' from '/opt/anaconda3/envs/python38/lib/python3.8/os.py'>
>>> __import__('os.path', fromlist=['None'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>> __import__('os.path', fromlist=['path'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>>以上只是在 shell 里面进行验证，那 Python 代码里面该如何写呢？有两种方式：
直接引用加载
p = __import__('widget.demo.infer', fromlist='infer') # 导入
print(p.Demo) # 取出类变量
# 打印结果
<class 'widget.demo.infer.Demo'>Importlib包方式
import importlib # 导入工具包
demo = importlib.import_module('.demo.infer', package='widget')
print(demo)
# 打印结果
<module 'widget.demo.infer' from '/Users/**/language-bootcamp/python/plugin_system/widget/demo/infer.py'>
print(demo.Demo)
# 打印结果
<class 'widget.demo.infer.Demo'>插件服务基本组成
PluginCore：通过Plugin Manager调用算法，负责业务逻辑的实现
PluginManger: 通过读取配置文件，负责各种插件的加载、管理、甚至热更新
此处，Python 插件相关的知识点已经讲完了，下面进行算法插件化部署相关内容，Go Go Go！
算法服务基本组成
如上，一个完整的算法服务包含三部分：API逻辑、算法逻辑和模型文件
API逻辑：服务相关逻辑，比如：HTTP 相关的请求/响应设置或 gRPC 远程交互约定等。
算法逻辑：算法相关逻辑，比如：数据的前置预处理、后置标签映射等。
模型文件：算法运行依赖项。
可能某些号友会发问：一定是三个部分，难道不能两个，甚至一个？
此处只是从纯业务功能划分，便于理解。具体代码实现，都可以。
插件管理器定义
定义了插件管理的方法，插件功能加载、插件获取方法实现
class BaseManager(object):
"""插件管理基类"""
def __init__(self) -> None:
"""加载插件配置文件"""
pass
def get_plugin(self, name):
"""根据调用，返回插件实例"""
raise RuntimeError('not implemented yet!')
def get_total_plugin(self):
"""返回所有插件"""
raise RuntimeError('not implemented yet!')算法插件定义
每个插件需要实现公共接口方法。
class ApiBase(object):
"""API服务基类"""
def __init__(self) -> None:
"模型初始化加载"
def predict(self, req_dict={}):
"""
预测方法，推理算法入口
:param req_dict: 请求参数，词典类型，eg:{"name":"value"}
:return: 返回结果，词典类型，eg:{"name":"value"}
"""
raise RuntimeError('not implemented \'predict\' method')
def version(self):
"版本方法"
return '20220330'配置文件定义
PluginManager通过配置文件进行可选插件指定加载配置，包括：插件名 、插件路径等信息。
{
"demo":{
"infer_dir":"widget.demo.infer"
},
"digit_recognition":{
"infer_dir":"widget.digit_recognition.infer"
}
}插件扩展
有些时候为了解耦，需要调用 C 代码，以 linux 平台为例，我们讲讲 python 如何调用 .so 文件进行扩展。
# -*- coding: utf-8 -*-
import json
import ctypes
from ctypes import c_float
from common.logger import LOG
class C_Type(object):
def __init__(self) -> None:
self.so = ctypes.CDLL('widget/ctype/lib/sum.so')
def predict(self, req_dict={}):
LOG.info("this is ctype infer, req_dict=%s" % json.dumps(req_dict))
return req_dict
def version(self):
return '20220326'
def get_plugin_class():
return C_Type总结一下
高可扩展：通过插件机制，我们可以很方便进行服务扩展
部署灵活：也能通过配置发布单独服务或者多个服务
代码解耦：最主要能实现各个功能模块的开发解耦，方便进行业务定制
但插件的使用得注意，尽量选择依赖环境和处理性能基本一致的业务进行插件构建，否则会有性能问题，慢插件影响快插件的推理速度。
好了，以上就是今天的全部内容，以上所有代码都汇总到github.com/codetodo-io/language-bootcamp，号友们可以下载演示。
❤️❤️❤️读者每一份热爱都是笔者前进的动力！
我是三十一，感谢各位朋友：求点赞、求评论、求转发，大家下期见！
