1. 前言
图像分类是人工智能领域的一个热门话题。通俗解释就是，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。图像分类在实际生产生活中也是经常遇到的，而且针对不同领域或者需求有着很强的针对性。例如通过拍照花朵识别花朵信息，通过人脸匹对人物信息等。
通常情况下，这些图像识别或者分类的工具，都是在客户端进行数据采集，在服务端进行运算获得结果，也就是说一般情况下都是有专门的API实现图像识别的。例如各大云厂商都会为我们有偿提供类似的能力：
阿里云图像识别页面：
华为云图像识别页面：
本文将会通过一个有趣的Python库，快速将图像分类的功能搭建在云函数上，并且和API网关结合，对外提供API功能，实现一个Serverless架构的“图像分类API”。
首先和大家据介绍一下需要的依赖库：ImageAI。通过该依赖的官方文档我们可以看到这样的描述：
说明
ImageAI是一个python库，旨在使开发人员能够使用简单的几行代码构建具有包含深度学习和计算机视觉功能的应用程序和系统。 ImageAI本着简洁的原则，支持最先进的机器学习算法，用于图像预测，自定义图像预测，物体检测，视频检测，视频对象跟踪和图像预测训练。ImageAI目前支持使用在ImageNet-1000数据集上训练的4种不同机器学习算法进行图像预测和训练。ImageAI还支持使用在COCO数据集上训练的RetinaNet进行对象检测，视频检测和对象跟踪。 最终，ImageAI将为计算机视觉提供更广泛和更专业化的支持，包括但不限于特殊环境和特殊领域的图像识别。
也就是说这个依赖库，可以帮助我们完成基本的图像识别和视频的目标提取，虽然他给了一些数据集和模型，但是我们也可以根据自身需要对其进行额外的训练，进行定制化拓展。通过官方给的代码，我们可以看到一个简单的Demo：
# -*- coding: utf-8 -*- from imageai.Prediction import ImagePrediction # 模型加载 prediction = ImagePrediction() prediction.setModelTypeAsResNet() prediction.setModelPath("resnet50_weights_tf_dim_ordering_tf_kernels.h5") prediction.loadModel() predictions, probabilities = prediction.predictImage("./picture.jpg", result_count=5 ) for eachPrediction, eachProbability in zip(predictions, probabilities): print(str(eachPrediction) + " : " + str(eachProbability))
当我们指定的picture.jpg图片为：
我们在执行之后的结果是：
laptop : 71.43893241882324 notebook : 16.265612840652466 modem : 4.899394512176514 hard_disc : 4.007557779550552 mouse : 1.2981942854821682
如果在使用过程中觉得模型resnet50_weights_tf_dim_ordering_tf_kernels.h5过大，耗时过长，可以按需求选择模型：
- SqueezeNet（文件大小：4.82 MB，预测时间最短，精准度适中）
- ResNet50 by Microsoft Research （文件大小：98 MB，预测时间较快，精准度高）
- InceptionV3 by Google Brain team （文件大小：91.6 MB，预测时间慢，精度更高）
- DenseNet121 by Facebook AI Research （文件大小：31.6 MB，预测时间较慢，精度最高）
模型下载地址可参考Github地址，或者参考ImageAI官方文档。
2. 项目 Serverless 化
将项目按照函数计算的需求，编写好入口方法，以及做好项目初始化，同时在当前项目下创建文件夹model，并将模型文件拷贝到该文件夹：
项目整体流程：
实现代码：
# -*- coding: utf-8 -*- from imageai.Prediction import ImagePrediction import json import uuid import base64 import random # Response class Response: def __init__(self, start_response, response, errorCode=None): self.start = start_response responseBody = { 'Error': {"Code": errorCode, "Message": response}, } if errorCode else { 'Response': response } # 默认增加uuid，便于后期定位 responseBody['ResponseId'] = str(uuid.uuid1()) print("Response: ", json.dumps(responseBody)) self.response = json.dumps(responseBody) def __iter__(self): status = '200' response_headers = [('Content-type', 'application/json; charset=UTF-8')] self.start(status, response_headers) yield self.response.encode("utf-8") # 随机字符串 randomStr = lambda num=5: "".join(random.sample('abcdefghijklmnopqrstuvwxyz', num)) # 模型加载 print("Init model") prediction = ImagePrediction() prediction.setModelTypeAsResNet() print("Load model") prediction.setModelPath("/mnt/auto/model/resnet50_weights_tf_dim_ordering_tf_kernels.h5") prediction.loadModel() print("Load complete") def handler(environ, start_response): try: request_body_size = int(environ.get('CONTENT_LENGTH', 0)) except (ValueError): request_body_size = 0 requestBody = json.loads(environ['wsgi.input'].read(request_body_size).decode("utf-8")) # 图片获取 print("Get pucture") imageName = randomStr(10) imageData = base64.b64decode(requestBody["image"]) imagePath = "/tmp/" + imageName with open(imagePath, 'wb') as f: f.write(imageData) # 内容预测 print("Predicting ... ") result = {} predictions, probabilities = prediction.predictImage(imagePath, result_count=5) print(zip(predictions, probabilities)) for eachPrediction, eachProbability in zip(predictions, probabilities): result[str(eachPrediction)] = str(eachProbability) return Response(start_response, result)
所需要的依赖：
tensorflow==1.13.1 numpy==1.19.4 scipy==1.5.4 opencv-python==4.4.0.46 pillow==8.0.1 matplotlib==3.3.3 h5py==3.1.0 keras==2.4.3 imageai==2.1.5
编写部署所需要的配置文件：
ServerlessBookImageAIDemo: component: fc props: region: cn-beijing service: name: ServerlessBook description: Serverless图书案例 logConfig: Auto nasConfig: Auto function: name: serverless_imageAI description: 图片目标检测 codeUri: ./src handler: index.handler environmentVariables: PYTHONUSERBASE: /mnt/auto/.s/python memorySize: 3072 runtime: python3 timeout: 60 triggers: - name: httpTrigger type: http config: authType: anonymous methods: - GET customDomains: - domainName: auto protocol: HTTP routeConfigs: - path: '/*'
说明
在代码与配置中，可以看到有目录：/mnt/auto/的存在，该部分实际上是nas挂载之后的地址，只需提前写入到代码中即可，下一个环节会进行nas的创建以及挂载点配置的具体操作。
3. 项目部署与测试
在完成上述步骤之后，可以通过：
s deploy
进行项目部署，部署完成可以看到结果：
完成部署之后，可以通过：
s build --use-docker
进行依赖的安装。依赖安装完成可以看到在.s目录下生成了相关的依赖目录，该目录就是通过docker打包出来的依赖文件，这些依赖正是我们在requirements.txt文件中声明的依赖内容。此时可以通过函数进行build操作之后如何处理build的产物的帮助文档 进行相关产物的处理，例如进行相对应的文件夹的创建：
s nas command mkdir /mnt/auto/.s
在进行相关内容的上传：
s nas upload -r ./.s/build/artifacts/ServerlessBook/serverless_iamgeAI/.s/python /mnt/auto/.s/python
完成之后，我们可以编写脚本进行测试，同样适用刚才的测试图片，通过代码：
import json import urllib.request import base64 import time with open("picture.jpg", 'rb') as f: data = base64.b64encode(f.read()).decode() url = 'http://35685264-1295939377467795.test.functioncompute.com/' timeStart = time.time() print(urllib.request.urlopen(urllib.request.Request( url=url, data=json.dumps({'image': data}).encode("utf-8") )).read().decode("utf-8")) print("Time: ", time.time() - timeStart)
可以看到结果：
{"Response": {"laptop": "71.43893837928772", "notebook": "16.265614330768585", "modem": "4.899385944008827", "hard_disc": "4.007565602660179", "mouse": "1.2981869280338287"}, "ResponseId": "1d74ae7e-298a-11eb-8374-024215000701"} Time: 29.16020894050598
可以看到，函数计算顺利地返回了预期结果，但是整体耗时却超乎想象，有近30s，此时我们再次执行一下测试脚本：
{"Response": {"laptop": "71.43893837928772", "notebook": "16.265614330768585", "modem": "4.899385944008827", "hard_disc": "4.007565602660179", "mouse": "1.2981869280338287"}, "ResponseId": "4b8be48a-298a-11eb-ba97-024215000501"} Time: 1.1511380672454834
可以看到，再次执行的时间仅有1.15秒，比上次整整提升了28秒之多。
4. 项目优化
在上一轮的测试中可以看到，项目首次启动和二次启动的耗时差距，其实这个时间差，主要是函数在加载模型的时候浪费了及长的时间。
即使在本地，我们可以简单测试：
# -*- coding: utf-8 -*- import time timeStart = time.time() # 模型加载 from imageai.Prediction import ImagePrediction prediction = ImagePrediction() prediction.setModelTypeAsResNet() prediction.setModelPath("resnet50_weights_tf_dim_ordering_tf_kernels.h5") prediction.loadModel() print("Load Time: ", time.time() - timeStart) timeStart = time.time() predictions, probabilities = prediction.predictImage("./picture.jpg", result_count=5) for eachPrediction, eachProbability in zip(predictions, probabilities): print(str(eachPrediction) + " : " + str(eachProbability)) print("Predict Time: ", time.time() - timeStart)
执行结果：
Load Time: 5.549695014953613 laptop : 71.43893241882324 notebook : 16.265612840652466 modem : 4.899394512176514 hard_disc : 4.007557779550552 mouse : 1.2981942854821682 Predict Time: 0.8137111663818359
可以看到，在加载imageAI模块以及加载模型文件的过程中，一共耗时5.5秒，在预测部分仅有不到1秒钟的时间。而在函数计算中，机器性能本身就没有我本地的性能高，此时为了降低每次装载模型导致的响应时间过长，在部署的代码中，可以看到模型装载过程实际上是被放在了入口方法之外，这样做的一个好处是，项目每次执行的时候，不一定会有冷启动，也就是说在某些复用的前提下是可以复用一些对象的，即无需每次都重新加载模型，导入依赖等。
所以在实际项目中，为了避免频繁请求，实例重复装载、创建某些资源，我们可以将部分资源放在初始化的时候进行。这样可以大幅度提高项目的整体性能，同时配合厂商所提供的预留能力，可以基本上杜绝函数冷启动带来的负面影响。
5. 总结
近年来，人工智能与云计算的发展是突飞猛进，在Serverless架构中，如何运行传统的人工智能项目已经逐渐成为很多人所需要了解的事情了。本文是通过一个已有的依赖库（ImageAI）实现一个图像分类和预测的接口。通过这个例子，其实是有几个事情可以被明确的：
- Serverless架构可以运行人工智能相关项目
- Serverless可以很好的兼容Tensorflow等机器学习/深度学习的工具
- 虽然说函数计算本身有空间限制，但是实际上增加了硬盘挂在能力之后，函数计算本身的能力将会得到大幅度的拓展
当然，本文也算是抛砖引玉，希望读者在本文之后，可以发挥自己的想象，将更多的AI项目与Serverless架构进行进一步结合。