脚把脚教你利用PAI训练出自己的CNN手写识别模型并部署为可用的服务

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 虽然已经 9102 年了,MNIST手写数据集也早已经被各路神仙玩出了各种花样,比如其中比较秀的有用MINST训练手写日语字体的。但是目前还是很少有整体的将训练完之后的结果部署为一个可使用的服务的。大多数还是停留在最终Print出一个Accuracy。

虽然已经 9102 年了MNIST手写数据集也早已经被各路神仙玩出了各种花样,比如其中比较秀的有用MINST训练手写日语字体的。但是目前还是很少有整体的将训练完之后的结果部署为一个可使用的服务的。大多数还是停留在最终Print出一个Accuracy。
这一次我们就借助阿里云的PAI平台来快速构建训练一个手写模型并且部署出一个生产可用级别的服务的教程让大家可以在其他的产品中调用这个服务作出更加有意思的项目。

整个部分会分为3篇文章分别对应机器学习中: 构建训练以及导出模型 模型的部署以及模型的调用。这篇文章里我们先讲讲如何构建训练并导出这个手写字体识别的模型。整个教程的代码基于Snapchat的ML大佬 Aymeric Damien Tensorflow 入门教程系列

Step 1: 下载代码

首先我们可以把代码Clone到本地或者直接Clone到DSW的实例。如何Clone到DSW实例的方法可以参考我的这篇文章。Clone完代码之后我们还需要准备训练所需要的数据集这边可以直接从Yann Lecun的网站下载。我这边然后我们可先运行一遍看一下效果。
_Accuracy_

我们可以看到代码Clone下来之后直接运行就已经帮我们训练出了model并且给出了现在这个Model的精度。在500个batch之后准确率达到了95%以上而且基于GPU的DSW实例训练这500个Batch只需要十几秒的时间。

Step 2: 修改部分代码使得可以自动导出SavedModel

这一步就是比较重要的地方了我们第一个需要关注的就是当前的这个Model里面的Input和Output.

Input还比较清楚我们直接找所有placeholder就可以了
placeholder_

Output这一块就比较复杂了,在当前的model里我们可以看到output并不是直接定义的Y而是softmax之后的prediction
ConstructModel

找到了这些之后就比较简单了。首先我们创建一个 Saver , 它可以帮助我们保存所有的tf变量以便之后导出模型使用

# 'Saver' op to save and restore all the variables
saver = tf.train.Saver()

然后我们在模型训练的session结束的时候导出模型就好了。我们可以通过以下这段代码来导出我们训练好的模型

import datetime
# 声明导出模型路径这边加入了时间作为路径名 这样每次训练的时候就可以保存多个版本的模型了
export_path = "./model-" + datetime.datetime.now().strftime('%Y-%m-%d_%H:%M:%S')

# 保存训练的日志文件方便如果出问题了我们可以用 tensorboard 来可视化神经网络排查问题
tf.summary.FileWriter('./graph-' + datetime.datetime.now().strftime('%Y-%m-%d_%H:%M:%S') , sess.graph)

# 构建我们的Builder
builder = tf.saved_model.builder.SavedModelBuilder(export_path)

# 声明各种输入这里有一个X和一个keep_prob作为输入然后
tensor_info_x = tf.saved_model.utils.build_tensor_info(X)
tensor_info_keep_prob = tf.saved_model.utils.build_tensor_info(keep_prob)
tensor_info_y = tf.saved_model.utils.build_tensor_info(prediction)

prediction_signature = (
    tf.saved_model.signature_def_utils.build_signature_def(
        # 声明输入
        inputs={
            'images': tensor_info_x,
            'keep_prob' : tensor_info_keep_prob
        },
        # 声明输出
        outputs={
            'scores': tensor_info_y
        },
        method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
    )
)



legacy_init_op = tf.group(tf.tables_initializer(), name='legacy_init_op')
builder.add_meta_graph_and_variables(
    sess, [tf.saved_model.tag_constants.SERVING],
    signature_def_map={
        'predict_images':
            prediction_signature,
    },
    legacy_init_op=legacy_init_op)
# 保存模型
builder.save()

我们可以吧这段代码插在这里这样训练完成的时候就会自动导出了
_

导出之后应该会有如下的文件结构我们也可以在左边的文件管理器中查看

./model-2019-05-20_13:50:26
├── saved_model.pb
└── variables
    ├── variables.data-00000-of-00001
    └── variables.index

1 directory, 3 files

Step 3: 部署我们的模型

终于到了可以部署的阶段了。但是在部署之前先别那么着急建议用 tensorboard 把训练日志下载到本地之后看一下。
这一步除了可以可视化的解释我们的模型之外还可以帮助我们理清我们的模型的输入和输出分别是什么。
这边我先在有日志文件的路径打开一个tensorboard 通过这个命令

tensorboard --logdir ./

然后我们在游览器里输入默认地址 localhost:6006 就可以看到了
Tensorboard_

从这个图里也可以看到我们的这个Model里有2个输入源分别叫做images和keep_prob。并且点击它们之后我们
还能看到对应的数据格式应该是什么样的。不过没有办法使用 Tensorboard 的同学也不用担心因为EAS
这个产品也为我们提供了构造请求的方式。这一次部署我们先使用WEB界面来部署我们的服务这一步也可以通过EASCMD来实现之后我会再写一篇如何用好EASCMD的文章。

我们可以吧模型文件下载完之后用zip打包然后到PAI产品的控制台点击EAS-模型在线服务.
ZIP打包可以用这个命令如果你是Unix的用户的话

zip -r model.zip path/to/model_files

进入EAS之后我们点击模型部署上传
EAS_

然后继续配置我们的processor这一次因为我们是用tensorflow训练的所以选择Tensorflow
然后资源选择CPU有需要的同学可以考虑GPU然后上传我们的模型文件.
EAS_

点击下一步我们选新建服务然后给我们的服务起个名字,并且配置资源数量。
EAS_

然后最后确认一下就可以点击部署了
_

Step 4: 调试我们的模型

回到EAS的控制台我们可以看到我们的服务正在被构建中。等到状态显示Running的时候我们就可以开始调试了。
我们可以先点击在线调试
_

会让我们跳转到一个Debug 接口的页面。什么都不需要填直接点击提交我们就可以看到服务的数据格式了
debug_

然后我们用一段python2的代码来调试这个刚刚部署完的服务。python3的SDK暂时还在研发中。注意要把下面的
app_key, app_secret, url 换成我们刚刚部署好的内容。点击模型名字就可以看见了。

其中测试图片的数据大家可以在下载到

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import json

from urlparse import urlparse
from com.aliyun.api.gateway.sdk import client
from com.aliyun.api.gateway.sdk.http import request
from com.aliyun.api.gateway.sdk.common import constant
from pai_tf_predict_proto import tf_predict_pb2

import cv2
import numpy as np

with open('9.jpg', 'rb') as infile:
    buf = infile.read()
    # 使用numpy将字节流转换成array
    x = np.fromstring(buf, dtype='uint8')
    # 将读取到的array进行图片解码获得28 × 28的矩阵
    img = cv2.imdecode(x, cv2.IMREAD_UNCHANGED)
    # 由于预测服务API需要长度为784的一维向量将矩阵reshape成784
    img = np.reshape(img, 784)

def predict(url, app_key, app_secret, request_data):
    cli = client.DefaultClient(app_key=app_key, app_secret=app_secret)
    body = request_data
    url_ele = urlparse(url)
    host = 'http://' + url_ele.hostname
    path = url_ele.path
    req_post = request.Request(host=host, protocol=constant.HTTP, url=path, method="POST", time_out=6000)
    req_post.set_body(body)
    req_post.set_content_type(constant.CONTENT_TYPE_STREAM)
    stat,header, content = cli.execute(req_post)
    return stat, dict(header) if header is not None else {}, content


def demo():
    # 输入模型信息,点击模型名字就可以获取到了
    app_key = 'YOUR_APP_KEY'
    app_secret = 'YOUR_APP_SECRET'
    url = 'YOUR_APP_URL'

    # 构造服务
    request = tf_predict_pb2.PredictRequest()
    request.signature_name = 'predict_images'
    request.inputs['images'].dtype = tf_predict_pb2.DT_FLOAT  # images 参数类型
    request.inputs['images'].array_shape.dim.extend([1, 784])  # images参数的形状
    request.inputs['images'].float_val.extend(img)  # 数据

    request.inputs['keep_prob'].dtype = tf_predict_pb2.DT_FLOAT  # keep_prob 参数的类型
    request.inputs['keep_prob'].float_val.extend([0.75])  # 默认填写一个

    # å°†pbåºåˆ—化æˆstringè¿›è¡Œä¼ è¾“
    request_data = request.SerializeToString()

    stat, header, content = predict(url, app_key, app_secret, request_data)
    if stat != 200:
        print 'Http status code: ', stat
        print 'Error msg in header: ', header['x-ca-error-message'] if 'x-ca-error-message' in header else ''
        print 'Error msg in body: ', content
    else:
        response = tf_predict_pb2.PredictResponse()
        response.ParseFromString(content)
        print(response)


if __name__ == '__main__':
    demo()

运行这个python代码然后我们会得到

outputs {
  key: "scores"
  value {
    dtype: DT_FLOAT
    array_shape {
      dim: 1
      dim: 10
    }
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 0.0
    float_val: 1.0
  }
}

我们可以看到从0开始数的最后一个也就是第9个的结果是1 其他都是0 说明我们的结果是9和我们输入的一样。这样我们就简单轻松的构建了一个在线服务能够将用户的图片中手写数字识别出来。配合其他Web框架或者更多的东西我们就可以作出更好玩的玩具啦

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
12天前
|
存储 人工智能 并行计算
Pai-Megatron-Patch:围绕Megatron-Core打造大模型训练加速生态
Pai-Megatron-Patch(https://github.com/alibaba/Pai-Megatron-Patch)是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具,旨在帮助开发者快速上手大模型,完成大模型(LLM)相关的高效分布式训练,有监督指令微调,下游任务评估等大模型开发链路。最近一年来,我们持续打磨Pai-Megatron-Patch的性能和扩展功能,围绕Megatron-Core(以下简称MCore)进一步打造大模型训练加速技术生态,推出更多的的训练加速、显存优化特性。
|
24天前
|
机器学习/深度学习 Python
训练集、测试集与验证集:机器学习模型评估的基石
在机器学习中,数据集通常被划分为训练集、验证集和测试集,以评估模型性能并调整参数。训练集用于拟合模型,验证集用于调整超参数和防止过拟合,测试集则用于评估最终模型性能。本文详细介绍了这三个集合的作用,并通过代码示例展示了如何进行数据集的划分。合理的划分有助于提升模型的泛化能力。
|
26天前
|
机器学习/深度学习 数据采集 数据可视化
深度学习实践:构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行分类
本文详细介绍如何使用PyTorch构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行图像分类。从数据预处理、模型定义到训练过程及结果可视化,文章全面展示了深度学习项目的全流程。通过实际操作,读者可以深入了解CNN在图像分类任务中的应用,并掌握PyTorch的基本使用方法。希望本文为您的深度学习项目提供有价值的参考与启示。
|
2月前
|
机器学习/深度学习 资源调度 分布式计算
阿里PAI-ChatLearn:大规模 Alignment高效训练框架正式开源
PAI-ChatLearn现已全面开源,助力用户快速、高效的Alignment训练体验。借助ChatLearn,用户可全身心投入于模型设计与效果优化,无需分心于底层技术细节。ChatLearn将承担起资源调度、数据传输、参数同步、分布式运行管理以及确保系统高效稳定运作的重任,为用户提供一站式解决方案。
|
2月前
|
机器学习/深度学习 数据采集 人工智能
揭秘大型机器学习模型背后的秘密:如何在技术深度与广度之间找到完美平衡点,探索那些鲜为人知的设计、训练与部署技巧,让你的作品脱颖而出!
【8月更文挑战第21天】大型机器学习模型是人工智能的关键方向,借助不断增强的计算力和海量数据,已实现在学术与产业上的重大突破。本文深入探讨大型模型从设计到部署的全过程,涉及数据预处理、模型架构(如Transformer)、训练技巧及模型压缩技术,旨在面对挑战时提供解决方案,促进AI技术的实用化进程。
45 1
|
2月前
|
机器学习/深度学习 分布式计算 Cloud Native
云原生架构下的高性能计算解决方案:利用分布式计算资源加速机器学习训练
【8月更文第19天】随着大数据和人工智能技术的发展,机器学习模型的训练数据量和复杂度都在迅速增长。传统的单机训练方式已经无法满足日益增长的计算需求。云原生架构为高性能计算提供了新的可能性,通过利用分布式计算资源,可以在短时间内完成大规模数据集的训练任务。本文将探讨如何在云原生环境下搭建高性能计算平台,并展示如何使用 PyTorch 和 TensorFlow 这样的流行框架进行分布式训练。
71 2
|
2月前
|
机器学习/深度学习 人工智能 关系型数据库
【机器学习】Qwen2大模型原理、训练及推理部署实战
【机器学习】Qwen2大模型原理、训练及推理部署实战
396 0
【机器学习】Qwen2大模型原理、训练及推理部署实战
|
2月前
|
前端开发 开发者 设计模式
揭秘Uno Platform状态管理之道:INotifyPropertyChanged、依赖注入、MVVM大对决,帮你找到最佳策略!
【8月更文挑战第31天】本文对比分析了 Uno Platform 中的关键状态管理策略,包括内置的 INotifyPropertyChanged、依赖注入及 MVVM 框架。INotifyPropertyChanged 方案简单易用,适合小型项目;依赖注入则更灵活,支持状态共享与持久化,适用于复杂场景;MVVM 框架通过分离视图、视图模型和模型,使状态管理更清晰,适合大型项目。开发者可根据项目需求和技术栈选择合适的状态管理方案,以实现高效管理。
32 0
|
2月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow Serving 部署指南超赞!让机器学习模型上线不再困难,轻松开启高效服务之旅!
【8月更文挑战第31天】TensorFlow Serving是一款高性能开源服务系统,专为部署机器学习模型设计。本文通过代码示例详细介绍其部署流程:从安装TensorFlow Serving、训练模型到配置模型服务器与使用gRPC客户端调用模型,展示了一站式模型上线解决方案,使过程变得简单高效。借助该工具,你可以轻松实现模型的实际应用。
24 0
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
83 0

相关产品

  • 人工智能平台 PAI
  • 下一篇
    无影云桌面