开发者社区> 桃子红了呐> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测

简介:
+关注继续查看

前言

深度学习在图像处理、语音识别、自然语言处理领域的应用取得了巨大成功,但是它通常在功能强大的服务器端进行运算。如果智能手机通过网络远程连接服务器,也可以利用深度学习技术,但这样可能会很慢,而且只有在设备处于良好的网络连接环境下才行,这就需要把深度学习模型迁移到智能终端。

由于智能终端CPU和内存资源有限,为了提高运算性能和内存利用率,需要对服务器端的模型进行量化处理并支持低精度算法。TensorFlow版本增加了对Android、iOS和Raspberry Pi硬件平台的支持,允许它在这些设备上执行图像分类等操作。这样就可以创建在智能手机上工作并且不需要云端每时每刻都支持的机器学习模型,带来了新的APP。

本文主要基于看花识名APP应用,讲解TensorFlow模型如何应用于Android系统;在服务器端训练TensorFlow模型,并把模型文件迁移到智能终端;TensorFlow Android开发环境构建以及应用开发API。

看花识名APP

使用AlexNet模型、Flowers数据以及Android平台构建了“看花识名”APP。TensorFlow模型对五种类型的花数据进行训练。如下图所示:

Daisy:雏菊

(点击放大图像)

Dandelion:蒲公英

(点击放大图像)

Roses:玫瑰

(点击放大图像)

Sunflowers:向日葵

(点击放大图像)

Tulips:郁金香

(点击放大图像)

在服务器上把模型训练好后,把模型文件迁移到Android平台,在手机上安装APP。使用效果如下图所示,界面上端显示的是模型识别的置信度,界面中间是要识别的花:

(点击放大图像)

TensorFlow模型如何应用于看花识名APP中,主要包括以下几个关键步骤:模型选择和应用、模型文件转换以及Android开发。如下图所示:

(点击放大图像)

(点击放大图像)

模型训练及模型文件

本章采用AlexNet模型对Flowers数据进行训练。AlexNet在2012取得了ImageNet最好成绩,top 5准确率达到80.2%。这对于传统的机器学习分类算法而言,已经相当出色。模型结构如下:

(点击放大图像)

本文采用TensorFlow官方Slim(https://github.com/tensorflow/models/tree/master/slim)AlexNet模型进行训练。

  • 首先下载Flowers数据,并转换为TFRecord格式:
    DATA_DIR=/tmp/data/flowers
    python download_and_convert_data.py --dataset_name=flowers
     --dataset_dir="${DATA_DIR}"
  • 执行模型训练,经过36618次迭代后,模型精度达到85%
    TRAIN_DIR=/tmp/data/train
    python train_image_classifier.py --train_dir=${TRAIN_DIR} 
    --dataset_dir=${DATASET_DIR} --dataset_name=flowers  
    --dataset_split_name=train  --model_name=alexnet_v2 
     --preprocessing_name=vgg
  • 生成Inference Graph的PB文件
    python export_inference_graph.py  --alsologtostderr  
    --model_name=alexnet_v2  --dataset_name=flowers --dataset_dir=${DATASET_DIR} 
     --output_file=alexnet_v2_inf_graph.pb
  • 结合CheckPoint文件和Inference GraphPB文件,生成Freeze Graph的PB文件
    python freeze_graph.py  --input_graph=alexnet_v2_inf_graph.pb 
    --input_checkpoint= ${TRAIN_DIR}/model.ckpt-36618  --input_binary=true 
    --output_graph=frozen_alexnet_v2.pb --output_node_names=alexnet_v2/fc8/squeezed
  • 对Freeze Graph的PB文件进行数据量化处理,减少模型文件的大小,生成的quantized_alexnet_v2_graph.pb为智能终端中应用的模型文件
    bazel-bin/tensorflow/tools/graph_transforms/transform_graph  
    --in_graph=frozen_alexnet_v2.pb  --outputs="alexnet_v2/fc8/squeezed" 
    --out_graph=quantized_alexnet_v2_graph.pb --transforms='add_default_attributes
     strip_unused_nodes(type=float, shape="1,224,224,3")  remove_nodes(op=Identity, 
    op=CheckNumerics) fold_constants(ignore_errors=true)  fold_batch_norms 
    fold_old_batch_norms quantize_weights quantize_nodes 
     strip_unused_nodes sort_by_execution_order'

为了减少智能终端上模型文件的大小,TensorFlow中常用的方法是对模型文件进行量化处理,本文对AlexNet CheckPoint文件进行Freeze和Quantized处理后的文件大小变化如下图所示:

(点击放大图像)

量化操作的主要思想是在模型的Inference阶段采用等价的8位整数操作代替32位的浮点数操作,替换的操作包括:卷积操作、矩阵相乘、激活函数、池化操作等。量化节点的输入、输出为浮点数,但是内部运算会通过量化计算转换为8位整数(范围为0到255)的运算,浮点数和8位量化整数的对应关系示例如下图所示:

(点击放大图像)

量化Relu操作的基本思想如下图所示:

(点击放大图像)

TensorFlow Android应用开发环境构建

在Android系统上使用TensorFlow模型做Inference依赖于两个文件libtensorflow_inference.so和libandroid_tensorflow_inference_java.jar。这两个文件可以通过下载TensorFlow源代码后,采用bazel编译出来,如下所示:

  • 下载TensorFlow源代码

    git clone --recurse-submodules https://github.com/tensorflow/tensorflow.git

  • 下载安装Android NDK
  • 下载安装Android SDK
  • 配置tensorflow/WORKSPACE中android开发工具路径
    android_sdk_repository(name = "androidsdk", api_level = 23, build_tools_version = "25.0.2", path = "/opt/android",)
    android_ndk_repository(name="androidndk",  path="/opt/android/android-ndk-r12b",  api_level=14)
  • 编译libtensorflow_inference.so
    bazel build -c opt //tensorflow/contrib/android:libtensorflow_inference.so  
      --crosstool_top=//external:android/crosstool --host_crosstool_top=
    @bazel_tools//tools/cpp:toolchain --cpu=armeabi-v7a
  • 编译libandroid_tensorflow_inference_java.jar
    bazel build //tensorflow/contrib/android:android_tensorflow_inference_java

TensorFlow提供了Android开发的示例框架,下面基于AlexNet模型的看花识名APP做一些相应源码的修改,并编译生成Android的安装包:

  • 基于AlexNet模型,修改Inference的输入、输出的Tensor名称
    private static final String INPUT_NAME = "input";
    private static final String OUTPUT_NAME = "alexnet_v2/fc8/squeezed";
  • 放置quantized_alexnet_v2_graph.pb和对应的labels.txt文件到assets目录下,并修改Android文件路径
    private static final String MODEL_FILE = "file:///android_asset/quantized_alexnet_v2_graph.pb";
    private static final String LABEL_FILE = "file:///android_asset/labels.txt";
  • 编译生成安装包
    bazel build -c opt //tensorflow/examples/android:tensorflow_demo
  • 拷贝tensorflow_demo.apk到手机上,并执行安装,太阳花识别效果如下图所示:

    (点击放大图像)

TensorFlow移动端应用开发API

在Android系统中执行TensorFlow Inference操作,需要调用libandroid_tensorflow_inference_java.jar中的JNI接口,主要接口如下:

  • 构建TensorFlow Inference对象,构建该对象时候会加载TensorFlow动态链接库libtensorflow_inference.so到系统中;参数assetManager为android asset管理器;参数modelFilename为TensorFlow模型文件在android_asset中的路径。
    TensorFlowInferenceInterface inferenceInterface = new 
    TensorFlowInferenceInterface(assetManager, modelFilename);
  • 向TensorFlow图中加载输入数据,本App中输入数据为摄像头截取到的图片;参数inputName为TensorFlow Inference中的输入数据Tensor的名称;参数floatValues为输入图片的像素数据,进行预处理后的浮点值;[1,inputSize,inputSize,3]为裁剪后图片的大小,比如1张224*224*3的RGB图片。
    inferenceInterface.feed(inputName, floatValues, 1, inputSize, inputSize, 3);
  • 执行模型推理; outputNames为TensorFlow Inference模型中要运算Tensor的名称,本APP中为分类的Logist值。
    inferenceInterface.run(outputNames);
  • 获取模型Inference的运算结果,其中outputName为Tensor名称,参数outputs存储Tensor的运算结果。本APP中,outputs为计算得到的Logist浮点数组。
    inferenceInterface.fetch(outputName, outputs);

总结

本文基于看花识名APP,讲解了TensorFlow在Android智能终端中的应用技术。首先回顾了AlexNet模型结构,基于AlexNet的slim模型对Flowers数据进行训练;对训练后的CheckPoint数据,进行Freeze和Quantized处理,生成智能终端要用的Inference模型。然后介绍了TensorFlow Android应用开发环境的构建,编译生成TensorFlow在Android上的动态链接库以及java开发包;文章最后介绍了Inference API的使用方式。

参考文献

  1. http://www.tensorflow.org
  2. 深度学习利器:分布式TensorFlow及实例分析
  3. 深度学习利器:TensorFlow使用实战
  4. 深度学习利器:TensorFlow系统架构与高性能程序设计
  5. 深度学习利器:TensorFlow与深度卷积神经网络
  6. 深度学习利器:TensorFlow与NLP模型
















本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/8317909.html,如需转载请自行联系原作者


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
AI开发者大会之计算机视觉技术实践与应用:2020年7月3日《RPA+AI助力政企实现智能时代的人机协同》、《5G风口到来,边缘计算引领数据中心变革》、《数字化时代金融市场与AI算法如何结合?》
AI开发者大会之计算机视觉技术实践与应用:2020年7月3日《RPA+AI助力政企实现智能时代的人机协同》、《5G风口到来,边缘计算引领数据中心变革》、《数字化时代金融市场与AI算法如何结合?》
0 0
边缘计算 - 英特尔Movidius神经计算棒及其应用
预计到2020年,全球将有200亿联网设备,设备端与云端的数据传输量将高达数百亿PB。对物联网而言,如果边缘计算技术取得突破,意味着数据将通过本地设备处理并做出反馈,而无需交由云端,计算处理过程将在本地边缘端完成。这无疑将大大提升处理效率,减轻云端的负荷,还可为用户带来更快的响应,减少数据隐私泄露,提高边缘端计算可靠性等等好处。
0 0
行业场景智能应用 解锁边缘计算时代新机遇 阿里云混合云一体机重磅升级
阿里云混合云(Apsara Stack)首个全自研原生混合云,与阿里云公共云同宗同源、经过大规模商用验证、历经多年双11考验,是阿里云建管用一体化的全栈混合云平台,助力企业级客户全栈建云、智能管云、极致用云。未来,阿里云混合云将持续技术创新和优化服务能力,帮助客户更高效、更安全的上云,是政企数智创新的同行者。
0 0
行业场景智能应用 解锁边缘计算时代新机遇
随着边缘计算时代的到来,各行业对数据本地计算和智能分析的需求与日俱增,终端设备带动数据海量增长,给边缘节点的算力、AI处理能力、安全性、管理复杂度及成本均带来巨大挑战。据IDC预测2023年全球超过50%的新建企业基础设施将部署在边缘。
0 0
边缘计算在物联网行业的应用
边缘计算并不是诞生于物联网时代,AKAMAI作为一家内容分发网络CDN和云服务的提供商,并且是世界上最大的分布式计算服务商之一,早在2003年就和IBM合作过“边缘计算”。
0 0
这只猫在云端定居了?边缘计算在天猫精灵云应用上的落地实践
IoT的概念早已飞入寻常百姓家,在你我的日常生活中发挥着“智能”作用。比如,智能家居、智慧照明、GPS 导航、手机计步器等。未来,随着用户和技术的延伸和拓展,物联网的信息交换和通信价值将会被继续放大。那么问题来了,如此庞大的设备和信息量,如何进行管理和整合重组?如何高效准确智能地对用户需求和实际应用场景做出反应?如何让数据流动产生更大价值?如何向着更智慧加速迈进?边缘计算,就是让IoT终端更智慧的一把钥匙。今天,边缘酱找来了天猫精灵和阿里云边缘计算的技术2位小哥,一起来为大家讲讲边缘计算如何让IoT终端有大智慧!
0 0
聚焦2020云栖大会 边缘计算专场畅谈技术应用创新
一年一度科技圈盛事—云栖大会如期上演,本届大会以“数智未来,全速重构”为主题,与业界同仁、合作伙伴共同打造了一场数字时代的云上相聚。于9月18日下午举办的边缘计算技术应用创新专场中,阿里云携手甘肃省公路交通建设集团有限公司、华数传媒网络有限公司、首约科技(北京)有限公司等产业伙伴,分别从产品架构、技术创新、行业应用等维度,进一步阐述“边缘计算即城市计算”的技术思考。
0 0
哪些物联网应用将从边缘计算中受益最大?
边缘计算越来越受欢迎。我们将研究哪些物联网应用程序将从该技术中受益最大。
0 0
边缘计算在CDN融合项目中的应用
本文介绍怎样使用阿里云边缘计算ENS构建融合CDN。
3341 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
边缘计算在数据处理平台的最佳实践
立即下载
边缘计算赋能智能制造
立即下载
边缘计算专场-基于英特尔平台技术的创新应用
立即下载