Q&A特辑 | 关于模型开发与部署,这里有一份标准答案

简介: 11月24日,顶象业务安全大讲堂系列课程之《智能模型平台》正式开讲,顶象人工智能总监无常从从模型平台的现状与需求出发,带大家了解了模型平台的开发环境与部署环境,并且就顶象的Xintell 模型平台 为大家做了演示。

11月24日,顶象业务安全大讲堂系列课程之《智能模型平台》正式开讲,顶象人工智能总监无常从从模型平台的现状与需求出发,带大家了解了模型平台的开发环境与部署环境,并且就顶象的Xintell 模型平台 为大家做了演示。

直播也吸引了不少观众前来围观,就智能模型平台提出了疑问,现将部分问题罗列出来,供大家参考。

Q1:如何部署不同框架开发的 CV 或 NLP 模型?

无常:计算机视觉与自然语言处理的模型,通常都是深度神经网络模型,算法人员会选择 Tensorflow、Pytorch、Caffe 等不同的框架来开发,但是在应用阶段,这些不同框架开发的模型并不容易部署,一种办法是在生产环境也安装相应的算法框架,这种方式存在一些缺陷:1) 环境配置与维护比较困难;
推理预测的效率不高;
不同框架开发的模型,对外提供服务也需要有不同的封装与实现。
还有另一种办法是将不同框架开发的模型转换成 ONNX 标准模型,这种方式相对来说会更好一些。

Q2:有了低代码建模工具之后,任意人都可以在上面开发建模吗?

无常:这个问题很多人都很关心,很多次都被问到,假如这个问题的答案是真的,那数据建模的工作岂不是谁都可以胜任了?答案当然是否定的,但也没那么糟糕,一个大学生从开始入学到毕业,学了多少门功课,读了多少书籍,难道还差一门数据挖掘的课程么?只要系统的学习,在实践中思考,还是可以掌握基本的数据挖掘方法。低代码建模并不能解决人人都能建模,它可以让建模的效率更高,拖拉拽就可以开发模型;它让模型更直观、更易于维护与更新,另外它可以让擅长数据分析,但不擅长写代码的人也可以建模。

Q3:模型平台如何让“一个算法团队”高效地协同开发模型?

无常:我们习惯将模型开发看作是一个一个单独的任务,而忽略协同高效的一些细节,比如:代码的复用性、中间结果的共享与复用、任务拆分与组合。我看到很多建模的代码就是一个Python文件或者一个Notebook任务,各种逻辑与处理都混杂在这一个代码文件中,这就很难让多人协同高效地参与到模型开发中来。

对于一个复杂的模型,应该将内部的逻辑进行合理地拆分,不同的逻辑放在不同的代码文件中,这样就可以让多人参与,各模块也可以简单复用。如果模型平台可以支持多种建模工具,并且不同建模工具开发的代码可以灵活地组织与执行,那么就可以让算法人员协同开发模型。

Q4:什么是模型热更新,如何实现X个模型智能部署到N台服务器?

无常:这是一个系统工程的问题,对于模型开发人员通常难以考虑到这个点,模型热更新是指在平台中增加新模型、或者对正在使用的旧模型进行版本更新的过程中,业务可以正常使用而不会受到任何影响。热更新的实现思路是:将模型部署在多台服务器上,让服务器逐台更新,一台服务器在更新的过程中,流量转发到其他服务器处理。实现X个模型(可能有Y个版本),智能部署到N台服务器会困难地多,因为每台服务器的运算资源是有限的,它能容纳的模型数量也是有限的,另外每个模型的业务请求量也会不同。实现的思路是:每次增加模型或版本时,挑选出内存剩余空间大,而系统整体负载低的服务器来部署。

Q5:开发出来的模型,怎么将模型部署到 IoT 设备中去?

无常:模型通常是部署在商用服务器中,在某些工业控制领域,为了节约成本与提高效率,有时确实需要将模型部署到IoT设备中,当前最好的路只有一条,那就是ONNX标准,将模型转换成标准的ONNX模型,通过Java 或C++加载,实现推理预测,ONNX标准已经有非常成熟的可以在各种环境运行的Runtime库。

最后再给大家简单介绍下顶象业务安全大讲堂。
顶象业务安全大讲堂汇集了业内大咖,分享万亿级业务安全攻防经验,打造时下最专业的业务安全直播课,通过“技术+方案+实践”三大核心专题,带您全面了解金融、互联网、航旅出行、跨境电商以及目前大热的NFT等各类业务风险及防范手段,深入解析背后的产品技术,抽丝剥茧攻防实战,助您打造零风险的数字业务。

下期顶象将由顶象资深解决方案专家鳯羽为大家带来主题为《手机银行人机验证解决方案》的直播,现场福利多多,请大家提前锁定直播间,预约起来吧!

相关文章
|
5天前
|
人工智能 IDE Java
通义灵码实战系列:一个新项目如何快速启动,如何维护遗留系统代码库?
以编码助手形态来帮助开发者提质、提效的通义灵码,自从入职阿里云后便深受广大同事的欢迎,一起通过多个实战场景演示感受它的工作能力吧: 01/ 使用 Spring Boot 创建一个新项目 02/ 维护遗留系统代码库 03/ 生命游戏/报错场景演示
GitHub上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了
GitHub上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了!! 这份笔记包含10章的内容,每一章都分为若干小节,每个小节里面都包含更多细节化的内容。
|
9月前
|
算法
GitHub 上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了
说在前面的话 GitHub上疯传数万次的蚂蚁内部绝密分布式高可用算法笔记太香了!! 这份笔记包含10章的内容,每一章都分为若干小节,每个小节里面都包含更多细节化的内容。 内容简介 本文从原理出发,系统性地介绍了分布式系统和算法,而非介绍如何使 用某种分布式框架。
53 0
|
9月前
|
设计模式 Cloud Native Java
GitHub爆出阿里内部突击路线+配套学习资源,直接霸榜
又到了一年一度的备战秋招的时间,虽然这两年因为经济环境不太好,年初互联网行业的各大厂都再裁员,前半年的行业发展趋于平稳,随着经济形势正在复苏,今年秋招各个公司hc也逐渐开放,很多小伙伴也反馈面试机会变多了,想查缺补漏冲刺大厂,我软磨硬泡终于从阿里p8手里弄来了突击秘籍,分享给大家。 涨薪秘籍从Java核心并发开始,到经典的框架源码设计模式、分布式微服务架构设计、微服务NetFilx体系和Alibaba体系、微服务架构性能调优、云原生以及虚拟化、Spring Cloud Alibaba项目实战。
119 2
GitHub爆出阿里内部突击路线+配套学习资源,直接霸榜
|
12月前
|
编解码 自然语言处理 算法
无需任何3D数据,直接文本生成高质量3D内容,清华朱军团队带来重大进展
无需任何3D数据,直接文本生成高质量3D内容,清华朱军团队带来重大进展
200 0
无需任何3D数据,直接文本生成高质量3D内容,清华朱军团队带来重大进展
|
存储 Python
热饭的测开成果盘点第二十二期:wqrfnium自动维护库
本期介绍的是一个组件,身为python的第三方库,已经被pypi收录,且国内镜像源也早已复制。也就是说可以通过pip install 来下载。这个组件包括:wqrfnium 和 wqrfnium_app 。他们都是基于python/selenium/appium的一个可以自动维护ui元素,抵抗ui元素定位变化的组件。
热饭的测开成果盘点第二十二期:wqrfnium自动维护库
|
存储 Kubernetes Cloud Native
叮,你收到一份云原生景观简介
叮,你收到一份云原生景观简介
149 0
|
机器学习/深度学习 人工智能 算法
微软推人人可用的机器学习,打通windows应用程序任督二脉,惠及5000万开发者
微软「Build开发者大会」首次线上开幕,CEO Nadella对开发者倾诉衷肠,微软此次推出了WhiteNoise等多个机器学习工具包,让你的机器学习模型更上一层楼,Project Reunion一统Windows应用程序开发!更有量子计算平台预览版,HoloLens、Office套件等强力升级更新。
195 0
微软推人人可用的机器学习,打通windows应用程序任督二脉,惠及5000万开发者
|
网络协议 应用服务中间件 Android开发
直播软件搭建过程中的这项工作也很重要
要想运营好一个直播平台,需要各方各面的工作和技术相结合完成,而消息推送就是直播app中十分重要的一个部分。App内的消息推送不仅能够给用户提供通知信息,提高用户活跃度,还能够起到召回一部分老用户的作用。那么在直播软件搭建的过程中,关于第三方推送也就是我们所说的消息推送功能又该如何实现呢?
直播软件搭建过程中的这项工作也很重要
|
人工智能 供应链 算法
机器人在线“偷懒”怎么办?阿里研究出了这两套算法
随着互联网和电子商务的发展以及全球化的不断加速,中国产业持续升级,人工智能与机器人集群逐步被应用于制造业与物流供应链产业中。机器人集群的主要目的是与人协同合作,将人从沉重的重体力搬运任务中解放出来,专注于更精细的操作当中。由于在工业界的广泛应用与进一步智能化生产的思考,机器人集群调度成为了多智能体系统(Multi-agent System)学术研究中的一个新兴研究方向,其核心问题是如何调度机器人执行合适的任务并规划高效的路径,使得系统整体效率最优。 文末福利:七道典型算法笔试模拟题精解。
1224 0
机器人在线“偷懒”怎么办?阿里研究出了这两套算法