细数从Al算法到产品化落地的八大鸿沟-阿里云开发者社区

开发者社区> 机器智能技术> 正文
登录阅读全文

细数从Al算法到产品化落地的八大鸿沟

简介: AI产业要真正产生价值,推动社会发展,面临着很多的挑战。从AI算法到产品化落地存在巨大的挑战,可以总结为八大鸿沟。

如今,人工智能技术持续快速发展,在图像识别、语音识别、语义理解等诸多特定领域已超过人类能力。

要满足AI的巨大需求,让AI成功的应用到千行百业,AI产业需要提供用得起、用得好、用得放心的软硬件系统和解决方案。由于AI的强行业赋能属性,AI产业要能够和行业知识结合,促进真正的产业发展和生产力提升。当然,AI产业要真正产生价值,推动社会发展,面临着很多的挑战。

从AI算法到产品化落地存在巨大的挑战,可以总结为八大鸿沟:

image.png

1. 模型获取

AI算法层出不穷,同一领域甚至同一主题都有大量算法产生,然而算法是否能够适应或者如何适应具体的应用场景?

首先,不同的行业数据导致模型的表现不同。训练数据的不同会导致模型表现出现很大的差异。其次,模型对于不同场景也有适配性问题。那么,如何在层出不穷的模型里面选择合适的模型,是很多开发者面临的第一个挑战。

而进行大规模的模型测试筛选,则需要巨大的时间和算力成本。如何在大量个性化和碎片化的场景下快速获得实际表现良好的模型,工作量巨大。若针对场景沉淀针对性的数据和算法,进行最优的积累,形成行业最佳实践,则可以在一定程度上缓解相关压力。

2. 数据准备

准备场景化行业数据存在比较大的挑战,需要进行数据的采集、清洗、标注、增强等工作依据准确度需求的不同,数据量也不同。如何有针对性的设计数据处理流程,快速获得高质量的训练数据,加速适配业务场景,是AI算法面向场景训练需要解决的问题。

最理想的数据集,不一定是最大的,而是能够真实反映实际业务的数据分布,但覆盖所有情况的数据集是不现实的,采集的样本或多或少都有一定的局限性。如何避免人为的局限和错误,是AI数据准备必须要解决的问题。

3. 模型训练

在确保数据质量之后,还要进行复杂的模型训练,而对于模型参数的调整,经常出现困难。复杂的训练过程和调优过程,将大量的传统行业开发者挡在门外。同时,算法在业务场景内的适应性测试和调整是复杂的。

4. 准确度验证

训练好的模型在业务场景中的表现,需要在完整的业务体系中完成验证。模型的泛化能力,通常在实际场景里会受到极大的挑战。由于测试环境和实际环境的不同,传感器数据会受到环境影响产生不同的分布,进而可能影响模型的表现能力。针对复杂环境进行适应性的精调,是阻碍算法快速落地的因素之一。尤其是某些难例,在训练集没有出现的情况,同样会导致模型的泛化问题。

5. 行业应用开发

AI算法具有强的行业属性,必须作为行业应用的一部分,和行业知识结合,才能更好的发挥价值。AI算法所对应的模型需要接收各种输入数据,并且由AI计算系统提供的各种形式的软硬件环境来承载。不同的输入数据类型、格式、速率、协议、接口形态等,都会对AI的应用开发系统产生整合要求。而面对多样化数据所需要的多种处理架构,也会带来异构算力整合的问题。

开发效率是影响AI在行业场景落地的重要因素之一。AI计算产业要能够给开发者提供高效的开发体系和工具,提供完善的生态环境以及丰富的资源支持,尤其针对传统行业的开发者,要能够将复杂的AI开发过程简单化,从而使开发者更关注行业场景的问题解决,从而快速推进行业对AI系统的适配。

6. NPU性能优化

应用性能是影响行业发展的重要问题。AI算力需要能够真正的转化为生产力,其实际的运行性能将决定系统最终的性价比和业务执行能力。复杂的异构优化体系,是计算系统所需要克服的挑战。

7. 业务流程监控

如何确保AI系统在业务环境的持续准确高效运行,是行业应用所需要关注的问题。随着业务场景和环境的变化,传感器数据和环境数据会产生偏移,这些偏移对于行业AI应用的准确度会产生不可忽视的影响,尤其是高精度的场景。AI业务系统要求能够及时发现这些准确度影响的问题和场景,并且能够提供持续算法更新和增量学习等能力。

8. 适配开发

面对不同的业务场景,通常需要以服务化和API的形式来封装AI业务,为上层应用提供较好的接口。但是,由于场景的复杂性,开发和维护对应的API和服务是现实的挑战。

如何构建统一的服务架构和API封装,以适配不同场景的实际业务化运行需求,同样存在困难。部署AI计算系统到实际的业务系统中,也面临着挑战。不同的行业,所采用的操作系统、基础软件、通信系统、存储系统等,都会出现差异,随之带来碎片化的解决方案,严重影响到应用开发的效率和成本。

在差异化的软硬件体系中,使用统一的应用开发体系,水平整合技术栈,增强对于底层系统的抽象能力,建立标准和统一的平台及接口体系,也是AI行业应用开发的关键。所以,在设计具体场景的AI业务软件系统时,所需要考虑的适应性、可裁剪性、可伸缩性等细节特性要成倍增加。同时在设计硬件方案时,需要考虑到各种严苛条件下,系统的可靠性、可服务性以及对整体软硬件系统的性能影响。

image.png

因此不难看出,当AI技术进阶到行业深水区,需要使能更多场景和设备时,AI开发者面临的将是一个规模化的系统性设计问题,而不再仅仅是单纯的模型和业务软件开发。


本文转自IT168,本文一切观点和机器智能技术圈子无关。原文链接
在线免费体验百种AI能力:【点此跳转】
机器智能技术结尾二维码.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
机器智能技术
使用钉钉扫一扫加入圈子
+ 订阅

阿里云机器智能研究领域主要围绕机器学习等前沿技术开展理论与应用研究。《机器智能技术》圈子基于阿里巴巴达摩院的技术沉淀,围绕【研究报告】、【前沿技术】、【应用案例】、【行业新闻】、【传奇人物】多个方向为广大开发者贡献干货内容。

官方博客