1. AI算法落地过程
在现实场景中，要让AI算法应用到实际业务场景中，通常需要经历如下过程：
- 业务分析：分析应用的场景特点（比如数据等）和要求以及目标
- 确定可验收的目标的测试或者验证集
- 确定验收的评价指标
- 收集符合场景的数据
- 训练一个baseline模型，然后评估和分析，开始迭代，直到达到目标要求
- 将可用的模型部署到线上环境
- 收集线上环境的反馈持续优化模型
当然，以上的诸多过程都是可重复迭代的，比如更改验证集，评价指标或者增加删除训练数据等。
2. AI工程化部署的重要性
AI算法落地过程中，AI工程化部署就是将可用的模型部署到线上环境的过程，是直接将AI功能提供给外部使用的关键环节。
AI工程化部署通常涉及到几个重要的要求：
- 性能要求：如实时性（直播）和高并发
- 稳定性：高可用性
- 部署硬件和系统：算法需要适配不同的部署硬件，如GPU，NPU，CPU，TPU，FPGA等，不同系统架构ARM和x86等
- 安全性：特别是生成式模型的不可控性带来的安全和合规问题
3. 主题规划
要达到AI工程化部署的诸多要求，需要除了AI算法以外的诸多技术，因此结合实际的项目经验，希望总结一些在AI工程化部署的有用技术供大家参考。初步的内容规划如下：
- 性能要求：c/c++基本知识，高性能和并行编程（多线程，openMP，CPU指令集编程），CUDA编程，模型加速（压缩，转换，量化），
- 部署硬件和系统：主要涉及推理加速如TensorRT，TVM，NCNN，Openvino等推理框架的原理和使用
- 稳定性：主要针对服务端部署，如分布式部署，任务调度等
- 安全性：主要涉及安全性风险策略
是为开篇！
