玲汐_个人页

2019年12月

• 12.19 10:52:51
  发表了文章 2019-12-19 10:52:51

  PAI年度巨献：在线推理加速优化，降低推理GPU所需资源

  在线推理是抽象的算法模型触达具体的实际业务的最后一公里，在这个环节中，这些已经是大家共识的痛点和诉求： 1. 任何线上产品的用户体验都与服务的响应时长成反比，复杂的模型如何极致地压缩请求时延？ 2. 模型推理通常是资源常驻型服务，如何通过提升服务单机性能从而增加QPS同时大幅降低资源成本？ 3. 端-边-云是现在模型服务发展的必然趋势，如何让离线训练的模型“瘦身塑形”从而在更多设备上快速部署使用？ 为了解决这些诉求，高性能在线推理优化框架PAI-Blade在公共云正式和大家见面了！