支持intel、amd的cpu服务器,支持GPU推理
支持普通的pytorch模型
支持TorchEasyRec的
特征工程(FG)和模型推理,推理性能更快(更低成本)
Item Feature Cache:支持特征缓存,把特征缓存在打分服务中,降低网络传输,提高特征工程+推理的速度。
特征缓存:FeatureDB支持复杂类型。提高推理速度。
部署在PAI-EAS上,能够设置弹性扩缩容,一张GPU上可以切分多个实例,部署多个模型。
processor内部做了很多优化:INPUT_TILE优化(减少特征变换时间)
支持FAISS向量召回。