推理：

EasyRec Processor的模型优化参数配置：
"metadata": {
"instance": 2,
"rpc": {
"enable_jemalloc": 1,
"max_queue_size": 100,
"worker_threads": 10 # cpu数量
}
},

"model_config": {
"fg_threads": 5 , # cpu数量的一般
"inter_op_parallelism_threads": 10,# cpu数量
"intra_op_parallelism_threads": 10,# cpu数量
}

tf servering ：gpu推理慢的问题

【问题描述】gpu机型在高并发请求下推理速度慢，需要推荐合理机型并优化推理性能。
【原因分析】磁盘 在特定时间点出现bps超限现象，导致吞吐能力不足。
【解决方案】
● 1、提升磁盘吞吐能力
● 2、结合监控和TensorRT进行调优
● 3、使用NVIDIA提供的NVML库或DCGM工具查询硬件层提供的指标
● 4、考虑将模型部署到PAI-EAS上进行推理加速
● 5、利用FeatureStore缓存item特征到EasyRec Processor以提高推理性能

input tile的优化方案：