开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope的LLM部署后,大模型本身有没有提供metrics监控指标?

ModelScope的LLM部署后,大模型本身有没有提供metrics监控指标?

展开
收起
青城山下庄文杰 2023-08-12 10:29:38 121 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    对,ModelScope部署的LLM模型本身会提供一些监控指标,主要包括:

    推理时间:每个请求的响应时间,可以观察吞吐和延迟水平。

    错误率:请求处理过程中的各类错误数量,判断模型和系统是否健康。

    请求来源:不同来源的请求量,了解流量分布。

    常用词统计:模型响应中频繁出现的词汇等统计指标。

    Capacity:模型剩余可用容量,了解是否需要扩容。

    并发数:同时并发请求数,了解负载水平。

    请求分布:不同类型请求的分布,监控业务动态。

    ModelScope提供Prometheus指标导出,可以整合监控系统进行实时查看这些metrics。

    一些常见的监控系统如:

    Grafana眼:以可视化dashboard方式展示。

    Alertmanager:配置警告告警规则。

    Parser:解析日志提取自定指标。

    2023-08-13 16:48:05
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
PAI灵骏智算 构建全链路LLM服务的最佳实践 立即下载
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载