AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScope的LLM部署后，大模型本身有没有提供metrics监控指标？

ModelScope的LLM部署后，大模型本身有没有提供metrics监控指标？

展开
收起
青城山下庄文杰 2023-08-12 10:29:38 216 分享 版权
1 条回答
写回答
取消 提交回答
  • 算精通
    北京阿里云ACE会长

    对,ModelScope部署的LLM模型本身会提供一些监控指标,主要包括:

    推理时间:每个请求的响应时间,可以观察吞吐和延迟水平。

    错误率:请求处理过程中的各类错误数量,判断模型和系统是否健康。

    请求来源:不同来源的请求量,了解流量分布。

    常用词统计:模型响应中频繁出现的词汇等统计指标。

    Capacity:模型剩余可用容量,了解是否需要扩容。

    并发数:同时并发请求数,了解负载水平。

    请求分布:不同类型请求的分布,监控业务动态。

    ModelScope提供Prometheus指标导出,可以整合监控系统进行实时查看这些metrics。

    一些常见的监控系统如:

    Grafana眼:以可视化dashboard方式展示。

    Alertmanager:配置警告告警规则。

    Parser:解析日志提取自定指标。

    2023-08-13 16:48:05
    赞同 展开评论
相关问答
千问Qwen3 32B大模型部署需要什么配置的GPU服务器？
387
1
0
请问MNN支持在高通或者MTK平台上部署大模型吗？
61
0
0
使用modelscope下载开源大模型时出错
80
0
0
千问Qwen3 14B大模型部署最低配置GPU服务器要求？
436
1
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
952
1
0
千问大模型Qwen3-8B、4B、32B、235B、0.6B参数含义，需要什么配置的服务器部署？
268
1
0
部署大模型Qwen3 32B,14B,8B参数的大模型部署分别需要多少显存？
1392
1
0
阿里云部署DeepSeek 70B大模型配置推荐？
113
1
0
怎么使用vllm部署最新的qwen3的mbedding 和reranker模型呢
670
0
0
在GPU服务器上使用魔搭部署deepseek70b大模型时，有一个文件出现校验之类的错误？
122
0
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • SSE 为何引发热议？实时数据背后的关键技术指南
  • 利用唯品会 API 接口，实现唯品会店铺商品折扣策略精准制定
  • 淘宝商品评论API接口概述，json数据返回
  • MyEMS：开源领域的能源管理创新解决方案
  • 终于有人把数据倾斜讲清楚了

    • 热门讨论

    热门文章

  • cpu部署报错 Torch not compiled with CUDA enabled
  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 如何下载modelscope模型？
  • com/action/joingroup?code=v1是什么意思
  • ModelScope下载速度慢怎么解决？
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
  • 在ModelScope中，下载模型时的ssl问题怎么解决？!
  • 在ModelScope中，请问模型下载到本地的具体方法？
  • modelscope cache 环境变量是啥？
    • 展开全部
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • JoyCaption：开源的图像转提示词生成工具，支持多种风格和场景，性能与 GPT4o 相当
  • 腾讯混元最新开源：一张图，秒变游戏大片
  • PSHuman：开源单图像3D人像重建技术，一张照片就能生成3D人像模型
    • 展开全部
    还有其他疑问?
    咨询AI助理