API明细日志及运维统计日志全面提升API可运维性

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。

1. 引言

随着数据服务中发布的API的增加,调用API的应用的增加,数据服务平台的运维人员的压力越来越大,对于数据服务的稳定性和可运维性的要求越来越高,平台方也收到了来自于不同的人员的不同问题:

  1. 我在数据服务上创建了一个应用,但是写了代码调用一个API的时候虽然看到了错误码,但是不清楚是我的代码写错了,还是服务端就没有接收到这个请求,请问是不是怎么识别?
  2. 我是一个API开发人员,最近收到业务方的反馈,说这个API很慢,我想看一下到底是哪些应用调用或者是什么参数导致了API变慢
  3. 我负责数据服务的平台运维,我想看一下最近一段时间的API的稳定性,哪些API异常调用最多,影响的应用是哪些


面对这些问题,我们该如何回答呢?

在Dataphin V4.4中,我们升级了Dataphin数据服务的明细日志及运维统计日志,让您更好的回答这些问题。


2. 日志采集准备

在不同的部署环境中,Dataphin数据服务可支持采用不同的网关:

  • 公共云共享模式:无需配置,平台集成了阿里云API网关
  • 公共云独享模式(半托管)、公共云的独立部署:可选择阿里云API网关 或 Dataphin内置网关
  • 私有云及其他云平台下独立部署:Dataphin内置网关
  • 阿里云专有云:专有云API网关


Dataphin的调用的日志需要采集来自API网关及Dataphin数据服务应用的日志。以下步骤仅当使用API网关时需要操作;其他的网关,Dataphin系统已经集成,无需额外操作。

2.1 在API网关配置日志服务

API网关上需要开通日志采集,将日志推送到sls审计日志服务。可查看帮助文档:https://help.aliyun.com/zh/api-gateway/traditional-api-gateway/user-guide/use-log-service-to-manage-logs-of-api-calls#section-rrz-apj-5km


在配置过程中,请注意记录sls的服务接入点、Project和Logstore


2.2 网关日志采集到Dataphin中

进入Dataphin元仓租户(可联系Dataphin运维人员),进入 【管理中心 - 系统设置 - 数据服务设置 - 阿里云API网关】,在配置好API网关后,可开启网关日志采集

3. 日志存储设置

接下来就可以开启明细日志和统计日志的采集了。

可明细日志和统计日志的分别配置存储数据库(当前仅支持PostgreSQL)及存储时长,可分别对成功/失败日志、 1分钟/5分钟统计设置不同的存储时长,可选择内置存储(元数据库)及其他的PostgreSQL实例。建议使用独立的实例进行存储,已保证系统的稳定性。另外不同的环境支持保存的时长和数据量不同。



4. 查看明细日志

开通明细日志的存储后,就可以查看API的调用日志啦。可根据调用结果、响应耗时、所属数据服务项目、应用名称、API名称及ID、返回数据条数进行筛选,并可查看API调用的请求开始/结束时间、响应耗时、调用结果(成功/失败)、请求参数、返回结果条数、状态码、业务状态码、错误详情等信息。



5. 查看运维统计

还可以根据选择的时间区间内,进行汇总级的查看。可查看异常的调用次数、错误率等关键指标,并查看异常影响最大的应用,以及异常调用次数最多的API,还可进行访问趋势分析、应用调用分析、API运行分析。




6. 总结

通过配置和开通API运维统计及明细日志,能够更有效地监控和管理其数据服务API的运行状况。这不仅有助于快速识别和解决API调用中的问题,还能够为性能优化、错误排查提供强有力的支持。



相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
18天前
|
人工智能 运维 监控
别再满世界找日志了:聊聊如何用AI帮运维团队快速排查故障
别再满世界找日志了:聊聊如何用AI帮运维团队快速排查故障
207 15
|
28天前
|
机器学习/深度学习 运维 监控
运维日志里的“读心术”:深度学习能看出啥?
运维日志里的“读心术”:深度学习能看出啥?
149 74
|
3月前
|
缓存 运维 安全
7天精通电商API:从接入到运维的完整实战手册
本文全面解析电商API接口技术,从基础概念到高阶应用,涵盖商品、订单、支付与营销等核心模块,并深入探讨性能优化、安全防护与智能化发展方向,助你掌握驱动数字商业的核心技术。
|
16天前
|
缓存 运维 监控
API 别乱跑:自动化运维里的流量管理秘籍
API 别乱跑:自动化运维里的流量管理秘籍
111 9
|
3月前
|
运维 监控 关系型数据库
API天天出毛病?不如翻翻运维数据,真相都藏在这儿
API天天出毛病?不如翻翻运维数据,真相都藏在这儿
89 10
|
6月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
470 53
|
7月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
326 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
7月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
165 3
|
7月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。

热门文章

最新文章