API明细日志及运维统计日志全面提升API可运维性

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。

1. 引言

随着数据服务中发布的API的增加,调用API的应用的增加,数据服务平台的运维人员的压力越来越大,对于数据服务的稳定性和可运维性的要求越来越高,平台方也收到了来自于不同的人员的不同问题:

  1. 我在数据服务上创建了一个应用,但是写了代码调用一个API的时候虽然看到了错误码,但是不清楚是我的代码写错了,还是服务端就没有接收到这个请求,请问是不是怎么识别?
  2. 我是一个API开发人员,最近收到业务方的反馈,说这个API很慢,我想看一下到底是哪些应用调用或者是什么参数导致了API变慢
  3. 我负责数据服务的平台运维,我想看一下最近一段时间的API的稳定性,哪些API异常调用最多,影响的应用是哪些


面对这些问题,我们该如何回答呢?

在Dataphin V4.4中,我们升级了Dataphin数据服务的明细日志及运维统计日志,让您更好的回答这些问题。


2. 日志采集准备

在不同的部署环境中,Dataphin数据服务可支持采用不同的网关:

  • 公共云共享模式:无需配置,平台集成了阿里云API网关
  • 公共云独享模式(半托管)、公共云的独立部署:可选择阿里云API网关 或 Dataphin内置网关
  • 私有云及其他云平台下独立部署:Dataphin内置网关
  • 阿里云专有云:专有云API网关


Dataphin的调用的日志需要采集来自API网关及Dataphin数据服务应用的日志。以下步骤仅当使用API网关时需要操作;其他的网关,Dataphin系统已经集成,无需额外操作。

2.1 在API网关配置日志服务

API网关上需要开通日志采集,将日志推送到sls审计日志服务。可查看帮助文档:https://help.aliyun.com/zh/api-gateway/traditional-api-gateway/user-guide/use-log-service-to-manage-logs-of-api-calls#section-rrz-apj-5km


在配置过程中,请注意记录sls的服务接入点、Project和Logstore


2.2 网关日志采集到Dataphin中

进入Dataphin元仓租户(可联系Dataphin运维人员),进入 【管理中心 - 系统设置 - 数据服务设置 - 阿里云API网关】,在配置好API网关后,可开启网关日志采集

3. 日志存储设置

接下来就可以开启明细日志和统计日志的采集了。

可明细日志和统计日志的分别配置存储数据库(当前仅支持PostgreSQL)及存储时长,可分别对成功/失败日志、 1分钟/5分钟统计设置不同的存储时长,可选择内置存储(元数据库)及其他的PostgreSQL实例。建议使用独立的实例进行存储,已保证系统的稳定性。另外不同的环境支持保存的时长和数据量不同。



4. 查看明细日志

开通明细日志的存储后,就可以查看API的调用日志啦。可根据调用结果、响应耗时、所属数据服务项目、应用名称、API名称及ID、返回数据条数进行筛选,并可查看API调用的请求开始/结束时间、响应耗时、调用结果(成功/失败)、请求参数、返回结果条数、状态码、业务状态码、错误详情等信息。



5. 查看运维统计

还可以根据选择的时间区间内,进行汇总级的查看。可查看异常的调用次数、错误率等关键指标,并查看异常影响最大的应用,以及异常调用次数最多的API,还可进行访问趋势分析、应用调用分析、API运行分析。




6. 总结

通过配置和开通API运维统计及明细日志,能够更有效地监控和管理其数据服务API的运行状况。这不仅有助于快速识别和解决API调用中的问题,还能够为性能优化、错误排查提供强有力的支持。



相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
16天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
1月前
|
JSON 监控 JavaScript
Node.js-API 限流与日志优化
Node.js-API 限流与日志优化
|
2月前
|
API
LangChain-19 TokenUsage 通过回调函数 只需一行 统计当前调用API的花费情况 包含Tokens数量和Cost花费
LangChain-19 TokenUsage 通过回调函数 只需一行 统计当前调用API的花费情况 包含Tokens数量和Cost花费
35 3
LangChain-19 TokenUsage 通过回调函数 只需一行 统计当前调用API的花费情况 包含Tokens数量和Cost花费
|
2月前
|
运维 监控 数据可视化
出海运维日志通到底重要不重要?
出海运维日志通到底重要不重要?
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
4月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
4月前
|
运维 分布式计算 DataWorks
DataWorks产品使用合集之运维中心中的运行日志可以保留多久
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
运维 监控 数据可视化
自动化运维:使用Python脚本进行日志分析
【8月更文挑战第31天】当系统出现问题时,我们通常会查看日志寻找线索。然而,手动阅读大量日志既费时又易出错。本文将介绍如何使用Python脚本自动分析日志,快速定位问题,提高运维效率。我们将从简单的日志读取开始,逐步深入到复杂的正则表达式匹配和错误统计,最后实现一个自动化的日志监控系统。无论你是新手还是老手,这篇文章都将为你提供有价值的参考。让我们一起探索如何用代码解放双手,让运维工作变得更加轻松吧!
|
4月前
|
存储 Kubernetes API
【APIM】Azure API Management Self-Host Gateway是否可以把请求的日志发送到Application Insights呢?让它和使用Azure上托管的 Gateway一样呢?
【APIM】Azure API Management Self-Host Gateway是否可以把请求的日志发送到Application Insights呢?让它和使用Azure上托管的 Gateway一样呢?
|
4月前
|
数据采集 SQL 运维
DataWorks产品使用合集之运维中心的详细日志是一直wait,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。