API明细日志及运维统计日志全面提升API可运维性

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。

1. 引言

随着数据服务中发布的API的增加,调用API的应用的增加,数据服务平台的运维人员的压力越来越大,对于数据服务的稳定性和可运维性的要求越来越高,平台方也收到了来自于不同的人员的不同问题:

  1. 我在数据服务上创建了一个应用,但是写了代码调用一个API的时候虽然看到了错误码,但是不清楚是我的代码写错了,还是服务端就没有接收到这个请求,请问是不是怎么识别?
  2. 我是一个API开发人员,最近收到业务方的反馈,说这个API很慢,我想看一下到底是哪些应用调用或者是什么参数导致了API变慢
  3. 我负责数据服务的平台运维,我想看一下最近一段时间的API的稳定性,哪些API异常调用最多,影响的应用是哪些

面对这些问题,我们该如何回答呢?

在Dataphin V4.4中,我们升级了Dataphin数据服务的明细日志及运维统计日志,让您更好的回答这些问题。

2. 日志采集准备

在不同的部署环境中,Dataphin数据服务可支持采用不同的网关:

  • 公共云共享模式:无需配置,平台集成了阿里云API网关
  • 公共云独享模式(半托管)、公共云的独立部署:可选择阿里云API网关 或 Dataphin内置网关
  • 私有云及其他云平台下独立部署:Dataphin内置网关
  • 阿里云专有云:专有云API网关

Dataphin的调用的日志需要采集来自API网关及Dataphin数据服务应用的日志。以下步骤仅当使用API网关时需要操作;其他的网关,Dataphin系统已经集成,无需额外操作。

在API网关配置日志服务

API网关上需要开通日志采集,将日志推送到sls审计日志服务。可查看帮助文档:https://help.aliyun.com/zh/api-gateway/traditional-api-gateway/user-guide/use-log-service-to-manage-logs-of-api-calls#section-rrz-apj-5km

在配置过程中,请注意记录sls的服务接入点、Project和Logstore

网关日志采集到Dataphin中

进入Dataphin元仓租户(可联系Dataphin运维人员),进入 【管理中心 - 系统设置 - 数据服务设置 - 阿里云API网关】,在配置好API网关后,可开启网关日志采集

3. 日志存储设置

接下来就可以开启明细日志和统计日志的采集了。

可明细日志和统计日志的分别配置存储数据库(当前仅支持PostgreSQL)及存储时长,可分别对成功/失败日志、 1分钟/5分钟统计设置不同的存储时长,可选择内置存储(元数据库)及其他的PostgreSQL实例。建议使用独立的实例进行存储,已保证系统的稳定性。另外不同的环境支持保存的时长和数据量不同。



4. 查看明细日志

开通明细日志的存储后,就可以查看API的调用日志啦。可根据调用结果、响应耗时、所属数据服务项目、应用名称、API名称及ID、返回数据条数进行筛选,并可查看API调用的请求开始/结束时间、响应耗时、调用结果(成功/失败)、请求参数、返回结果条数、状态码、业务状态码、错误详情等信息。

5. 查看运维统计

还可以根据选择的时间区间内,进行汇总级的查看。可查看异常的调用次数、错误率等关键指标,并查看异常影响最大的应用,以及异常调用次数最多的API,还可进行访问趋势分析、应用调用分析、API运行分析。



6. 总结

通过配置和开通API运维统计及明细日志,能够更有效地监控和管理其数据服务API的运行状况。这不仅有助于快速识别和解决API调用中的问题,还能够为性能优化、错误排查提供强有力的支持。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6月前
|
数据采集 监控 测试技术
如何为数据采集项目选择合适的API
摘要: 在数据采集项目中,选择合适的API对于实现高效、可靠的数据集成至关重要。本文为技术人员和技术经理提供了一个综合指南,以便评估和选择满足特定业务需求的API。 引言: 在数字化转型的浪潮中,企业依靠数据驱动决策变得越来越重要。有效的数据采集策略可以提供深入的洞见,并推动业务增长。API作为连接不同服务和数据的桥梁,在此过程中扮演着关键角色。
|
2月前
|
SQL 分布式计算 BI
Dataphin中集成SelectDB以支持报表分析和API查询
本文介绍了一家零售企业如何利用SelectDB进行BI分析及数据服务API的查询。通过Dataphin的数据集成、SQL研发等功能,将CRM、ERP等系统数据汇聚加工,并推送至SelectDB构建销售数据集市层,以支持报表分析及API查询。SelectDB具备实时、统一、弹性及开放特性,适用于多种实时分析场景。文章详细描述了在Dataphin中集成SelectDB的整体方案、数据源配置、数据集成、数据开发及数据服务流程。
109 0
|
4月前
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之如何查看数据服务API发布后的服务端日志
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
存储 监控 安全
API网关是如何提升API接口安全管控能力的
API安全性越来越重要,对API安全进行防护既有利于用户安全的使用API所提供的服务,又能够为用户的隐私数据进行保驾护航。所以,提高API安全防护能力的问题亟待解决。面对以上形势,现在越来越多的企业采用API网关来管理内部API。以下从API资产管理、API安全防护、API风险溯源三个方面介绍API网关如何对API进行全生命周期的安全管理。
|
6月前
|
运维 监控 API
监控API的指标
监控API的指标
|
SQL DataWorks NoSQL
阿里云DataWorks的数据服务可以帮助企业统一管理对内对外的API服务
阿里云DataWorks的数据服务可以帮助企业统一管理对内对外的API服务
218 2
|
SQL API 开发者
数据服务最佳实践(2):利用API的多版本管理能力提升API管理效率【Dataphin V3.11】
在DataphinV3.11版本中,Dataphin支持了API开发多版本管理,对API变更过程进行记录和维护,便于追溯历史版本和保障下游调用不受影响。
562 0
|
算法 API
期货交易跟单软件的API对接开发部署规则指南
期货交易跟单软件的API对接开发部署规则指南
|
运维 监控 Java
如何基于运维事件中心通过logstash进行日志关键字监控
日常运维过程中,很多场景都会有诉求,需要对日志关键字进行监测,以便第一时间发现应用/业务相关异常,如jvm日志的gc关键字、业务日志的error关键字。本文将介绍使用logstash对异常日志进行采集及推送。
341 0
|
运维 监控 安全
SLS告警响应升级——通知对接FC进行自动化操作
阿里云SLS告警响应升级,通知渠道新增了对函数计算的支持,从而可以在告警触发的时候进行一定的自动化响应操作,以便进行故障自愈,减轻手动运维压力,提高系统的可用性。
354 0