百亿流量微服务网关的设计与实现(2)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 百亿流量微服务网关的设计与实现(2)

2. API网关的职能

API网关的职能如图7-4所示。



微信图片_20220123185330.jpg


图7-4


一般来说,API网关有四大职能。

  • 请求接入:作为所有API接口服务请求的接入点,管理所有的接入请求。
  • 业务聚合:作为所有后端业务服务的聚合点,所有的业务服务都可以在这里被调用。
  • 中介策略:实现安全、验证、路由、过滤、流控、缓存等策略,进行一些必要的中介处理。
  • 统一管理:提供配置管理工具,对所有API服务的调用生命周期和相应的中介策略进行统一管理。


3. API网关的关注点


API网关并不是一个典型的业务系统,而是一个为了让业务系统更专注于业务服务本身,给API服务提供更多附加能力的一个中间层。


在设计和实现API网关时,需要考虑两个目标:


(1)开发维护简单,节约人力成本和维护成本。即应选择成熟的简单可维护的技术体系。


(2)高性能,节约设备成本,提高系统吞吐能力。要求我们需要针对API网关的特点进行一些特定的设计和权衡。


当并发量小的时候,这些都不是问题。一旦系统的API访问量非常大,这些都会成为关键的问题。


海量并发的API网关最重要的三个关注点:


(1)保持大规模的inbound请求接入能力(长短连接),比如基于Netty实现。


(2)最大限度地复用outbound的HTTP连接能力,比如基于HttpClient4的异步HttpClient实现。


(3)方便灵活地实现安全、验证、过滤、聚合、限流、监控等各种策略。



API网关的分类与技术分析


1. API网关的分类


如果对上述的目标和关注点进行更深入的思考,那么所有需要考虑的问题和功能可以分为两类。


  • 一类是全局性的,跟具体的后端业务系统和服务完全无关的部分,比如安全策略、全局性流控策略、流量分发策略等。


  • 一类是针对具体的后端业务系统,或者是服务和业务有一定关联性的部分,并且一般被直接部署在业务服务的前面。


随着互联网的复杂业务系统的发展,这两类功能集合逐渐形成了现在常见的两种网关系统:流量网关和业务网关,如图7-5所示。


微信图片_20220123185345.jpg


图7-5

2. 流量网关与WAF

我们定义全局性的、跟具体的后端业务系统和服务完全无关的策略网关,即为流量网关。这样流量网关关注全局流量的稳定与安全,比如防止各类SQL注入、黑白名单控制、接入请求到业务系统的负载均衡等,通常有如下通用性的具体功能:


  • 全局性流控;
  • 日志统计;
  • 防止SQL注入;
  • 防止Web攻击;
  • 屏蔽工具扫描;
  • 黑白名单控制。


通过这个功能清单,我们可以发现,流量网关的功能跟Web应用防火墙(WAF)非常类似。WAF一般是基于Nginx/OpenResty的ngx_lua模块开发的Web应用防火墙。


一般WAF的代码很简单,专注于使用简单、高性能和轻量级。简单地说就是在Nginx本身的代理能力以外,添加了安全相关功能。用一句话描述其原理,就是解析HTTP请求(协议解析模块),规则检测(规则模块),做不同的防御动作(动作模块),并将防御过程(日志模块)记录下来。


一般的WAF具有如下功能:

  • 防止SQL注入、部分溢出、fuzzing测试、XSS/SSRF等Web攻击;
  • 防止Apache Bench之类压力测试工具的攻击;
  • 屏蔽常见的扫描黑客工具,比如扫描器;
  • 禁止图片附件类目录执行权限、防止webshell上传;
  • 支持IP白名单和黑名单功能,直接拒绝黑名单的IP访问;
  • 支持URL白名单,定义不需要过滤的URL;
  • 支持User-Agent的过滤、支持CC攻击防护、限制单个URL指定时间的访问次数;
  • 支持支持Cookie过滤,URL与URL参数过滤;
  • 支持日志记录,将所有拒绝的操作记录到日志中。


以上WAF的内容主要参考如下两个项目:


流量网关的开源实例还可以参考著名的开源项目Kong(基于OpenResty)。


3. 业务网关

我们定义针对具体的后端业务系统,或者是服务和业务有一定关联性的策略网关,即为业务网关。比如,针对某个系统、某个服务或某个用户分类的流控策略,针对某一类服务的缓存策略,针对某个具体系统的权限验证方式,针对某些用户条件判断的请求过滤,针对具体几个相关API的数据聚合封装,等等。


业务网关一般部署在流量网关之后、业务系统之前,比流量网关更靠近业务系统。我们大部分情况下说的API网关,狭义上指的是业务网关。如果系统的规模不大,我们也会将两者合二为一,使用一个网关来处理所有的工作。



开源网关的分析与调研


常见的开源网关介绍

常见的开源网关如图7-6所示。



微信图片_20220123185416.jpg


图7-6

相关文章
|
24天前
|
Cloud Native API
微服务引擎 MSE 及云原生 API 网关 2024 年 9 月产品动态
微服务引擎 MSE 及云原生 API 网关 2024 年 9 月产品动态。
|
1月前
|
缓存 监控 API
探索微服务架构中的API网关模式
【10月更文挑战第5天】随着微服务架构的兴起,企业纷纷采用这一模式构建复杂应用。在这种架构下,应用被拆分成若干小型、独立的服务,每个服务围绕特定业务功能构建并通过HTTP协议协作。随着服务数量增加,统一管理这些服务间的交互变得至关重要。API网关作为微服务架构的关键组件,承担起路由请求、聚合数据、处理认证与授权等功能。本文通过一个在线零售平台的具体案例,探讨API网关的优势及其实现细节,展示其在简化客户端集成、提升安全性和性能方面的关键作用。
70 2
|
1月前
|
存储 缓存 监控
探索微服务架构中的API网关模式
【10月更文挑战第1天】探索微服务架构中的API网关模式
86 2
|
7天前
|
监控 负载均衡 API
Apache Apisix轻松打造亿级流量Api网关
Apache APISIX 是一个动态、实时、高性能的 API 网关,提供负载均衡、动态上行、灰度发布、熔断、鉴权、可观测等丰富的流量管理功能。适用于处理传统南北向流量、服务间东西向流量及 k8s 入口控制。Airflow 是一个可编程、调度和监控的工作流平台,基于有向无环图 (DAG) 定义和执行任务,提供丰富的命令行工具和 Web 管理界面,方便系统运维和管理。
Apache Apisix轻松打造亿级流量Api网关
|
5天前
|
监控 安全 应用服务中间件
微服务架构下的API网关设计策略与实践####
本文深入探讨了在微服务架构下,API网关作为系统统一入口点的设计策略、实现细节及其在实际应用中的最佳实践。不同于传统的摘要概述,本部分将直接以一段精简的代码示例作为引子,展示一个基于NGINX的简单API网关配置片段,随后引出文章的核心内容,旨在通过具体实例激发读者兴趣,快速理解API网关在微服务架构中的关键作用及实现方式。 ```nginx server { listen 80; server_name api.example.com; location / { proxy_pass http://backend_service:5000;
|
7天前
|
缓存 监控 API
探索微服务架构中的API网关模式
随着微服务架构的兴起,API网关成为管理和服务间交互的关键组件。本文通过在线零售公司的案例,探讨了API网关在路由管理、认证授权、限流缓存、日志监控和协议转换等方面的优势,并详细介绍了使用Kong实现API网关的具体步骤。
24 3
|
7天前
|
存储 缓存 监控
探索微服务架构中的API网关模式
探索微服务架构中的API网关模式
22 2
|
29天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 09 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
1月前
|
消息中间件 缓存 Java
亿级流量电商平台微服务架构详解
【10月更文挑战第2天】构建一个能够处理亿级流量的电商平台微服务架构是一个庞大且复杂的任务,这通常涉及到多个微服务、数据库分库分表、缓存策略、消息队列、负载均衡、熔断降级、分布式事务等一系列高级技术和架构模式。
76 3
|
1月前
|
API 微服务
Traefik 微服务 API 网关教程(全)
Traefik 微服务 API 网关教程(全)
下一篇
无影云桌面