通过ASM入口网关实现HTTP请求网格内GRPC服务

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文将介绍[ASM](http://servicemesh.console.aliyun.com/)入口网关(ingressgateway)支持协议转码的能力,使用户及其客户端可以使用HTTP/JSON访问服务网格内的gRPC服务。

概述

本文将介绍ASM入口网关(ingressgateway)支持协议转码的能力,使用户及其客户端可以使用HTTP/JSON访问服务网格内的gRPC服务。

ASM入口网关可将HTTP/JSON转码为gRPC。完整的http请求、grpc转码,以及grpc请求流程,如下图所示。

image.png

  1. ASM控制平面下发用于grpc转码的EnvoyFilter、用于路由到gRPC服务端口的规则配置Gateway和VirtualService到ASM入口网关,入口网关接收后即时加载生效。
  2. 入口网关收到用户或其客户端http协议的请求后,将进行路由规则匹配和协议转换,然后以grpc协议请求服务网格内的gRPC服务。
  3. 入口网关收到后端服务的grpc响应,再将其转换为http的响应返回给请求方。

原理和目标

Envoy作为ServiceMesh数据平面的proxy组件,内置了多种http扩展过滤器,本文涉及的是其中的http到grpc的转码器。为了启用这个过滤器,Envoy定义了相应的过滤器协议config.filter.http.transcoder.v2.GrpcJsonTranscoder。为此,ServiceMesh的控制平面需要定义一个EnvoyFilter来声明在什么地方哪个阶段启用这个过滤器,然后下发这个EnvoyFilter在指定环节启用转码器。另一方面,这个转码器需要知道grpc服务的具体协议,包括描述grpc服务的Proto Descriptors文件、grpc服务全名列表。

Envoy是ServiceMesh入口网关的核心组件。因此,实现入口网关转码的关键任务就是生成这个用于grpc转码的EnvoyFilter。

由于EnvoyFilter的定义较为复杂,从头写一个这样的EnvoyFilter比较费时费力且容易出错,本文提供了自动化生成EnvoyFilter的工具grpc-transcoder(https://github.com/AliyunContainerService/grpc-transcoder),一方面保证EnvoyFilter的定义正确,另一方面可以节省你的时间以及省去编写EnvoyFilter的痛苦。

实战

1 gRPC服务

如下图所示,通常用户的gRPC服务是从protobuf格式的gRPC服务协议文件.proto的定义开始的。grpc-service-project封装grpc接口并完成实现,后续步骤包括构建镜像,编写Deployment,最终通过ASM,将grpc服务以POD的形式部署到ACK集群。
image.png

为了支持http转码grpc,需要确认.proto中是否定义了支持转码的声明。这里以hello-servicemesh-grpc示例中的proto为例,示意如下。

import "google/api/annotations.proto";
service LandingService {
  //Unary RPC
  rpc talk (TalkRequest) returns (TalkResponse) {
    option(google.api.http) = {
      get: "/v1/talk/{data}/{meta}"
    };
  }
...
}

message TalkRequest {
  string data = 1;
  string meta = 2;
}

其中,5-7行是为了支持转码新增的声明,第1行是引入相应能力的.proto声明。如果你的.proto中没有相关声明,请补充。这里需要提示的是,补充这个.proto只是为了生成pb(Proto Descriptors)文件,补充后并不影响grpc-service-project及后续步骤。

2 生成Proto Descriptors文件

这里以hello-servicemesh-grpc为例,使用protoc命令从landing.proto生成landing.proto-descriptor文件。如果没有安装protoc请在此处下载。

# https://github.com/AliyunContainerService/hello-servicemesh-grpc
proto_path={path/to/hello-servicemesh-grpc}/proto
# https://github.com/grpc-ecosystem/grpc-gateway/tree/master/third_party/
proto_dep_path={path/to/third_party}
protoc \
    --proto_path=${proto_path} \
    --proto_path=${proto_dep_path} \
    --include_imports \
    --include_source_info \
    --descriptor_set_out=landing.proto-descriptor \
    "${proto_path}"/landing.proto

3 生成EnvoyFilter

此时,我们已经有了Proto Descriptors文件landing.proto-descriptor。接下来,通过grpc-transcoder生成EnvoyFilter。调用接口的示意请求如下。

grpc-transcoder \
--version 1.7 \
--service_port 9996 \
--service_name grpc-server-svc \
--proto_pkg org.feuyeux.grpc \
--proto_svc LandingService \
--descriptor landing.proto-descriptor

参数说明:

  • version:由于ASM是托管集群,因此需要保证版本升级对EnvoyFilter的影响。因此这个参数是必选值。
  • service_port:对应的grpc服务(详见下图)端口。
  • service_name:对应的grpc服务(详见下图)名称。
  • proto_pkg:对应的grpc服务.proto中包名的定义。
  • proto_svc:对应的grpc服务.proto中服务名的定义。
  • descriptor:Proto Descriptors文件本地路径。

image.png

使用上述请求自动生成的EnvoyFilter(grpc-transcoder-envoyfilter.yaml)如下。

#Generated by ASM(http://servicemesh.console.aliyun.com)
#GRPC Transcoder EnvoyFilter[1.7]
apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: grpc-transcoder-grpc-server-svc
spec:
  workloadSelector:
    labels:
      app: istio-ingressgateway
  configPatches:
    - applyTo: HTTP_FILTER
      match:
        context: GATEWAY
        listener:
          portNumber: 9996
          filterChain:
            filter:
              name: "envoy.filters.network.http_connection_manager"
              subFilter:
                name: "envoy.filters.http.router"
        proxy:
          proxyVersion: ^1\.7.*
      patch:
        operation: INSERT_BEFORE
        value:
          name: envoy.grpc_json_transcoder
          typed_config:
            '@type': type.googleapis.com/envoy.extensions.filters.http.grpc_json_transcoder.v3.GrpcJsonTranscoder
            proto_descriptor_bin: Ctl4ChVnb29nbGUvYXBpL2h0dHAucHJ...
            services: 
            - org.feuyeux.grpc.LandingService
            print_options:
              add_whitespace: true
              always_print_primitive_fields: true
              always_print_enums_as_ints: false
              preserve_proto_field_names: false

4 ASM入口网关启用转码器

通过工具生成EnvoyFilter后,我们通过ASM管控台提交生成的EnvoyFilter(grpc-transcoder-envoyfilter.yaml),转码器将即时生效。

image.png

上述操作相当于执行命令kubectl --kubeconfig mesh_config -f grpc-transcoder-envoyfilter.yaml -n istio-system。到此,配置的步骤就完成了,完整的流程示意图如下。

image.png

5 envoy配置校验

接下来我们校验入口网关的envoy配置是否生效。依次执行如下命令,验证envoy动态配置中是否包含解码器GrpcJsonTranscoder的配置:

#获取入口网关POD名称
ingressgateway_pod=$(kubectl get pod -l app="istio-ingressgateway" -n istio-system -o jsonpath='{.items[0].metadata.name}')
#时间戳
timestamp=$(date "+%Y%m%d-%H%M%S")
#获取envoy动态配置并保存到dynamic_listeners-"$timestamp".json
kubectl -n istio-system exec $ingressgateway_pod \
  -c istio-proxy \
  -- curl -s "http://localhost:15000/config_dump?resource=dynamic_listeners" >dynamic_listeners-"$timestamp".json
#确认配置中存在GrpcJsonTranscoder
grep -B3 -A7 GrpcJsonTranscoder dynamic_listeners-"$timestamp".json

envoy动态配置中应包含类似如下的配置:

{
  "name": "envoy.grpc_json_transcoder",
  "typed_config": {
    "@type": "type.googleapis.com/envoy.extensions.filters.http.grpc_json_transcoder.v3.GrpcJsonTranscoder",
    "services": [
      "org.feuyeux.grpc.LandingService"
    ],
    "print_options": {
      "add_whitespace": true,
      "always_print_primitive_fields": true
    },
    ...

6 功能校验

最后,我们进行功能校验,验证HTTP请求网格内GRPC服务。

我们再次给出grpc服务接口的定义:

rpc talk (TalkRequest) returns (TalkResponse) {
  option(google.api.http) = {
    get: "/v1/talk/{data}/{meta}"
  };
}

为了验证响应信息,这里给出.proto中定义的响应声明:

message TalkResponse {
  int32 status = 1;
  repeated TalkResult results = 2;
}

message TalkResult {
  //timestamp
  int64 id = 1;
  //enum
  ResultType type = 2;
  // id:result uuid
  // idx:language index
  // data: hello
  // meta: serverside language
  map<string, string> kv = 3;
}

enum ResultType {
  OK = 0;
  FAIL = 1;
}

依次执行如下命令,验证这个grpc服务接口可以通过HTTP请求入口网关实现调用:

#获取入口网关IP
INGRESS_IP=$(k -n istio-system get service istio-ingressgateway -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
#http请求入口网关的9996端口,/v1/talk/{data}/{meta}路径
curl http://$INGRESS_IP:9996/v1/talk/0/java

我们应该得到如下响应:

{
 "status": 200,
 "results": [
  {
   "id": "699882576081691",
   "type": "OK",
   "kv": {
    "data": "Hello",
    "meta": "JAVA",
    "id": "8c175d5c-d8a3-4197-a7f8-6e3e0ab1fe59",
    "idx": "0"
   }
  }
 ]
}
目录
相关文章
|
1月前
|
人工智能 文件存储 开发者
通过Infortress 端口穿透功能访问内网电脑部署的HTTP服务
在远程办公或跨地域协作中,访问内网HTTP服务是技术工程师的常见需求。借助Infortress的端口穿透功能,无需复杂配置即可实现外网访问。本文以Mac电脑为例,通过Python搭建简单HTTP服务,并使用Infortress完成端口穿透配置。具体步骤包括检查Python版本、启动HTTP服务、安装并配置Infortress客户端、获取代理信息及测试外网访问。同时提醒注意安全性与网络稳定性,确保端口合理设置和及时关闭。Infortress简化了内网穿透流程,适合开发者与IT管理员高效协作。
|
1月前
|
Go
在golang中发起http请求以获取访问域名的ip地址实例(使用net, httptrace库)
这只是追踪我们的行程的简单方法,不过希望你跟着探险家的脚步,即使是在互联网的隧道中,也可以找到你想去的地方。接下来就是你的探险之旅了,祝你好运!
83 26
|
2月前
|
中间件 Go
Golang | Gin:net/http与Gin启动web服务的简单比较
总的来说,`net/http`和 `Gin`都是优秀的库,它们各有优缺点。你应该根据你的需求和经验来选择最适合你的工具。希望这个比较可以帮助你做出决策。
79 35
|
2月前
|
JSON API 数据安全/隐私保护
使用curl命令在服务器上执行HTTP请求
总的来说,curl是一个非常强大的工具,它可以让你在命令行中发送各种类型的HTTP请求。通过学习和实践,你可以掌握这个工具,使你的工作更加高效。
146 30
|
3月前
|
JSON API 网络架构
HTTP常见的请求方法、响应状态码、接口规范介绍
本文详细介绍了HTTP常见的请求方法、响应状态码和接口规范。通过理解和掌握这些内容,开发者可以更好地设计和实现W
563 83
|
1月前
|
JSON 安全 网络协议
HTTP/HTTPS协议(请求响应模型、状态码)
本文简要介绍了HTTP与HTTPS协议的基础知识。HTTP是一种无状态的超文本传输协议,基于TCP/IP,常用80端口,通过请求-响应模型实现客户端与服务器间的通信;HTTPS为HTTP的安全版本,基于SSL/TLS加密技术,使用443端口,确保数据传输的安全性。文中还详细描述了HTTP请求方法(如GET、POST)、请求与响应头字段、状态码分类及意义,并对比了两者在请求-响应模型中的安全性差异。
174 20
|
2月前
|
XML 网络协议 程序员
Apipost接口调试全解:从HTTP到gRPC,程序员必备的“协议生存指南
Apipost是一款强大的接口调试工具,支持多种主流API协议。它涵盖HTTP/HTTPS、WebSocket、Socket.IO、gRPC、GraphQL、TCP及ISO8583金融报文等冷门协议。通过Body多样化、全局参数配置、性能分析等功能优化HTTP调试;提供WebSocket多消息存档与事件监听;gRPC支持服务反射和流式调试;GraphQL可自动生成Schema;TCP报文模板专业精准;SSE配置简单。此外,Apipost还具备环境变量、脚本加持和文档生成功能,是提升开发效率的全能工具。
|
2月前
|
JSON JavaScript 前端开发
gRPC技术中的gRPC到HTTP的转换
从上述内容,我们可以看到,gRPC到HTTP的转换并没有改变gRPC强大的性能和可扩展性。它只是让这些强大的功能能更好地适应不同的环境和需求,兼容了更广泛的网络设施。所以,技术总是在变化,并且始终在寻找更好的平衡点,以满足不断变化的业务需求。我们也应该持续学习,掌握这些新的变化,以便更好地解决实际问题。
83 11
|
2月前
|
缓存 安全 Java
深入解析HTTP请求方法:Spring Boot实战与最佳实践
这篇博客结合了HTTP规范、Spring Boot实现和实际工程经验,通过代码示例、对比表格和架构图等方式,系统性地讲解了不同HTTP方法的应用场景和最佳实践。
205 5
|
3月前
|
关系型数据库 MySQL PHP
源码编译安装LAMP(HTTP服务,MYSQL ,PHP,以及bbs论坛)
通过以上步骤,你可以成功地在一台Linux服务器上从源码编译并安装LAMP环境,并配置一个BBS论坛(Discuz!)。这些步骤涵盖了从安装依赖、下载源代码、配置编译到安装完成的所有细节。每个命令的解释确保了过程的透明度,使即使是非专业人士也能够理解整个流程。
73 18