AI 助理
备案控制台
开发者社区 云原生 文章 正文

涂鸦智能 dubbo-go 亿级流量的实践与探索

2020-06-15 1055
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
可观测监控 Prometheus 版，每月50GB免费额度
云原生网关 MSE Higress，422元/月
应用实时监控服务-应用监控，每月50GB免费额度
简介： dubbo 是一个基于 Java 开发的高性能的轻量级 RPC 框架，dubbo 提供了丰富的服务治理功能和优秀的扩展能力。而 dubbo-go 在 java 与 golang 之间提供统一的服务化能力与标准，是涂鸦智能目前最需要解决的主要问题。

1.png

作者 | 潘天颖，Github ID @pantianying，开源爱好者，就职于涂鸦智能

dubbo 是一个基于 Java 开发的高性能的轻量级 RPC 框架，dubbo 提供了丰富的服务治理功能和优秀的扩展能力。而 dubbo-go 在 java 与 golang 之间提供统一的服务化能力与标准，是涂鸦智能目前最需要解决的主要问题。本文分为实践和快速接入两部分，分享在涂鸦智能的 dubbo-go 实战经验，意在帮助用户快速接入 dubbo-go RPC 框架，希望能让大家少走些弯路。另外，文中的测试代码基于 dubbo-go版本 v1.4.0。

dubbo-go 网关实践

2.png

dubbo-go 在涂鸦智能的使用情况如上图，接下来会为大家详细介绍落地细节，希望这些在生产环境中总结的经验能够帮助到大家。

1. 背景

在涂鸦智能，dubbo-go 已经作为了 golang 服务与原有 dubbo 集群打通的首选 RPC 框架。其中比较有代表性的 open-gateway 网关系统（下文统一称 gateway，开源版本见 https://github.com/dubbogo/dubbo-go-proxy）。该 gateway 动态加载内部 dubbo 接口信息，以HTTP API 的形式对外暴露。该网关意在解决上一代网关的以下痛点。

  • 通过页面配置 dubbo 接口开放规则，步骤繁琐，权限难以把控；
  • 接口非 RESTful 风格，对外部开发者不友好；
  • 依赖繁重，升级风险大；
  • 并发性能问题。

2. 架构设计

针对如上痛点，随即着手准备设计新的 gateway 架构。首先就是语言选型，golang 的协程调用模型使得 golang 非常适合构建 IO 密集型的应用，且应用部署上也较 java 简单。

经过调研后我们敲定使用 golang 作为 proxy 的编码语言，并使用 dubbo-go 用于连接 dubbo provider 集群。provider 端的业务应用通过使用 java 的插件，以注解形式配置 API 配置信息，该插件会将配置信息和 dubbo 接口元数据更新到元数据注册中心（下图中的 redis ）。这样一来，配置从管理后台页面转移到了程序代码中。开发人员在编码时，非常方便地看到 dubbo 接口对外的 API 描述，无需从另外一个管理后台配置 API 的使用方式。

3.png

3. 实践

从上图可以看到，网关能动态加载 dubbo 接口信息，调用 dubbo 接口是基于 dubbo 泛化调用。泛化调用使 client 不需要构建 provider 的 interface 代码，在 dubbo-go 中表现为无需调用 config.SetConsumerService 和 hessian.RegisterPOJO 方法，而是将请求模型纯参数完成，这使得 client 动态新增、修改接口成为可能。在 apache / dubbo-sample / golang / generic / go-client 中的有泛化调用的演示代码。

func test() {
    var appName = "UserProviderGer"
    var referenceConfig = config.ReferenceConfig{
        InterfaceName: "com.ikurento.user.UserProvider",
        Cluster:       "failover",
        Registry:      "hangzhouzk",
        Protocol:      dubbo.DUBBO,
        Generic:       true,
    }
    referenceConfig.GenericLoad(appName) // appName is the unique identification of RPCService
    time.Sleep(3 * time.Second)
    resp, err := referenceConfig.GetRPCService().(*config.GenericService).
        Invoke([]interface{}{"GetUser", []string{"java.lang.String"}, []interface{}{"A003"}})
    if err != nil {
        panic(err)
    }
}

泛化调用的实现其实相当简单。其功能作用在 dubbo 的 Filter 层中。Generic Filter 已经作为默认开启的 Filter 加入到 dubbo Filter 链中。其核心逻辑如下：

func (ef *GenericFilter) Invoke(ctx context.Context, invoker protocol.Invoker, invocation protocol.Invocation) protocol.Result {
    if invocation.MethodName() == constant.GENERIC && len(invocation.Arguments()) == 3 {
        oldArguments := invocation.Arguments()
        if oldParams, ok := oldArguments[2].([]interface{}); ok {
            newParams := make([]hessian.Object, 0, len(oldParams))
            for i := range oldParams {
                newParams = append(newParams, hessian.Object(struct2MapAll(oldParams[i])))
            }
            newArguments := []interface{}{
                oldArguments[0],
                oldArguments[1],
                newParams,
            }
            newInvocation := invocation2.NewRPCInvocation(invocation.MethodName(), newArguments, invocation.Attachments())
            newInvocation.SetReply(invocation.Reply())
            return invoker.Invoke(ctx, newInvocation)
        }
    }
    return invoker.Invoke(ctx, invocation)
}

Generic Filter 将用户请求的结构体参数转化为统一格式的 map（代码中的 struct2MapAll ），将类（ golang 中为 struct ）的正反序列化操作变成 map 的正反序列化操作。这使得无需 POJO 描述通过硬编码注入 hessain 库。

从上面代码可以看到，泛化调用实际需要动态构建的内容有 4 个，ReferenceConfig 中需要的 InterfaceName、参数中的 method、ParameterTypes、实际入参 requestParams。

那么这些参数是如何从 HTTP API 匹配获取到的呢？

这里就会用到上文提到的 provider 用于收集元数据的插件。引入插件后，应用在启动时会扫描需要暴露的 dubbo 接口，将 dubbo 元数据和 HTTP API 关联。插件使用方法大致如下，这里调了几个简单的配置作为示例，实际生产时注解内容会更多。

4.png

最终获得的 dubbo 元数据如下:

{
    "key": "POST:/hello/{uid}/add",
    "interfaceName": "com.tuya.hello.service.template.IUserServer",
    "methodName": "addUser",
    "parameterTypes": ["com.tuya.gateway.Context", "java.lang.String", "com.tuya.hello.User"],
    "parameterNames": ["context", "uid", "userInfo"],
    "updateTimestamp": "1234567890",
    "permissionDO":{},
    "voMap": {
        "userInfo": {
            "name": "java.lang.String",
            "sex": "java.lang.String",
            "age": "java.lang.Integer"
        }
    },
    "parameterNameHumpToLine": true,
    "resultFiledHumpToLine": false,
    "protocolName": "dubbo",
  .......
}

Gateway 从元数据配置中心订阅到以上信息，就能把一个 API 请求匹配到一个 dubbo 接口。再从 API 请求中抓取参数作为入参。这样功能就完成了流量闭环。

以上内容，大家应该对此 gateway 的项目拓扑结构有了清晰的认知。我接着分享项目在使用 dubbo-go 过程中遇到的问题和调优经验。19 年初，当时的 dubbo-go 项目还只是构建初期，没有什么用户落地的经验。我也是一边参与社区开发，一边编码公司内部网关项目。在解决了一堆 hessain 序列化和 zookeeper 注册中心的问题后，项目最终跑通了闭环。但是，作为一个核心应用，跑通闭环离上生产环境还有很长的路要走，特别是使用了当时稳定性待测试的新框架。整个测试加上功能补全，整整花费了一个季度的时间，直到项目趋于稳定，压测效果也良好。单台网关机器（ 2C 8G ）全链路模拟真实环境压测达到 2000 QPS。由于引入了比较重的业务逻辑（单个请求平均调用 3 个 dubbo 接口），对于这个压测结果，是符合甚至超出预期的。

总结了一些 dubbo-go 参数配置调优的经验，主要是一些网络相关配置。

大家在跑 demo 时，应该会看到配置文件最后有一堆配置，但如果对 dubbo-go 底层网络模型不熟悉，就很难理解这些配置的含义。目前 dubbo-go 网络层以 getty 为底层框架，实现读写分离和协程池管理。getty 对外暴露 session 的概念，session 提供一系列网络层方法注入的实现，因为本文不是源码解析文档，在这里不过多论述。读者可以简单的认为 dubbo-go 维护了一个 getty session池，session 又维护了一个 TCP 连接池。对于每个连接，getty 会有读协程和写协程伴生，做到读写分离。这里我尽量用通俗的注释帮大家梳理下对性能影响较大的几个配置含义：

protocol_conf:
  # 这里是协议独立的配置，在dubbo协议下，大多数配置即为getty session相关的配置。
  dubbo:
      # 一个session会始终保证connection_number个tcp连接个数，默认是16，
    # 但这里建议大家配置相对小的值，一般系统不需要如此多的连接个数。
    # 每隔reconnect_interval时间，检查连接个数，如果小于connection_number，
    # 就建立连接。填0或不填都为默认值300ms
    reconnect_interval: 0
    connection_number: 2
    # 客户端发送心跳的间隔
    heartbeat_period: "30s"
    # OnCron时session的超时时间，超过session_timeout无返回就关闭session
    session_timeout: "30s"
    # 每一个dubbo interface的客户端，会维护一个最大值为pool_size大小的session池。
    # 每次请求从session池中select一个。所以真实的tcp数量是session数量*connection_number，
    # 而pool_size是session数量的最大值。测试总结下来一般程序4个tcp连接足以。
    pool_size: 4
    # session保活超时时间，也就是超过session_timeout时间没有使用该session，就会关闭该session
    pool_ttl: 600
    # 处理返回值的协程池大小
    gr_pool_size: 1200
    # 读数据和协程池中的缓冲队列长度，目前已经废弃。不使用缓冲队列
    queue_len: 64
    queue_number: 60
    getty_session_param:
      compress_encoding: false
      tcp_no_delay: true
      tcp_keep_alive: true
      keep_alive_period: "120s"
      tcp_r_buf_size: 262144
      tcp_w_buf_size: 65536
      pkg_wq_size: 512
      tcp_read_timeout: "1s"  # 每次读包的超时时间
      tcp_write_timeout: "5s" # 每次写包的超时时间
      wait_timeout: "1s" 
      max_msg_len: 102400     # 最大数据传输长度
      session_name: "client"

dubbo-go 快速接入

前文已经展示过 dubbo-go 在涂鸦智能的实践成果，接下来介绍快速接入 dubbo-go 的方式。

第一步：hello world

dubbo-go 使用范例目前和 dubbo 一致，放置在 apache/dubbo-samples 项目中。在 dubbo-sample/golang 目录下，用户可以选择自己感兴趣的 feature 目录，快速测试代码效果。

tree dubbo-samples/golang -L 1
dubbo-samples/golang
├── README.md
├── async
├── ci.sh
├── configcenter
├── direct
├── filter
├── general
├── generic
├── go.mod
├── go.sum
├── helloworld
├── multi_registry
└── registry

我们以 hello world 为例，按照 dubbo-samples/golang/README.md 中的步骤，分别启动 server 和 client 。可以尝试 golang 调用 java 、 java 调用 golang 、golang 调用 golang 、java 调用 java。dubbo-go 在协议上支持和 dubbo 互通。

我们以启动 go-server 为例，注册中心默认使用 zookeeper 。首先确认本地的 zookeeper 是否运行正常。然后执行以下命令，紧接着你就可以看到你的服务正常启动的日志了。

export ARCH=mac
export ENV=dev
cd dubbo-samples/golang/helloworld/dubbo/go-server
sh ./assembly/$ARCH/$ENV.sh
cd ./target/darwin/user_info_server-2.6.0-20200608-1056-dev/
sh ./bin/load.sh start

第二步：在项目中使用 dubbo-go

上面，我们通过社区维护的测试代码和启动脚本将用例跑了起来。接下来，我们需要在自己的代码中嵌入 dubbo-go 框架。很多朋友往往是在这一步遇到问题，这里我整理的一些常见问题，希望能帮到大家。

1）环境变量

目前 dubbo-go 有 3 个环境变量需要配置:

  • CONF_CONSUMER_FILE_PATH：Consumer 端配置文件路径，使用 consumer 时必需；
  • CONF_PROVIDER_FILE_PATH：Provider 端配置文件路径，使用 provider 时必需；
  • APP_LOG_CONF_FILE：Log 日志文件路径，必需；
  • CONF_ROUTER_FILE_PATH：File Router 规则配置文件路径，使用 File Router 时需要。

2）代码注意点

  • 注入服务 : 检查是否执行以下代码
# 客户端
func init() {
  config.SetConsumerService(userProvider)
}
# 服务端
func init() {
  config.SetProviderService(new(UserProvider))
}
  • 注入序列化描述 ：检查是否执行以下代码
hessian.RegisterJavaEnum(Gender(MAN))
  hessian.RegisterJavaEnum(Gender(WOMAN))
  hessian.RegisterPOJO(&User{})

3）正确理解配置文件

  • references / services 下的 key ，如下面例子的 "UserProvider" 需要和服务 Reference() 返回值保持一致，此为标识改接口的 key。
     
references:
"UserProvider":
  registry: "hangzhouzk"
  protocol : "dubbo"
  interface : "com.ikurento.user.UserProvider"
  cluster: "failover"
  methods :
  - name: "GetUser"
    retries: 3
  • 注册中心如果只有一个注册中心集群，只需配置一个。多个 IP 用逗号隔开，如下：
registries :
"hangzhouzk":
  protocol: "zookeeper"
  timeout    : "3s"
  address: "172.16.120.181:2181,172.16.120.182:2181"
  username: ""
  password: ""

4）java 和 go 的问题

go 和 java 交互的大小写 ：golang 为了适配 java 的驼峰格式，在调用 java 服务时，会自动将 method 和属性首字母变成小写。很多同学故意将 java 代码写成适配 golang 的参数定义，将首字母大写，最后反而无法序列化匹配。

第三步：拓展功能

dubbo-go 和 dubbo 都提供了非常丰富的拓展机制。可以实现自定义模块代替 dubbo-go 默认模块，或者新增某些功能。比如实现 Cluster、Filter 、Router 等来适配业务的需求。这些注入方法暴露在 dubbo-go/common/extension 中，允许用户调用及配置。

阿里巴巴编程之夏第二期正在火热报名中！

2020 年 5 月 25 日，阿里巴巴编程之夏（Alibaba Summer of Code，以下简称 ASoC ）第二期正式上线，项目规模再度升级，来自开源社区的 Apache Dubbo、Apache RocketMQ、Dragonfly、Nacos 等明星开源项目多达 20 个；导师阵容配置豪华，来自阿里巴巴集团的技术专家、开源社区核心成员、Apache 孵化器导师等多达 32 位；领域涉及微服务、容器、AI 等多个热点方向，旨在联合开源社区打造诚意满满、公平公正的开源实习平台，以阿里巴巴开源技术力量为“推手”，让中国开源社区和开发者精英受到世界范围内的认可。

点击了解详情：https://developer.aliyun.com/topic/summerofcode2020

“阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践，做最懂云原生开发者的公众号。”

文章标签：
微服务引擎
Java
Go
测试技术
Cloud Native
应用服务中间件
网络协议
Dubbo
Apache
API
开发者
关键词：
Go实践
Go流量
Dubbo流量
Dubbo实践
涂鸦智能dubbo Go亿级流量实践探索
阿里云云原生
目录
相关文章
蓝易云
|
2月前
|
消息中间件 缓存 NoSQL
Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
这只是利用Go语言和Gin框架与Redis交互最基础部分展示；根据具体业务需求可能需要更复杂查询、事务处理或订阅发布功能实现更多高级特性应用场景。
蓝易云
275 86
程序员爱钓鱼
|
4月前
|
分布式计算 算法 安全
Go语言泛型-泛型约束与实践
Go语言中的泛型约束用于限制类型参数的范围，提升类型安全性。通过接口定义约束，可实现对数值类型、排序与比较等操作的支持。开发者既可使用标准库提供的预定义约束，如constraints.Ordered和constraints.Comparable，也可自定义约束以满足特定需求。泛型广泛应用于通用数据结构（如栈、队列）、算法实现（如排序、查找）及构建高效可复用的工具库，使代码更简洁灵活。
程序员爱钓鱼
184 2
互联网课堂
|
5月前
|
设计模式 人工智能 Go
go 依赖注入实践
依赖注入（DI）是一种软件设计模式，旨在降低代码耦合度，提高代码可测试性和可复用性。其核心思想是将依赖项从外部传入使用对象，而非由其内部创建。通过 DI，模块间关系更清晰，便于维护和扩展。常见实现包括方法注入和接口注入，适用于如 Go 等支持函数式编程和接口抽象的语言。
互联网课堂
131 8
程序员爱钓鱼
|
5月前
|
开发框架 JSON 中间件
Go语言Web开发框架实践：路由、中间件、参数校验
Gin框架以其极简风格、强大路由管理、灵活中间件机制及参数绑定校验系统著称。本文详解其核心功能：1) 路由管理，支持分组与路径参数；2) 中间件机制，实现全局与局部控制；3) 参数绑定，涵盖多种来源；4) 结构体绑定与字段校验，确保数据合法性；5) 自定义校验器扩展功能；6) 统一错误处理提升用户体验。Gin以清晰模块化、流程可控及自动化校验等优势，成为开发者的优选工具。
程序员爱钓鱼
378 9
程序员爱钓鱼
|
5月前
|
开发框架 安全 前端开发
Go Web开发框架实践：模板渲染与静态资源服务
Gin 是一个功能强大的 Go Web 框架，不仅适用于构建 API 服务，还支持 HTML 模板渲染和静态资源托管。它可以帮助开发者快速搭建中小型网站，并提供灵活的模板语法、自定义函数、静态文件映射等功能，同时兼容 Go 的 html/template 引擎，具备高效且安全的页面渲染能力。
程序员爱钓鱼
131 5
程序员爱钓鱼
|
5月前
|
开发框架 JSON 中间件
Go语言Web开发框架实践：使用 Gin 快速构建 Web 服务
Gin 是一个高效、轻量级的 Go 语言 Web 框架，支持中间件机制，非常适合开发 RESTful API。本文从安装到进阶技巧全面解析 Gin 的使用：快速入门示例（Hello Gin）、定义 RESTful 用户服务（增删改查接口实现），以及推荐实践如参数校验、中间件和路由分组等。通过对比标准库 `net/http`，Gin 提供更简洁灵活的开发体验。此外，还推荐了 GORM、Viper、Zap 等配合使用的工具库，助力高效开发。
程序员爱钓鱼
870 2
互联网课堂
|
6月前
|
设计模式 缓存 算法
Go如何进行高质量编程与性能调优实践
本文介绍了Go语言高质量编程与性能调优的实践方法。高质量编程包括良好的编码习惯（如清晰注释、命名规范）、代码风格与设计（如MVC模式）、简洁明了的代码原则，以及单元测试与代码重构的重要性。性能调优方面，涵盖算法优化、数据结构选择、I/O优化、内存管理、并行与并发处理优化及代码层面的改进。通过这些方法，可有效提升代码质量和系统性能。
互联网课堂
145 13
程序员爱钓鱼
|
4月前
|
Linux Go 开发者
Go语言泛型-泛型约束与实践
《Go语言实战指南》介绍了如何使用Go进行交叉编译，即在一个操作系统上编译出适用于不同系统和架构的二进制文件。通过设置GOOS和GOARCH环境变量，开发者可轻松构建跨平台程序，无需在每个平台上单独编译。Go从1.5版本起原生支持此功能，极大提升了多平台部署效率。
程序员爱钓鱼
110 0
陌陌谣
|
6月前
|
机器学习/深度学习 存储 监控
上网管理监控软件的 Go 语言流量特征识别算法实现与优化
本文探讨基于Go语言的流量特征识别算法，用于上网管理监控软件。核心内容涵盖AC自动机算法原理、实现及优化，通过路径压缩、哈希表存储和节点合并策略提升性能。实验表明，优化后算法内存占用降低30%，匹配速度提升20%。在1000Mbps流量下，CPU利用率低于10%，内存占用约50MB，检测准确率达99.8%。未来可进一步优化高速网络处理能力和融合机器学习技术。
陌陌谣
194 10
aliyun0641063962-48771
|
Go 调度 开发者
Go语言中的并发编程：深入理解与实践###
探索Go语言在并发编程中的独特优势，揭秘其高效实现的底层机制。本文通过实例和分析，引导读者从基础到进阶，掌握Goroutines、Channels等核心概念，提升并发处理能力。 ###
aliyun0641063962-48771
220 2

云原生

热门文章

最新文章

  • 1
    Docker CE 镜像源站
  • 2
    Minikube - Kubernetes本地实验环境
  • 3
    微服务架构的理论基础 - 康威定律
  • 4
    微服务（Microservice）那点事
  • 5
    3分钟，了解阿里云热门开发者工具 Cloud Toolkit
  • 6
    Docker学习路线图 (持续更新中)
  • 7
    基于Docker容器的，Jenkins、GitLab构建持续集成CI
  • 8
    容器镜像服务 Docker镜像的基本使用
  • 9
    使用阿里云容器服务Jenkins 2.0实现持续集成之Pipeline篇(updated on 2016.12.23)
  • 10
    理解Docker容器的进程管理
  • 1
    微服务安全之 OAuth2 协议深度解析：从原理到实战落地
    15
  • 2
    一次内存诊断，让资源利用率提升 40%：揭秘隐式内存治理
    21
  • 3
    从代码到生产推理服务：DevPod 全流程部署 DeepSeek-OCR 模型实战指南
    21
  • 4
    多源 RAG 自动化处理：从 0 到 1 构建事件驱动的实时 RAG 应用
    21
  • 5
    基于springboot的物品租赁管理系统
    23
  • 6
    【Azure Function App】Function App出现500异常 Microsoft.Azure.WebJobs.Script.Workers.WorkerProcessExitException : C:\Program Files\dotnet\dotnet.exe exited with code -532462766 (0xE0434352)
    20
  • 7
    云拨测：当“正常变更”摧毁全球网络时，谁来守护你的业务可用性？
    48
  • 8
    【本不该故障系列】从 runC 到 runD：SAE 如何化解安全泄露风险
    32
  • 9
    一起聊聊大规模 AI Agent 部署与运维实战
    51
  • 10
    UModel 数据治理：运维世界模型构建实践
    38

    • 相关课程

    更多
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • Go语言核心编程 - 数据结构和算法
  • Go语言核心编程 - 基础语法、数组、切片、Map
  • Go语言核心编程 - 面向对象、文件、单元测试、反射、TCP编程
  • Go语言完全自学手册图文教程
  • Dubbo分布式服务治理实战

    • 相关电子书

    更多
  • Dubbo开源现状与2.7规划
  • Dubbo分布式服务治理实战
  • 《Dubbo 3.0 前瞻》
    • 下一篇
    oss云网关配置