本地使用 Docker Compose 与 Nestjs 快速构建基于 Dapr 的 Redis 发布/订阅分布式应用

简介: 本地使用 Docker Compose 与 Nestjs 快速构建基于 Dapr 的 Redis 发布/订阅分布式应用。Dapr 是一个可移植的、事件驱动的运行时,它使任何开发人员能够轻松构建出弹性的、无状态和有状态的应用程序,并可运行在云平台或边缘计算中,它同时也支持多种编程语言和开发框架。

640-2.png

Dapr(分布式应用程序运行时)介绍

Dapr 是一个可移植的、事件驱动的运行时,它使任何开发人员能够轻松构建出弹性的、无状态和有状态的应用程序,并可运行在云平台或边缘计算中,它同时也支持多种编程语言和开发框架。

Dapr 官网:https://dapr.io/

实战 Dapr 的 Redis 发布/订阅应用

1. 创建项目

首先,我们将创建我们的项目根文件夹来托管我们将在后续步骤中创建的所有服务。

mkdir dapr-nestjs-redis-pub-sub

2. 创建 Dapr Placement 服务

由于我们将创建多个服务,我们将使用 docker-compose 来运行这些服务。

让我们在项目的根文件夹中创建 docker-compose.yml 文件

cd dapr-nestjs-redis-pub-sub
touch docker-compose.yml
version: "3.5"

services:
  dapr-placement:
    image: "daprio/dapr"
    command: ["./placement", "-port", "50006"]

Dapr placement 服务将负责管理 Dapr actors(我们的服务)之间的所有通信。

简单来说,它负责将所有通信路由到假设接收通信的相应 actor。它充当 message broker(消息代理)。

3. 创建 Redis Publish 服务

让我们继续通过添加我们的 Redis 服务来修改我们的 docker-compose.yml 文件。

将以下代码添加到 docker-compose.yml 的服务部分:

  redis-publisher: 
    image: redis
    restart: always
    depends_on:
      - dapr-placement

4. 创建 Dapr Pub-Sub 组件

创建一个 dapr/components 文件夹。然后创建组件文件 redis-pubsub.yaml

mkdir -p dapr/components
cd dapr/components
touch redis-pubsub.yaml

然后打开文件并插入我们的 Dapr pub/sub 组件的详细信息

apiVersion: dapr.io/v1alpha1
kind: Component
metadata:
  name: redis-pubsub
  namespace: default
spec:
  type: pubsub.redis
  version: v1
  metadata:
    - name: redisHost
      value: redis-publisher:6379
    - name: redisPassword
      value: ""

redisHost 是我们的 Redis 服务 redis-pub 的名称,默认 Redis 端口为 6379

5. 创建 Redis Dapr Sidecar

正如前面部分反复提到的,服务直接与 Dapr 通信,而不是直接与其他服务通信。Dapr 充当所有服务的中间人。

服务通过它们自己的 Dapr sidecar 直接与 Dapr 通信,Dapr sidecar 将通信传递给 Dapr placement,该 placement 再次将其传递给假设接收通信的服务的 Dapr sidecar

redis-dapr-sidecar 服务添加到我们的 docker-compose.yml

  redis-dapr-sidecar:
    image: "daprio/daprd:edge"
    command: [
        "./daprd",
        "-app-id",
        "redis-publisher",
        "-app-port",
        "6379",
        "-dapr-http-port",
        "5000",
        "-components-path",
        "/components",
        "-placement-host-address",
        "dapr-placement:50006"
      ]
    volumes: 
      - "./dapr/components/:/components"
    depends_on:
      - redis-publisher
    network_mode: "service:redis-publisher"

在这里,我们使用 app-idDapr sidecar 分配给 redis-publisher,同时我们使用 redis 端口 6379

我们还必须将 dapr/components(redis-pubsub.yaml) 文件夹挂载到 docker 容器中。

不要忘记声明 dapr-http-port。这是我们的 Dapr sidecarapi,允许我们调用各种 HTTP 方法。

定义您的 dapr-http-port 很重要,因为您将在此处调用各种 HTTP 调用/方法/请求

最后,注意将 redis-dapr-sidecar 附加到 redis-publisher 网络命名空间。

6. 创建 NestJS Server

我们将使用 NestJS 作为我们的 node server 作为我们的 Redis subscriber(订阅者)

进入到项目文件夹

cd dapr-nestjs-redis-pub-sub

然后执行以下命令设置一个 NestJS node server:

npm i -g @nestjs/cli
nest new nest-subscriber

对于这个项目,我们将选择 yarn 作为包管理器。

接下来,我们将设置一个 post API 端点。
Dapr 将调用这个端点,一旦它收到我们的 Redis 服务发布,它就被调用。

转到 nest-subscriber/src/app.controller.ts

将此文件中的代码替换为以下内容:

import { Controller, Post, Body } from '@nestjs/common';
import { AppService } from './app.service';

@Controller()
export class AppController {
  constructor(private readonly appService: AppService) {}

  @Post('/redis-publisher')
  async postRedisPub(@Body() reqBody) {
    console.log(`Redis 发布了 ${JSON.stringify(reqBody)} `);

    return `NestJS 订阅者收到的 ${reqBody} 发布`;
  }
}

7. 为 NestJS 订阅服务器创建 Dockerfile

我们将 NestJS 服务器作为 Docker 容器运行。需要创建一个 Dockerfile

cd nest-subscriber
touch Dockerfile

然后打开文件并粘贴以下代码:

FROM node:16.13.0-alpine

WORKDIR "/app"
COPY ./nest-subscriber/package.json ./
RUN yarn install
COPY ./nest-subscriber .
RUN yarn run build

EXPOSE 3000
CMD ["yarn","start:prod"]

构建镜像:

docker build -f ./nest-subscriber/Dockerfile -t nest-subscriber:latest . --no-cache

8. 将 NestJS 订阅服务添加到 docker-compose 文件

在创建了我们的 NestJS 服务器和 Dockerfile 之后,我们创建了 nest-subscriber docker 服务。

将以下内容添加到 docker-compose.yml

  nest-subscriber:
    image: "nest-subscriber:latest"
    depends_on:
      - redis-publisher 
      - dapr-placement 
    restart: always

9. 创建 Dapr 订阅

我们将为我们的 pub/sub 订阅定义配置。

创建一个 dapr/subscriptions 文件夹。然后创建组件文件 redis-subscription.yaml

mkdir -p dapr/subscriptions
cd dapr/subscriptions
touch redis-subscription.yaml

然后打开文件并插入我们的 Dapr 订阅组件的详细信息

apiVersion: dapr.io/v1alpha1
kind: Subscription
metadata:
  name: nest-redis-sub
spec:
  topic: nest-redis-pub-topic
  route: /redis-publisher
  pubsubname: redis-pubsub
scopes:
  - nest-subscriber

路由是发布 topicDapr 将调用的 API

scope 是订阅该 topic 的服务。

pubsubnameredis-pubsub,它等于我们的 redis-pubsub.yaml 文件中定义的元数据名称。

在这个项目中,如果发布了一个 topic nest-redis-pub-topic,Dapr 将在我们的 nest-subscriber 服务中调用 API /redis-publisher

10. 创建 NestJS 服务器 Dapr Sidecar

我们需要为我们的 NestJS 服务创建一个 sidecar,就像 redis-publisher 服务一样。

nest-subscriber-dapr-sidecar 服务添加到我们的 docker-compose.yml

  nest-subscriber-dapr-sidecar:
    image: "daprio/daprd:edge"
    command: [
        "./daprd",
        "-app-id",
        "nest-subscriber",
        "-app-port",
        "3000",      
        "-components-path",
        "/components",
        "-placement-host-address",
        "dapr-placement:50006", 
      ]
    volumes:
      - "./dapr/components/:/components" 
    depends_on:
      - nest-subscriber
    network_mode: "service:nest-subscriber"

11. 测试它是否有效

通常 Dapr Docker 容器会在 Docker 网络中进行通信。

但是为了我们做测试,我们将打开映射暴露端口 5000 到我们的本地机器 5001

  redis-publisher: 
    image: redis
    depends_on:
      - dapr-placement
    restart: always
    ports:
      - 5001:5000

然后在您的终端中执行以下命令:

curl --location --request POST 'http://localhost:5001/v1.0/publish/redis-pubsub/nest-redis-pub-topic' \
--header 'Content-Type: application/json' \
--data-raw '{
    "hello": "world"
}'

Dapr 的优点之一是它遵循特定的 URL 格式。这里我们只使用 Dapr sidecar HTTP 端口(5001),然后是版本号(v1.0),然后是 action(publish)。然后是我们 redis-pubsub.yaml 配置文件中定义的 pubsubnameredis-pubsub)和 topicnest-redis-pub-topic)。

一旦发出 HTTP post 请求。我们的 NestJS 服务器应该在 /redis-publisher 收到一个 post 请求,这将导致以下日志:

640-3.png

我们可以看到它正在通过 Dapr 接收 Redis 发布。但是我们的 NestJS 服务器无法正确处理消息。

只有 {} 被发布,而不是我们发布的消息。

我们将在下一步中解决这个问题。

注意:我们通过 redis-dapr-sidecardapr-http-port 调用发布服务。通常会有一个单独的 Docker 服务(例如另一个服务器),它有自己的 Dapr sidecar,它将调用 redis 发布服务。 在这种情况下,我们将使用该 Docker 服务的 Dapr sidecar http-port。该请求将由 sidecar 发送到 Dapr placement 服务,然后该服务将确定将请求转发到的正确 Dapr sidecar

12. 允许 NestJS 解析 application/cloudevents+json

我们的 nest-subscriber-dapr-sidecar 向我们的 nest-subscriber 服务器发出的 post 请求的 Content-Type 将是 application/cloudevents+json 而不是 application/json

目前我们的 NestJS 服务器无法解析 application/cloudevents+json

为了解决这个问题,我们首先需要安装 body-parser

cd nest-subscriber
yarn add body-parser

接下来我们需要修改我们的 NestJS 服务器 main.ts

import { NestFactory } from '@nestjs/core';
import { AppModule } from './app.module';
import * as bodyParser from 'body-parser';

async function bootstrap() {
  const app = await NestFactory.create(AppModule);

  app.use(bodyParser.json({ type: 'application/cloudevents+json' }));
  app.use(bodyParser.json());
  await app.listen(3000);
}

bootstrap();

当我们再次发送 post 请求时,我们的 NestJS 服务器将能够处理请求正文并显示以下日志:

好了,我们现在有一个基于 Dapr 工作的 Redis Pub/Sub 分布式应用。

13. 完整 docker-compose.yaml

version: "3.5"

services:
  dapr-placement:
    image: "daprio/dapr"
    command: ["./placement", "-port", "50006"]
  
  redis-publisher: 
    image: redis
    depends_on:
      - dapr-placement
    restart: always
    ports:
      - 5001:5000

  redis-dapr-sidecar:
    image: "daprio/daprd:edge"
    command: [
        "./daprd",
        "-app-id",
        "redis-publisher",
        "-app-port",
        "6379",
        "-dapr-http-port",
        "5000",
        "-components-path",
        "/components",
        "-placement-host-address",
        "dapr-placement:50006"
      ]
    volumes: 
      - "./dapr/components/:/components"
    depends_on:
      - redis-publisher
    network_mode: "service:redis-publisher"
  
  nest-subscriber:
    image: "nest-subscriber:latest"
    depends_on:
      - redis-publisher 
      - dapr-placement 
    restart: always
  
  nest-subscriber-dapr-sidecar:
    image: "daprio/daprd:edge"
    command: [
        "./daprd",
        "-app-id",
        "nest-subscriber",
        "-app-port",
        "3000",      
        "-components-path",
        "/components",
        "-placement-host-address",
        "dapr-placement:50006", 
      ]
    volumes:
      - "./dapr/components/:/components" 
    depends_on:
      - nest-subscriber
    network_mode: "service:nest-subscriber"

14. 源码

https://github.com/Hacker-Linner/dapr-nestjs-redis-pub-sub.git

更多

使用 Dapr JS SDK 让 Nest.js 集成 Dapr

相关文章
|
10月前
|
人工智能 Java Nacos
基于 Spring AI Alibaba + Nacos 的分布式 Multi-Agent 构建指南
本文将针对 Spring AI Alibaba + Nacos 的分布式多智能体构建方案展开介绍,同时结合 Demo 说明快速开发方法与实际效果。
5490 111
|
11月前
|
存储 Kubernetes 微服务
Dapr:用于构建分布式应用程序的便携式事件驱动运行时
Dapr 是一个可移植、事件驱动的运行时,简化了分布式应用程序的开发。它支持多语言、多框架,适用于云和边缘计算环境,提供服务调用、状态管理、消息发布/订阅等构建模块。通过 sidecar 模式,Dapr 帮助开发者轻松应对微服务架构的复杂性,实现弹性、可扩展的应用部署。
599 9
Dapr:用于构建分布式应用程序的便携式事件驱动运行时
|
11月前
|
人工智能 前端开发 Docker
从本地到云端:用 Docker Compose 与 Offload 构建可扩展 AI 智能体
在 AI 智能体开发中,开发者常面临本地调试与云端部署的矛盾。本文介绍如何通过 Docker Compose 与 Docker Offload 解决这一难题,实现从本地快速迭代到云端高效扩容的全流程。内容涵盖多服务协同、容器化配置、GPU 支持及实战案例,助你构建高效、一致的 AI 智能体开发环境。
945 2
从本地到云端:用 Docker Compose 与 Offload 构建可扩展 AI 智能体
|
11月前
|
缓存 安全 Linux
优化Docker镜像大小的多阶段构建实践
优化Docker镜像大小的多阶段构建实践
577 99
|
10月前
|
监控 Kubernetes 安全
还没搞懂Docker? Docker容器技术实战指南 ! 从入门到企业级应用 !
蒋星熠Jaxonic,技术探索者,以代码为笔,在二进制星河中书写极客诗篇。专注Docker与容器化实践,分享从入门到企业级应用的深度经验,助力开发者乘风破浪,驶向云原生新世界。
843 52
还没搞懂Docker? Docker容器技术实战指南 ! 从入门到企业级应用 !
|
11月前
|
消息中间件 缓存 NoSQL
Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
这只是利用Go语言和Gin框架与Redis交互最基础部分展示;根据具体业务需求可能需要更复杂查询、事务处理或订阅发布功能实现更多高级特性应用场景。
535 86
|
10月前
|
负载均衡 Java API
《深入理解Spring》Spring Cloud 构建分布式系统的微服务全家桶
Spring Cloud为微服务架构提供一站式解决方案,涵盖服务注册、配置管理、负载均衡、熔断限流等核心功能,助力开发者构建高可用、易扩展的分布式系统,并持续向云原生演进。
|
11月前
|
前端开发 JavaScript 应用服务中间件
在Docker部署的前端应用中使用动态环境变量
以上步骤展示了如何在 Docker 配置过程中处理并注入环墨遁形成可执行操作流程,并确保最终用户能够无缝地与之交互而无须关心背后复杂性。
551 13
|
11月前
|
Java Docker 容器
使用Docker多阶段构建优化镜像大小
使用Docker多阶段构建优化镜像大小
405 8
|
11月前
|
消息中间件 缓存 监控
中间件架构设计与实践:构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的"神经网络",强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系,包括通信中间件(如RabbitMQ/Kafka)、数据中间件(如Redis/MyCAT)等类型。文章重点剖析了消息中间件的实现机制,通过Spring Boot代码示例展示了消息生产者的完整实现,涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后,作者指出中间件架构设计对系统性能的决定性影响,