AI 助理
备案控制台
开发者社区 云原生 文章 正文

Nomad 系列 -Nomad+Traefik+Tailscale 集成实现零信任安全

2024-02-06 159
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
.cn 域名，1个 12个月
密钥管理服务KMS，1000个密钥，100个凭据，1个月
传统型负载均衡 CLB，每月750个小时 15LCU
简介： Nomad 系列 -Nomad+Traefik+Tailscale 集成实现零信任安全

概述

终于到了令人启动的环节了：Nomad+Traefik+Tailscale 集成实现零信任安全。

在这里：

  • Nomad 负责容器调度；（容器编排工具）
  • Traefik 负责入口流量；(Ingress 工具）
  • Tailscale 实现跨地域联通，4 层加密以及提供 HTTPS 证书。

Traefik 简介

Traefik 是一个现代的 HTTP 反向代理和负载均衡器，使部署微服务变得容易。

Traefik 可以与现有的多种基础设施组件（Docker、Swarm 模式、Kubernetes、Marathon、Consul、Etcd、Rancher、Amazon ECS、Nomad…）集成，并自动和动态地配置自己。

Traefik 与 Nomad Native Service 集成

2023 年 5 月初，Hashicorp 发布了 Nomad 1.3 版本。在此版本之前，当与 Nomad 一起使用服务发现时，Traefik Proxy 用户必须同时使用 Hashicorp Consul 和 Nomad，以便从 Traefik Proxy 著名的自动配置中获益。现在，Nomad 有了一种简单直接的方法来使用内置的服务发现。这大大提高了直接可用性！不仅在简单的测试环境中，而且在边缘环境中。

Traefik 与 Tailscale 集成

从 Traefik Proxy 3.0 Beta 1 发布开始，Traefik Proxy 支持 Tailscale。当 Traefik 收到对 *.ts.net 站点的 HTTPS 请求时，它会从机器的本地 Tailscale 守护进程（实际是 Tailscale 的 socket) 获取 HTTPS 证书。并且证书不需要配置。

Traefik 小结

在这次集成中，我们使用 Traefik 作为 Nomad 集群中工作负载的 HTTP 反向代理和负载均衡，并通过 Nomad Native Service 和 Nomad 集成，通过 Traefik Resolver 与 Tailscale 集成。

Tailscale 简介

Tailscale 是一种 V(irtual)P(rivate)N(etwork) 服务，可以让您在世界任何地方安全、轻松地访问您拥有的设备和应用程序。它使用开源 WireGuard 协议实现加密的点对点连接，这意味着只有您的专用网络上的设备才能相互通信。

Tailscale 快速可靠。与传统的 V(irtual)P(rivate)N(etwork) 不同，传统的通过中央网关服务器隧道传输所有网络流量，Tailscale 则是创建了一个对等 full-mesh 网状网络（称为 tailnet）.

Tailscale 提供了一系列的额外实用功能，如：

  • MagicDNS: 使用短主机名作为域名直接访问设备。如：http://raspberry 或 http://raspberry.west-beta.ts.net
  • HTTPS 证书: 允许用户为其设备提供 TLS 证书。如上面的：raspberry.west-beta.ts.net 提供授信证书。可以通过 https://raspberry.west-beta.ts.net 访问且浏览器显示安全的绿锁🔒标志。

默认情况下，Tailscale 节点之间的 (4 层）连接通过端到端加密来保护。然而，浏览器，Web API 和 Visual Studio Code 等产品并不知道这一点，并且可以根据以下事实警告用户或禁用功能：到您的尾网服务的 HTTP URL 看起来未加密，因为它们没有使用 TLS 证书。

而 Tailscale 在启用了：

  1. tailnet name
  2. MagicDNS
  3. HTTPS 证书

后，便可以为每台 Tailscale 机器自动或手动生成证书。证书对应的域名如下：

Tailscale HTTPS Cert

在这次集成中，我们使用 Tailscale 实现跨地域联通，4 层加密以及提供 HTTPS 证书。跨地域联通需要在 Nomad 上进行相关设置；4 层加密为默认提供的；HTTPS 证书则需要分别在 Nomad 以及 Traefik 上进行相关设置。

Nomad+Traefik+Tailscale 集成具体方案

  • Tailscale 在多个相同或不同区域 Linux Node 上通过软件源安装；通过 systemd 启动；
  • Nomad 安装在这些 Linux Node 上，并指定网卡为 Tailscale 对应网卡 - tailscale0
  • Traefik 以 system 类型 job 的方式在 Nomad 上通过 Docker 运行。并与 Tailscale 和 Nomad 集成。

Nomad+Traefik+Tailscale 集成实施步骤

前提

  • 多台（最好在不同区域）的 Linux Node（本例中是 Ubuntu Node)
  • 这些 Linux Node 最好 Hostname 各不相同
  • Nomad 前提：
  • Docker 已安装
  • Nomad 已安装（版本≥1.3, 越新越好）
  • Nomad 集群已创建并运行（至少包括 1 个 Server 和 1 个 Client）
  • Tailscale 前提：
  • 已创建 Tailscale 账号
  • Tailscale 版本大于等于 1.14（越新越好）
  • MagicDNS 功能已启用
  • HTTPS 证书功能已启用
  • Traefik 前提：
  • Traefik Proxy 版本 ≥ 3.0 Beta 1

安装并运行 Tailscale

在每台机器上，运行以下命令安装：

curl -fsSL https://tailscale.com/install.sh | sh
BASH

更多安装方式，请参见：Traefik Nomad Service Discovery Routing - Traefik

这里不做详细介绍。

sudo tailscale up
BASH

并登录 Tailscale.

Nomad Client 配置调整

Nomad Client 需要进行如下配置调整，以方便后续和 Tailscale 及 Traefik 集成：

  1. 配置 Tailscale Socket 作为 Nomad Host Volume（供 Docker 中的 Traefik 和 Tailscale 通信）
  2. 配置网卡为 tailscale0, 使用 Tailscale 网络进行东西向通信。

修改 /etc/nomad.d/nomoad.hcl 的 client 块配置，具体配置如下：

data_dir  = "/opt/nomad/data"
bind_addr = "0.0.0.0"
client {
  enabled = true
  servers = ["100.99.99.99"]
  network_interface = "tailscale0"
  host_volume "tailscale-socket" {
    path      = "/run/tailscale/tailscaled.sock"
    read_only = true
  }
}
HCL

具体说明如下：

  • servers = ["100.99.99.99"]: 指定 servers ip 列表为对应的 Servers 的 Tailscale IP 地址。后续该地址都要根据您的实际情况替换为 Nomad Server 的一个地址或所有地址列表。
  • network_interface = "tailscale0": 指定要强制进行网络指纹识别的接口的名称。在开发模式下运行时，默认为环回接口。不处于开发模式时，将 使用连接到默认路由的接口。调度程序在为任务分配端口时从这些指纹 IP 地址中进行选择。这里指定 Nomad 使用 Tailscale 隧道网卡 tailscale0 作为网络指纹识别的接口。
  • host_volume "tailscale-socket" {: 如前一篇文章所述，配置 Nomad Host Volume
  • path = "/run/tailscale/tailscaled.sock": Tailscale Socket Host Path.
  • read_only = true: 只读。

运行 Traefik Job

Traefik Job HCL - traefik.hcl 具体如下：

job "traefik" {
  datacenters = ["dc1"]
  type        = "system"
  group "traefik" {
    network {
      port  "http"{
         static = 80
      }
      port "https" {
        static = 443
      }
      port  "admin"{
         static = 8080
      }
    }
    service {
      name = "traefik-http"
      provider = "nomad"
      port = "http"
    }
    service {
      name = "traefik-https"
      provider = "nomad"
      port = "https"
    }
    volume "tailscale-socket" {
      type      = "host"
      read_only = true
      source    = "tailscale-socket"
    }
    task "server" {
      driver = "docker"
      volume_mount {
        volume           = "tailscale-socket"
        destination      = "/var/run/tailscale/tailscaled.sock"
        read_only        = true
      }
      config {
        image = "traefik:v3.0"
        ports = ["admin", "http", "https"]
        args = [
          "--api.dashboard=true",
          "--api.insecure=true", ### For Test only, please do not use that in production
          "--entrypoints.web.address=:${NOMAD_PORT_http}",
          "--entryPoints.websecure.address=:${NOMAD_PORT_https}",  
          "--entrypoints.traefik.address=:${NOMAD_PORT_admin}",
          "--providers.nomad=true",
          "--providers.nomad.endpoint.address=http://100.99.99.99:4646", ### Tailscale IP to your nomad server 
          "--certificatesresolvers.tailscaleresolver.tailscale=true"
        ]
      }
    }
  }
}
HCL

详细说明如下：

  • type = "system": 数据中心和节点池中的每个客户端都获得分配。类似于 K8s 的 Daemonset.
  • network {}Network 块，这里指定了 3 个静态 端口（类似于 K8s 中的 HostSubnet), 即容器内和主机都监听：
  • http 端口 80
  • https 端口 443
  • admin Traefik admin 端口 8080 （因为底层是 Tailscale, 所以其实 HTTP 也是在 4 层透明加密过的）
  • service {}2 个 Service 块，都是 Nomad Native Service. 分别是：
  • traefik-http 服务：指向 http 端口 - 80
  • traefik-https 服务：指向 https 端口 - 443
  • volume "tailscale-socket" {通过 Nomad Host Volume 声明 Tailscale Socket
  • type = "host": Volume 类型为 Nomad Host Volume
  • read_only = true: Volume 级别 read_only 配置
  • source: source 指向 Nomad Client 的tailscale-socket, 即：/run/tailscale/tailscaled.sock path
  • driver = "docker": Traefik 实际在 Docker 中运行
  • volume_mount {: volume mount 配置：
  • destination = "/var/run/tailscale/tailscaled.sock": 将 Tailscale Socket 挂载到容器内 /var/run/tailscale/tailscaled.sock path.
  • config {docker 配置块。
  • image = "traefik:v3.0": 指定 traefik 镜像为：traefik:v3.0
  • ports = ["admin", "http", "https"]: 对外暴露的端口为：80, 443, 8080
  • args [: traefik 启动参数
  • "--api.dashboard=true": 启动 Traefik Dashboard
  • "--api.insecure=true": 仅供测试使用，请勿在生产环境中使用
  • "--entrypoints.web.address=:${NOMAD_PORT_http}": 指定 Traefik 的 web 端口为：NOMAD_PORT_http 环境变量，即：80. 地址为：:80 （监听全部地址）
  • "--entryPoints.websecure.address=:${NOMAD_PORT_https}": 指定 Traefik 的 websecure 地址为：:443
  • "--entrypoints.traefik.address=:${NOMAD_PORT_admin}": 指定 Traefik 的 traefik 地址为：:8080
  • "--providers.nomad=true": 启用 Traefik 与 Nomad 集成
  • "--providers.nomad.endpoint.address=http://100.99.99.99:4646": 指定 Nomad Server 地址
  • "--certificatesresolvers.tailscaleresolver.tailscale=true": 启用 Traefik 与 Tailscale 集成。创建一个 Traefik Resolver 名为：tailscaleresolver, 且和 Tailscale 集成。

运行该 Job:

nomad run traefik.hcl
BASH

则 Traefik 会部署到 Nomad 所有的 Client 上。

至此，我们完成了 Nomad+Traefik+Tailscale 的集成。🎉🎉🎉

验证 Nomad+Traefik+Tailscale 效果

通过 Traefik Dashboard 验证

首先，打开 Traefik Dashboard - http://100.99.99.99, 效果如下：

Traefik 集成 Nomad

从上图可以看到：

  • Traefik 的版本是 3.0 Beta 1 以上，实际为：3.0.0-beta3
  • Traefik 监听的端口为：80, 443 和 8080
  • Traefik 已经和 Nomad 集成，Providers 显示为 Nomad.

创建 Nomad Service 验证

我们基于 HashiCorp Nomad 官方提供的另一个 Demo 程序：HashiCups 来进行配置调整：

git clone https://github.com/hashicorp/learn-nomad-sd.git
cd learn-nomad-sd
git checkout tags/v0.1 -b nomad-hashicups-sd
BASH

修改 hashicups.hcl 的以下内容：（内容有省略）

...
job "hashicups" {
  type   = "service"
  ...
  group "nginx" {
    network {
      port "nginx" {
        to = var.nginx_port
      }
    }
    task "nginx" {
      driver = "docker"
      service {
        name = "nginx"
        provider = "nomad"
        port = "nginx"
        tags = [
            "traefik.http.routers.hashicups.rule=Host(`firefly-sub03.west-beta.ts.net`)",
            "traefik.http.routers.hashicups.tls.certResolver=tailscaleresolver"
        ]
      }
      ...
    }
  }
}
HCL

具体说明如下：

  • to = var.nginx_port: 🐾注意，这里要从 static 改为 to, 避免 Host 端口冲突。Host 端口会随机分配一个端口。
  • service {: service 块，这里 provider = "nomad", Traefik 会通过 Nomad Server API 获取 Nomad Native Service, 并通过 tags 获取具体路由配置。
tags = [
    "traefik.http.routers.hashicups.rule=Host(`firefly-sub03.west-beta.ts.net`)",
    "traefik.http.routers.hashicups.tls.certResolver=tailscaleresolver"
]
HCL

这里是 Traefik 的配置风格，Traefik 和 Nomad 集成时，Nomad tags 的配置和 Traefik docker 集成的配置风格是一模一样的。

  • traefik.http.routers.hashicups.rule=Host(...) 创建hashicups router. 并指定域名，这里我指定了我的一台 Nomad Client Node 的 Tailscale 完整域名：firefly-sub03.west-beta.ts.net. 其中 .west-beta.ts.net 是我的专属域，如果您要配置，请根据从 Tailscale Admin Console 获取到的域自行调整。firefly-sub03 是我的一台 Linux Node 的 hostname, 显然，这台 Node 上安装了：nomad client, tailscale, traefik.
  • "traefik.http.routers.hashicups.tls.certResolver=tailscaleresolver" 指定该 router 的 HTTP 证书解析方名称为：tailscaleresolver, 即 tailscale.

效果如下：

在 Traefik Dashboard 上展示如下：

Traefik Dashboard - hashicups router

△ 可以看到，通过 http://firefly-sub03.west-beta.ts.net/ 或 https://firefly-sub03.west-beta.ts.net/ 都可以访问到 Nomad 的 nginx service. 并且 TLS 启用，且 Resolver 是tailscaleresolver

Traefik Dashboard - hashicups nginx service

△ 可以看到，Nomad 为 nginx service 自动分配的地址是：http://100.74.143.10:25061 端口是一个随机端口 （我这里 Nomad 网络使用 host 模式，而不是 bridge 模式）

直接通过 TS 内网访问 https://firefly-sub03.west-beta.ts.net/ 如下：

HashiCups Demo with https cert

△可以看到，通过域名可以访问到 Hashicups, 并且该域名的 HTTPS 证书也是受信的。

🎉🎉🎉

总结

本文我们通过 Nomad+Traefik+Tailscale 集成实现零信任安全。

在这里：

  • Nomad 负责容器调度；（容器编排工具）
  • Traefik 负责入口流量；(Ingress 工具）
  • Tailscale 实现跨地域联通，4 层加密以及提供 HTTPS 证书。

具体来说，在这次集成中：

  • 使用 Traefik 作为 Nomad 集群中工作负载的 HTTP 反向代理和负载均衡，并通过 Nomad Native Service 和 Nomad 集成，通过 Traefik Resolver 与 Tailscale 集成。
  • 使用 Tailscale 实现跨地域联通，4 层加密以及提供 HTTPS 证书。
  • 跨地域联通需要在 Nomad 上进行相关设置；
  • 4 层加密为默认提供的；
  • HTTPS 证书则需要分别在 Nomad 以及 Traefik 上进行相关设置。

并且，这套方案也特别适合边缘 Edge 环境：

  • Nomad 为边缘集群提供了简单轻量的（容器）编排服务
  • Traefik 为边缘集群提供了 4 层 和 7 层的 负载均衡以及 7 层的 HTTP 代理服务
  • Tailscale 为边缘集群的 " 云 " “边” “端” 提供了隧道打通，实现网络连接和边缘网络加密。并自动为 HTTPS 提供受信证书。

📚️参考文档

文章标签：
域名
密钥管理服务
负载均衡
容器
数据安全/隐私保护
安全
Docker
Linux
关键词：
集成安全
traefik集成
东风微鸣技术博客
目录
相关文章
龙蜥社区（OpenAnolis）
|
7月前
|
供应链 安全 Linux
简单、透明、安全、高度集成！龙蜥可信 SBOM 能力探索与实践
从攻击面管理的角度解决软件供应链SBOM复杂体系的安全可信问题。
龙蜥社区（OpenAnolis）
179 0
mg的嘟嘟
|
5月前
|
SQL 安全 Java
探索软件测试的多维策略：从单元到集成，再到性能与安全
在软件开发生命周期中，测试是不可或缺的一环。本文将深入探讨软件测试的多维策略，从单元测试、集成测试到性能测试和安全测试等各个层面进行剖析。我们将通过具体的统计数据和案例分析，揭示不同测试策略的优势和应用场景。文章旨在为读者提供一个全面的测试框架，帮助他们构建更稳定、高效和安全的系统。
mg的嘟嘟
105 2
土木林森
|
4月前
|
测试技术 Java Spring
Spring 框架中的测试之道：揭秘单元测试与集成测试的双重保障，你的应用真的安全了吗？
【8月更文挑战第31天】本文以问答形式深入探讨了Spring框架中的测试策略，包括单元测试与集成测试的有效编写方法，及其对提升代码质量和可靠性的重要性。通过具体示例，展示了如何使用`@MockBean`、`@SpringBootTest`等注解来进行服务和控制器的测试，同时介绍了Spring Boot提供的测试工具，如`@DataJpaTest`，以简化数据库测试流程。合理运用这些测试策略和工具，将助力开发者构建更为稳健的软件系统。
土木林森
65 0
爱你三千遍斯塔克
|
6月前
|
安全
手机kali终端，集成安全集成工具----使用arpspoof工具给电脑断网------断网，网络攻击手段
手机kali终端，集成安全集成工具----使用arpspoof工具给电脑断网------断网，网络攻击手段
爱你三千遍斯塔克
98 7
叫个什么名字
|
6月前
|
SQL 安全 Java
探索软件测试的多维策略：从单元到集成，再到性能与安全
在软件开发过程中，测试是确保产品质量和用户满意度的关键步骤。本文将深入探讨软件测试的多维策略，包括单元测试、集成测试、性能测试和安全测试。我们将分析每种测试方法的优势和局限性，并讨论如何将这些策略整合到一个全面的测试计划中，以提高软件的可靠性和安全性。文章还将提供实用的例子和最佳实践，帮助读者更好地理解和应用这些测试技术。
叫个什么名字
103 5
richard_yuu
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】集成语音与大型语音模型等安全边界探索
【机器学习】集成语音与大型语音模型等安全边界探索
richard_yuu
287 5
weixin_836869520
|
5月前
|
监控 Java Docker
Spring Boot与Traefik的集成
Spring Boot与Traefik的集成
weixin_836869520
113 0
热烈的马
|
7月前
|
存储 分布式计算 安全
【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）
【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）
热烈的马
872 0
当年的春天
|
运维 安全 Java
SpringBoot实战（十四）:Spring Boot Admin 集成安全模块
SpringBoot实战（十四）:Spring Boot Admin 集成安全模块
当年的春天
247 0
auqbllxiu
|
安全
《阿里邮箱—安全高效集成》电子版地址
阿里邮箱—安全高效集成
auqbllxiu
84 0
《阿里邮箱—安全高效集成》电子版地址

热门文章

最新文章

  • 1
    Vue集成Excalidraw实现在线画板功能
  • 2
    Voice-Pro：开源AI音频处理工具，集成转录、翻译、TTS等一站式服务
  • 3
    方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
  • 4
    什么是Apache Kafka？如何将其与Spring Boot集成？
  • 5
    NodeTool：AI 工作流可视化构建器，通过拖放节点设计复杂的工作流，集成 OpenAI 等多个平台
  • 6
    从 Jenkins 持续集成出发：探究如何监控员工电脑屏幕
  • 7
    随机森林算法是一种强大的集成学习方法，通过构建多个决策树并综合其结果进行预测。
  • 8
    探索软件测试中的自动化与持续集成
  • 9
    Demo发布 | ClkLog成功集成Unity3D
  • 10
    智能客服系统集成技术解析和价值点梳理
  • 1
    MongoDB Atlas Vector Search与Amazon Bedrock集成已全面可用
    2643
  • 2
    Playwright安装与Python集成：探索跨浏览器测试的奇妙世界
    151
  • 3
    【MongoDB 专栏】MongoDB 与 Spring Boot 的集成实践
    259
  • 4
    LabVIEW风力涡轮机的雷电流测量系统中集成高速摄像机
    54
  • 5
    FFmpeg开发笔记（十七）Windows环境给FFmpeg集成字幕库libass
    169
  • 6
    sprinboot+vue集成neo4j图数据库
    185
  • 7
    RabbitMQ的springboot项目集成使用-01
    150
  • 8
    springboot集成ElasticSearch的具体操作（系统全文检索）
    97
  • 9
    基于RuoYi-Flowable-Plus的若依ruoyi-nbcio支持自定义业务表单流程的集成方法与步骤（二）
    382
  • 10
    基于RuoYi-Flowable-Plus的若依ruoyi-nbcio支持自定义业务表单流程的集成方法与步骤（一）
    329

    • 相关课程

    更多
  • 事件总线EventBridge生态集成课程
  • 消息队列 RocketMQ 消息集成
  • KubeVela 对接 Istio实现应用灰度发布实践
  • 从概念、部署到优化，Kubernetes Ingress 网关的落地实践
  • Kubernetes极速入门
  • Kubernetes入门

    • 相关电子书

    更多
  • 阿里邮箱—安全高效集成
  • 集成智能接入网关APP：优化企业级移动办公网络
  • 云效助力企业集成安全到DevOps中
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)