【 云原生 | kubernetes 】- tekton构建CI/CD流水线(一)

简介: Tekton 是用于构建 CI/CD 管道的云原生解决方案。它由提供构建块的 Tekton Pipelines 和支持组件(例如 Tekton CLI 和 Tekton Catalog)组成,它们使 Tekton 成为一个完整的生态系统。

​ Tekton 是用于构建 CI/CD 管道的云原生解决方案。它由提供构建块的 Tekton Pipelines 和支持组件(例如 Tekton CLI 和 Tekton Catalog)组成,它们使 Tekton 成为一个完整的生态系统。Tekton 是Linux Foundation项目CD Foundation的 一部分。

Tekton 作为 Kubernetes 集群上的扩展安装和运行,并包含一组 Kubernetes 自定义资源,这些资源定义了您可以为管道创建和重用的构建块。安装后,Tekton Pipelines 可以通过 Kubernetes CLI (kubectl) 和 API 调用使用,就像 pod 和其他资源一样。

安装

在 Kubernetes 集群上安装 Tekton Pipelines Triggers Dashboard Interceptors :

kubectl apply --filename https://storage.googleapis.com/tekton-releases/pipeline/latest/release.notags.yaml
kubectl apply --filename https://storage.googleapis.com/tekton-releases/triggers/latest/release.yaml
kubectl apply --filename https://storage.googleapis.com/tekton-releases/dashboard/latest/tekton-dashboard-release.yaml
kubectl apply --filename https://storage.googleapis.com/tekton-releases/triggers/latest/interceptors.yaml

我们这里的环境是centos7,kernel:Linux 5.10.109-1

由于官方使用的镜像是 gcr 的镜像,所以正常情况下我们是获取不到的 如果你的集群由于某些原因获取不到镜像,可以尝试到DockerHub公共仓库查询相关镜像。

上面的资源清单中默认安装一个名为tekton-pipelinesde 命名空间,所有和tekton相关的资源都会在这个命名空间下,查看当前命名空间中安装的Pod是否正常运行:

[root@master ~]# kubectl get po 
NAME                                                 READY   STATUS      RESTARTS      AGE
tekton-dashboard-655cfb9cb7-xv64b                    1/1     Running     0             2d20h
tekton-pipelines-controller-cc76bb647-5tvlk          1/1     Running     0             2d20h
tekton-pipelines-webhook-67757b5795-5k5bv            1/1     Running     0             2d20h
tekton-triggers-controller-56df556c75-5qjnc          1/1     Running     0             2d20h
tekton-triggers-core-interceptors-6756b486b5-cllrx   1/1     Running     0             2d20h
tekton-triggers-webhook-dd9595fdb-x2644              1/1     Running     0             2d20h

组件

在这里插入图片描述

Tekton 由以下组件组成:

  • Tekton Pipelines是 Tekton 的基础。它定义了一组 Kubernetes自定义资源 ,它们充当构建块,您可以从中组装 CI/CD 管道。
  • Tekton Triggers允许您根据事件实例化管道。例如,您可以在每次 PR 与 GitHub 存储库合并时触发管道的实例化和执行。您还可以构建启动特定 Tekton 触发器的用户界面。
  • Tekton CLI提供了一个名为 的命令行界面tkn,它建立在 Kubernetes CLI 之上,允许您与 Tekton 进行交互。
  • Tekton Dashboard是 Tekton Pipelines 的基于 Web 的图形界面,可显示有关管道执行的信息。它目前正在进行中。
  • Tekton Catalog是一个高质量的、社区贡献的 Tekton 构建块的存储库 -TasksPipelines等 - 可以在您自己的管道中使用。
  • Tekton Hub是一个基于 Web 的图形界面,用于访问 Tekton 目录。
  • Tekton Operator是一种 Kubernetes Operator 模式 ,允许您在 Kubernetes 集群上安装、更新和删除 Tekton 项目。

案例

任务流程

git clone -->> make build -->> image build -->> image push registry

我们这里使用一个简单的golang服务,Dockerfiel来进行测试,下面是清单内容

package main

import (
    "fmt"
    "net/http"
    "strings"
    "log"
)

func sayhelloName(w http.ResponseWriter, r *http.Request) {
    r.ParseForm()  // 解析参数,默认是不会解析的
    fmt.Println(r.Form)  // 这些信息是输出到服务器端的打印信息
    fmt.Println("path", r.URL.Path)
    fmt.Println("scheme", r.URL.Scheme)
    fmt.Println(r.Form["url_long"])
    for k, v := range r.Form {
        fmt.Println("key:", k)
        fmt.Println("val:", strings.Join(v, ""))
    }
    fmt.Fprintf(w, "Hello World!") // 这个写入到 w 的是输出到客户端的
}

func main() {
    http.HandleFunc("/", sayhelloName) // 设置访问的路由
    err := http.ListenAndServe(":9090", nil) // 设置监听的端口
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

····golang文件·····

FROM  hub.17usoft.com/k8stest/golang:v0.1
MAINTAINER ycloud
ADD web-service /app/
WORKDIR /app
EXPOSE 9090
CMD ["./web-service"]

​ ·····Dockerfile····

在Dockerfile中基础镜像,可用其他golang镜像替代

git clone

接下来我们构建第一个tekton任务tasks,用于从私人代码库中拉去任务。这里需要提示官方提供了一个tekton的资源中心Tekton Hub,上面有各个组织和团队贡献的任务,满足部分需求,可供选择。中间的过程可根据自己的需求来进行调整。当然自己也可根据自己任务的情况,去构建符合自己需求的tasks,并非要用官方提供的。

kubectl apply -f https://raw.githubusercontent.com/tektoncd/catalog/main/task/git-clone/0.8/git-clone.yaml

这里我们需要创建一个pvc,为git提供存放位置,也可添加一个git认证,不过这里我们忽略,自行查询。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-app
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 500Mi
  storageClassName: nfs-sc

make build

第二个tekton任务tasks,用于从代码的打包,因为我们这是使用的golang语言的代码,所以我们在这第二个任务选择golang-build

kubectl apply -f https://raw.githubusercontent.com/tektoncd/catalog/main/task/golang-build/0.3/golang-build.yaml
  params:
  - name: packages
    description: "packages to build (default: ./cmd/...)"
    default: "./cmd/..."
  - name: subdirectory
    description: subdirectory inside the "source"
    default: "./"

我们pipeline中使用的subdirectory字段,源文件中没有,所以需要我们手动添加一下。这个子目录的作用是,不想根据项目创建多个pvc,一个pvc通过不同的目录来区分项目,这样很能很快保障我们文件所存在的位置。

kaniko

kaniko 是 Google 开源的一个工具,旨在帮助开发人员从容器或 Kubernetes 集群内的 Dockerfile 构建容器镜像。我们这里丢弃了以往的docker build。 kaniko可以帮助我们完成镜像的打包和推送工作,也就是流程中的第三和第四部分

kubectl apply -f https://raw.githubusercontent.com/tektoncd/catalog/main/task/kaniko/0.6/kaniko.yaml

在我们推送镜像的过程中,需要我们对其进行登录认证,为了方便我们后续操作,可以将认证保存在kubernetes的secrets资源对象中。首先确保我们本机可以login到我们的镜像仓库中去,我们这里选择的是harbor私人仓库

[root@master]# docker login hub.17usoft.com
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

登录成功之后,密钥信息会保存在我们的/root/.docker/config.json文件中,接下来创建secrets对象

kubectl create secret generic dockerconfig \
    --from-file=config.json= ~/.docker/config.json \
    --type=kubernetes.io/dockerconfigjson

pipeline

Pipeline可以编排多个task,pipeline的params声明了执行时的入参,spec.tasks定义了需要编排的task,通过runAfter可以定义task执行的顺序。在编排task的时候在spec.tasks.params中可以指定传入task的参数。

apiVersion: tekton.dev/v1beta1
kind: Pipeline
metadata:
  name: kaniko-test-pipeline
spec:
  params:
  - name: repo-url
    type: string
    description: The git repository URL to clone from.
  - name: branch-name
    type: string
    description: The git branch to clone.
  - name: image
    type: string
    description: To build the image
  - name: package
    type: string
    description: base package to build in
  - name: subdirectory
    type: string
  workspaces:
  - name: shared-data
  - name: dockerconfig
  tasks:
  - name: fetch-repo
    taskRef:
      name: git-clone
    workspaces:
    - name: output
      workspace: shared-data
    params:
    - name: url
      value: $(params.repo-url)
    - name: revision
      value: $(params.branch-name)
    - name: subdirectory
      value: $(params.subdirectory)
    - name: deleteExisting
      value: "true"
  - name: go-build
    taskRef:
      name: golang-build
    runAfter:
      - fetch-repo
    workspaces:
      - name: source
        workspace: shared-data
    params:
      - name: package
        value: $(params.package)
      - name: subdirectory
        value: $(params.subdirectory)
      - name: packages
        value: "./"
      - name: flags
        value: -v -o $(workspaces.source.path)/$(params.subdirectory)
  - name: kaniko
    taskRef:
      name: kaniko
    runAfter: 
    - go-build
    workspaces:
    - name: source
      workspace: shared-data
    - name: dockerconfig
      workspace: dockerconfig
    params:
    - name: IMAGE
      value: $(params.image)
    - name: DOCKERFILE
      value: ./$(params.subdirectory)/Dockerfile
    - name: CONTEXT
      value: ./test/
    - name: EXTRA_ARGS
      value:
        - --skip-tls-verify

pipelinerun

Task和Pipeline都是一些模板,真正执行需要PipelineRun。PipelineRun可以给Pipeline传参,并执行Pipeline。

repo—url是我们git仓库地址,image是我们所构建的镜像名称

apiVersion: tekton.dev/v1beta1
kind: PipelineRun
metadata:
  name: kaniko-test-pipeline-run
spec:
  pipelineRef:
    name: kaniko-test-pipeline
  workspaces:
  - name: shared-data
    persistentVolumeClaim:
      claimName: my-app
  - name: dockerconfig
    secret:
      secretName: dockerconfig
  params:
  - name: repo-url
    value: http://10.177.9.244:31002/root/golang.git
  - name: branch-name
    value: master
  - name: package
    value: golang
  - name: image
    value:  hub.17usoft.com/gstrain/web-service:v0.1
  - name: subdirectory
    value: test

最后我们可以通过kubectl应用这些配置。通过tekton dashboard可查看当前任务进程。

让我们用构建好的镜像来运行一个容器来测试它的功能。
[root@master ~]# docker run --rm -p 9090:9090 hub.17usoft.com/gstrain/web-service:v0.1
[root@master ~]# curl 10.177.9.244:9090
Hello World!

​ 我们这个pipeline流程就走通了,后续我们会添加上tekton 触发器,当条件触发自动运行pipeline,来达到自动化的流程。会更加优化pipleine中琐碎参数,不用再去手动传参,自动获取一些参数让我们使用。

​ 我们还会添加一个新的任务,当我们完成镜像推送后自动修改配置仓库中yaml信息,无需手动修改上传。

​ 引入一个新的工具argocd用作服务的发布,当修改好配置仓库中的yaml是自动触发,来完成我们服务的发布,来达到CI/CD自动化。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
3月前
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
205 17
|
7月前
|
Cloud Native
邀您参加云原生高可用技术沙龙丨云上高可用体系构建:从理论到实践
云原生高可用技术专场,邀您从理论到实践一起交流,探索云上高可用体系构建!
144 44
|
7月前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
7月前
|
人工智能 Cloud Native 大数据
DataWorks深度技术解读:构建开放的云原生数据开发平台
Dateworks是一款阿里云推出的云原生数据处理产品,旨在解决数据治理和数仓管理中的挑战。它强调数据的准确性与一致性,确保商业决策的有效性。然而,严格的治理模式限制了开发者的灵活性,尤其是在面对多模态数据和AI应用时。为应对这些挑战,Dateworks进行了重大革新,包括云原生化、开放性增强及面向开发者的改进。通过Kubernetes作为资源底座,Dateworks实现了更灵活的任务调度和容器化支持,连接更多云产品,并提供开源Flowspec和Open API,提升用户体验。
|
7月前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
本文基于2024云栖大会演讲,探讨了软件供应链攻击的快速增长趋势及对企业安全的挑战。文中介绍了如何利用阿里云容器服务ACK、ACR和ASM构建云原生软件供应链安全,涵盖容器镜像的可信生产、管理和分发,以及服务网格ASM实现应用无感的零信任安全,确保企业在软件开发和部署过程中的安全性。
|
7月前
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
8月前
|
运维 Cloud Native Docker
云端漫步:构建你的第一个云原生应用
在这篇文章中,我们将一起踏上一段激动人心的旅程,探索如何从零开始构建一个云原生应用。我们将深入理解云原生的核心概念,并通过实际代码示例,学习如何利用云平台的强大功能来部署和管理应用。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的指导和启发。让我们一起开启这场云端之旅,发现云原生应用的魅力吧!
187 3
|
8月前
|
Kubernetes Cloud Native Ubuntu
庆祝 .NET 9 正式版发布与 Dapr 从 CNCF 毕业:构建高效云原生应用的最佳实践
2024年11月13日,.NET 9 正式版发布,Dapr 从 CNCF 毕业,标志着云原生技术的成熟。本文介绍如何使用 .NET 9 Aspire、Dapr 1.14.4、Kubernetes 1.31.0/Containerd 1.7.14、Ubuntu Server 24.04 LTS 和 Podman 5.3.0-rc3 构建高效、可靠的云原生应用。涵盖环境准备、应用开发、Dapr 集成、容器化和 Kubernetes 部署等内容。
414 6
|
8月前
|
运维 Kubernetes Cloud Native
云原生架构:构建现代应用程序的基石####
本文将深入探讨云原生架构的核心概念、关键特征及其对现代软件开发的重要性。不同于传统的摘要概述,我们将通过一个生动的案例引入——想象一下,一家初创企业如何在短短几个月内,从零开始构建起一个能够支撑数百万用户访问量、具备高可用性与弹性伸缩能力的在线服务平台。这个过程中,云原生技术扮演了怎样的角色?它是如何帮助这家企业快速响应市场变化,同时保持系统稳定性和成本效益的?带着这些问题,让我们一起揭开云原生架构背后的神秘面纱。 ####
|
8月前
|
监控 Cloud Native 微服务
云端漫步:探索云原生应用的构建与部署
【10月更文挑战第32天】在数字时代的浪潮中,云原生技术如同一艘航船,承载着企业的梦想驶向未知的海洋。本文将带你领略云原生应用的魅力,从基础概念到实战操作,我们将一步步揭开云原生的神秘面纱,体验它如何简化开发、加速部署,并提升系统的可扩展性与可靠性。让我们一起启航,探索云原生的世界!

推荐镜像

更多