备案控制台
开发者社区 开发与运维 文章 正文

Tekton系列之实践篇-我的第一条Pipeline

2022-05-31 355
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Tekton系列之实践篇-我的第一条Pipeline

前面已经完成了Tekton的安装和理论知识的介绍，如果你认真的看完了文章，相信你会有所收获。


这篇文章主要带你来真正实践一下，完成自己的第一条流水线。


我们流水线的整体流程如下。


640.png


整个流程是不是很简单？是的，这是最基本的流程，其实只需要把最基本的搞通，其他的都是在基础之上进行扩展。


这里使用Go简单写了一个小代码用于测试，地址是：

https://gitee.com/coolops/devops-hello-world.git。


如果使用Jenkins来实现上面的功能，就只需要编写一个Jenkinsfile，然后在里面写4个stage就好。现在用Tekton，就需要将上面的步骤定义为4个Task，然后通过Pipeline将它们串起来，下面会先定义Task，再将Task组合成Pipeline。


拉取代码


代码是交付的基石，是后续的所有动作做铺垫的，我们需要创建一个拉取代码的Task。

不过这个Task，我们可以不用自己写，直接用Tekton Hub上别人写好的，地址是：

https://hub.tekton.dev/tekton/task/git-clone。这个Task支持的功能比较全，参数也比较多，具体有哪些参数可以到上面的地址进行查看和学习。


其安装方式有两种：kubectl和tkn客户端。


（1）使用kubectl进行安装


kubectl apply -f https://raw.githubusercontent.com/tektoncd/catalog/main/task/git-clone/0.5/git-clone.yaml


（2）使用tkn客户端进行安装


tkn hub install task git-clone


我这里使用的第二种安装方式，安装后可以看到具体的Task。


# tkn hub install task git-clone
Task git-clone(0.5) installed in default namespace
# kubectl get task | grep git-clone
git-clone        54s


这个Task到底能不能满足我们的需求呢？我们可以创建一个TaskRun来进行测试，如下（由于还没有配置拉取代码仓库的用户名和密码，这里先用一个公开的仓库进行测试）。


apiVersion: tekton.dev/v1beta1
kind: TaskRun
metadata:
  name: test-git-clone
  namespace: default
spec:
  workspaces:
    - name: output
      emptyDir: {}
  params:
  - name: url
    value: "https://gitee.com/coolops/tekton-install.git"
  - name: revision
    value: "master"
  - name: gitInitImage
    value: "registry.cn-hangzhou.aliyuncs.com/coolops/tekton-git-init:v0.29"
  taskRef:
    name: git-clone


运行过后，可以看到代码正常拉取。


640.png


单元测试


单元测试比较简单，基本就是执行go test ./... 命令就行，比如。


> go test ./...
ok      devops-hello-world      0.313s
ok      devops-hello-world/pkg  (cached)


所以这个Task，只需要一个Go环境，能执行Go命令即可，如下：


apiVersion: tekton.dev/v1beta1
kind: Task 
metadata: 
  name: unit-test
spec: 
  workspaces:
    - name: source
  steps: 
    - name: unit-test
      workingDir: $(workspaces.source.path)
      image: golang:1.17.5
      env:
      - name: GOPROXY
        value: https://goproxy.cn
      command: ['go'] 
      args:
      - "test"
      - "./..."


构建镜像/推送


为什么这里没有单独把应用构建组成一个Task呢？主要是我们在这里采用了多阶段构建，我们可以将应用构建-镜像打包写在一个Dockerfile中，所以这里只需要写一个Task。


apiVersion: tekton.dev/v1beta1
kind: Task 
metadata: 
  name: build-push-image
spec: 
  params:
    - name: pathToDockerfile
      description: The path to the dockerfile to build (relative to the context)
      default: Dockerfile
    - name: imageUrl
      description: Url of image repository
    - name: imageTag
      description: Tag to apply to the built image
      default: latest
  workspaces:
    - name: source
    - name: dockerconfig
      mountPath: /kaniko/.docker # config.json 的挂载目录
  steps:
    - name: build-and-push
      image: registry.cn-hangzhou.aliyuncs.com/coolops/kaniko-executor:v1.5.0
      workingDir: $(workspaces.source.path)
      command:
        - /kaniko/executor
      args:
        - --dockerfile=$(params.pathToDockerfile)
        - --destination=$(params.imageUrl):$(params.imageTag)
        - --context=$(workspaces.source.path)


我们这里采用kaniko进行构建镜像，用这种方式不用挂载docker.sock文件，但是我们需要将docker config保存在/kaniko/.docker目录下。我们可以通过如下命令来创建secret。


kubectl create secret docker-registry dockerhub --docker-server=https://index.docker.io/v1/ --docker-username=[USERNAME] --docker-password=[PASSWORD] --dry-run=client -o json | jq -r '.data.".dockerconfigjson"' | base64 -d > /tmp/config.json && kubectl create secret generic docker-config --from-file=/tmp/config.json && rm -f /tmp/config.json


如果在运行上面命令的时候没有jq命令，就需要你安装一下。


yum install jq -y


部署应用


这里采用的deployment的方式部署应用，所以只需要使用kubectl进行部署即可。


不过在使用kubectl的时候需要/root/.kube/config文件，所以这里依然将config文件通过secret挂载到容器中。


创建一个secret，如下：


kubectl create secret generic kubernetes-config --from-file=/root/.kube/config


然后创建Task，如下：


apiVersion: tekton.dev/v1alpha1
kind: Task
metadata:
  name: deploy-to-k8s
spec:
  workspaces:
    - name: source
    - name: kubernetesconfig
      mountPath: /root/.kube
  params:
    - name: pathToYamlFile
      description: The path to the yaml file to deploy within the git source
      default: deployment.yaml
    - name: IMAGE
    - name: TAG
  steps:
    - name: run-kubectl
      image: registry.cn-hangzhou.aliyuncs.com/coolops/kubectl:1.19.16
      workingDir: $(workspaces.source.path)
      script: |
        sed -i s#IMAGE#$(params.IMAGE)#g $(params.pathToYamlFile)
        sed -i s#TAG#$(params.TAG)#g $(params.pathToYamlFile)
        kubectl apply -f $(params.pathToYamlFile)


整合成Pipeline


上面我们已经把每一步整理成了Task，下面就应该进行Pipeline的组合了，然后再声明需要的变量就可以，如下：


apiVersion: tekton.dev/v1beta1 
kind: Pipeline 
metadata: 
  name: devops-hello-world-pipeline 
spec: 
  workspaces: # 声明 workspaces 
    - name: go-repo-pvc 
    - name: docker-config
    - name: kubernetes-config
  params: 
    - name: git_url 
    - name: revision 
      type: string 
      default: "master" 
    - name: gitInitImage
      type: string
      default: "registry.cn-hangzhou.aliyuncs.com/coolops/tekton-git-init:v0.29"
    - name: pathToDockerfile
      description: The path to the build context, used by Kaniko - within the workspace
      default: .
    - name: imageUrl
      description: Url of image repository
    - name: imageTag
      description: Tag to apply to the built image
      default: latest
  tasks: # 添加task到流水线中 
    - name: clone 
      taskRef: 
        name: git-clone 
      workspaces: 
        - name: output 
          workspace: go-repo-pvc 
      params: 
        - name: url 
          value: $(params.git_url) 
        - name: revision 
          value: $(params.revision) 
        - name: gitInitImage
          value: $(params.gitInitImage)
    - name: unit-test 
      workspaces: # 传递 workspaces 
        - name: source
          workspace: go-repo-pvc
      taskRef: 
        name: unit-test
      runAfter:
      - clone
    - name: build-push-image
      params:
      - name: pathToDockerfile
        value: $(params.pathToDockerfile)
      - name: imageUrl
        value: $(params.imageUrl)
      - name: imageTag
        value: $(params.imageTag)
      taskRef: 
        name: build-push-image 
      runAfter:
        - unit-test 
      workspaces: # 传递 workspaces 
        - name: source
          workspace: go-repo-pvc
        - name: dockerconfig
          workspace: docker-config
    - name: deploy-to-k8s
      taskRef: 
        name: deploy-to-k8s
      params:
        - name: pathToYamlFile
          value: deployment.yaml
        - name: IMAGE
          value: $(params.imageUrl)
        - name: TAG
          value: $(params.imageTag)
      workspaces:
        - name: source
          workspace: go-repo-pvc 
        - name: kubernetesconfig
          workspace: kubernetes-config
      runAfter:
        - build-push-image


运行测试


运行测试就是创建PipelineRun，不过在创建之前，我们先创建需要的认证信息。


apiVersion: v1 
kind: Secret 
metadata: 
  name: gitlab-auth 
  annotations: 
    tekton.dev/git-0: https://gitee.com/  # 这里使用的gitee仓库
type: kubernetes.io/basic-auth 
stringData: 
  username: xxxx
  password: xxxx
---
apiVersion: v1 
kind: ServiceAccount 
metadata: 
  name: tekton-build-sa 
secrets:  
  - name: gitlab-auth
---
apiVersion: rbac.authorization.k8s.io/v1 
kind: ClusterRoleBinding 
metadata: 
  name: tekton-clusterrole-binding 
roleRef: 
  apiGroup: rbac.authorization.k8s.io 
  kind: ClusterRole 
  name: edit 
subjects: 
- kind: ServiceAccount 
  name: tekton-build-sa 
  namespace: default


然后我们就可以创建PipelineRun了，如下：


apiVersion: tekton.dev/v1beta1
kind: PipelineRun
metadata:
  name: devops-hello-world-pipeline-run
spec:
  pipelineRef:
    name: devops-hello-world-pipeline 
  params:
    - name: revision
      value: master
    - name: git_url
      value: https://gitee.com/coolops/devops-hello-world.git  
    - name: imageUrl
      value: registry.cn-hangzhou.aliyuncs.com/coolops/devops-hello-world
    - name: imageTag
      value: latest
    - name: pathToDockerfile
      value: Dockerfile
  workspaces:
    - name: go-repo-pvc
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          storageClassName: openebs-hostpath
          resources:
            requests:
              storage: 1Gi
    - name: docker-config
      secret:
        secretName: docker-config
    - name: kubernetes-config
      secret:
        secretName: kubernetes-config
  serviceAccountName: tekton-build-sa


然后我们在Tekton的Dashboard上看到Pipeline运行成功。


640.png


应用也启动成功。


# kubectl get po | grep http
httpserver-696479dd5d-qplnx                                       2/2     Running     0          2m18s


访问页面，返回正常。


# curl 10.102.140.2:8080
{"data":300,"say":"Hello World"}


但是上面我们是固定的镜像TAG，在实际工作中，很多不固定，所以我们对其改造一下。在Tekton Hub上的git-clone Task会输出commit results，我们可以使用commit ID作为镜像Tag，改造后的的Pipeline如下：


apiVersion: tekton.dev/v1beta1 
kind: Pipeline 
metadata: 
  name: devops-hello-world-pipeline 
spec: 
  workspaces: # 声明 workspaces 
    - name: go-repo-pvc 
    - name: docker-config
    - name: kubernetes-config
  params: 
    # 定义代码仓库 
    - name: git_url 
    - name: revision 
      type: string 
      default: "master" 
    - name: gitInitImage
      type: string
      default: "registry.cn-hangzhou.aliyuncs.com/coolops/tekton-git-init:v0.29"
    # 定义镜像参数 
    - name: pathToDockerfile
      description: The path to the build context, used by Kaniko - within the workspace
      default: .
    - name: imageUrl
      description: Url of image repository
    - name: imageTag
      description: Tag to apply to the built image
      default: latest
  tasks: # 添加task到流水线中 
    - name: clone 
      taskRef: 
        name: git-clone 
      workspaces: 
        - name: output 
          workspace: go-repo-pvc 
      params: 
        - name: url 
          value: $(params.git_url) 
        - name: revision 
          value: $(params.revision) 
        - name: gitInitImage
          value: $(params.gitInitImage)
    - name: unit-test 
      workspaces: # 传递 workspaces 
        - name: source
          workspace: go-repo-pvc
      taskRef: 
        name: unit-test
      runAfter:
      - clone
    - name: build-push-image
      params:
      - name: pathToDockerfile
        value: $(params.pathToDockerfile)
      - name: imageUrl
        value: $(params.imageUrl)
      - name: imageTag
        value: $(tasks.clone.results.commit) 
      taskRef: 
        name: build-push-image 
      runAfter:
        - unit-test 
      workspaces: # 传递 workspaces 
        - name: source
          workspace: go-repo-pvc
        - name: dockerconfig
          workspace: docker-config
    - name: deploy-to-k8s
      taskRef: 
        name: deploy-to-k8s
      params:
        - name: pathToYamlFile
          value: deployment.yaml
        - name: IMAGE
          value: $(params.imageUrl)
        - name: TAG
          value: $(tasks.clone.results.commit) 
      workspaces:
        - name: source
          workspace: go-repo-pvc 
        - name: kubernetesconfig
          workspace: kubernetes-config
      runAfter:
        - build-push-image


我们在后面的Task中引用前面Task的 输出，使用

$(tasks.clone.results.commit) 即可。


重新跑Pipeline，构建出来的镜像Tag就是commit ID，如下：


640.png


代码仓库最后一次提交的commit ID。


640.png


总结


整个流水线看起来很简单，在调试的时候还是费一定的周折，主要是定义的参数传过去传过来，有时候就忘记指定了，就要不断的调试。


文章中所有的代码和YAML清单我都放在Gitee（https://gitee.com/coolops/devops-hello-world）上了，有需要的可以自己去拿。

文章标签：
容器服务Kubernetes版
Go
容器
持续交付
测试技术
数据安全/隐私保护
Docker
jenkins
相关实践学习
容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
通过本实验，您将了解到容器服务Serverless版ACK Serverless 的基本产品能力，即可以实现快速部署一个在线魔方应用，并借助阿里云容器服务成熟的产品生态，实现在线应用的企业级监控，提升应用稳定性。
云原生实践公开课
课程大纲 开篇：如何学习并实践云原生技术 基础篇： 5 步上手 Kubernetes 进阶篇：生产环境下的 K8s 实践 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
运维开发故事
目录
相关文章
宁在春
|
6天前
|
jenkins 持续交付
Jenkins Pipeline 参数化构建
Jenkins Pipeline 参数化构建
宁在春
116 0
摩诃般若
|
6天前
|
jenkins 持续交付 开发者
FLOW流水线YAML使用体验
在创建过程中，选择YAML模板方式有时不支持，而自由主机方式则正常。YAML编辑器提供详细提示和补全功能，具备错误定位和校验，有助于入门者。它适用于测试、执行、部署和编码等场景，相比Jenkins，配置更简单，引导更完善，降低了CI/CD的入门难度，尤其适合个人开发者进行定制化需求操作。
摩诃般若
29 2
jiangxl~
|
jenkins 持续交付 开发工具
Jenkins-pipline流水线语法介绍并结合Blue Ocean查看流水线（十四）
jenkins集成pipeline流水线 1.pipeline概述 pipeline流水线，可以直观的展示每个阶段做的任务，以及每个阶段耗费的时间。 pipeline不在使用鼠标来实现自动构建，也不要去看控制台日志，而是全程使用代码的方式来实现，构建完成后会展示一个视图，用来展示每个阶段完成的情况
jiangxl~
257 0
Jenkins-pipline流水线语法介绍并结合Blue Ocean查看流水线（十四）
吞吞吐吐的
|
jenkins 持续交付
Jenkins 在声明式 pipeline 中并行执行任务
吞吞吐吐的
2708 0
TesterMuller
|
6天前
|
存储 数据可视化 jenkins
持续交付-Pipeline入门
持续交付-Pipeline入门
TesterMuller
17 0
DevOps和k8s全栈技术
|
7月前
|
jenkins 持续交付 开发工具
通过jenkins构建一个多分支的Pipeline项目
通过jenkins构建一个多分支的Pipeline项目
DevOps和k8s全栈技术
244 0
宁在春
|
6天前
|
存储 jenkins Shell
Jenkins Pipeline 流水线任务 补充篇
Jenkins Pipeline 流水线任务 补充篇
宁在春
78 0
junedayday
|
7月前
|
Kubernetes 应用服务中间件 nginx
【K8s源码品读】001：Phase 1 - 掌握k8s创建pod的基本流程
部署Kubernetes集群的方法（建议用kubeadm），详细可参考我的博客，或者可直接参考[官方文档]
junedayday
102 0
我是小ba吖
|
7月前
|
数据可视化 jenkins Java
Jenkins之pipeline语法——2023.07
Jenkins之pipeline语法——2023.07
我是小ba吖
114 0
云效和通义灵码官方马甲
|
8月前
|
JavaScript Java Go
Pipeline as Code 轻松管理你的流水线
云效 Flow 基于 Pipeline as Code 支持以 YAML 方式编排流水线，帮助客户解决多条流水线快速创建、批量管理等问题，满足跳过/分支等复杂流程编排场景。今天我们跟着云效流水线产品经理一起体验和感受云效流水线 YAML 化的最新能力。
云效和通义灵码官方马甲
511 0