阿里云K8s+Istio+Knative搭建Serverless平台

前言

本文以一个Nodejs前端开发者角度出发，从零基于阿里云平台能力搭建一个弹性的Serverless平台的记录。希望对也想了解这个产品整体的小伙伴们有一定帮助。

官方文档：https://help.aliyun.com/document_detail/121509.html
控制台：https://cs.console.aliyun.com/

为什么是Knative

项目主页：https://knative.dev/
项目仓库：https://github.com/knative

总结为下面两张之前我分享的PPT

• knative 定位：

• knative 三大组件：

前置依赖

• 创建一个k8s集群，且集群中Worker节点的数量大于等于3个。
• 部署 Istio。

下图可知它们之间的关系：

部署k8s集群

文档：https://help.aliyun.com/document_detail/86488.html
Kubernetes 是流行的开源容器编排技术，按照以下步骤快速创建一个k8s集群

1. 选择标准托管k8s
2. 创建专有网络和虚拟交换机， 否则无法选择购买实例规格
3. 选择worker实例规格，因为是体验平台，故我选择了3台最小规格支持Pod的实例, 这是最低要求。因为是托管k8s集群，故不需要选择master

1. 创建和选择 密钥对，后面在本机电脑操作远端服务的认证
2. 公网访问：使用 EIP 暴露 API Server 记得选择上，集群创建好不能修改, 不然无法在本机电脑上通过http url 访问服务
3. 选择上日志服务
4. 保障账户余额不低于100
5. 其他默认配置

点击创建k8s集群，所有检查项通过后，约10 分钟创建成功所有资源

部署Istio

Istio为解决微服务的分布式应用架构在运维、调试、和安全管理等维度存在的问题，可通过部署Istio创建微服务网络，并提供负载均衡、服务间认证以及监控等能力，同时Istio不需要修改服务即可实现以上功能
通过下面步骤快速在上面的k8s中部署istio

1. 选择对应集群部署istio

1. 如果要实现 Tracing 分布式追踪服务，勾选开启
2. 在链路追踪服务，打开Region对应信息查看token， 复制与集群region一直的内网接入http url 到istio配置中
3. 其他默认配置，点击部署，很快相应服务部署成功再k8s集群上

部署Knative

文档：https://help.aliyun.com/document_detail/121509.html
在控制台左侧，找到Knative（公测），选择组件管理，点击右上方一键部署，部署我们前面讲到的Knative 三大组件

• Tekton 组件 （原build 组件不在推荐） - v0.9.2
• Serving 组件 - v0.11.0
• Eventing 组件 - v0.11.0

检查未通过，需要开启 istio-ingressgateway，解决：
在控制台> 服务网格 > istio管理， 点右侧更新
将如下，光标高亮 gateways enabled 默认false 修改为 true, 点击更新后，

再次部署kantive组件，很快即可部署成功

部署服务

下载Knative 官方服务demo 工程

git clone https://github.com/knative/docs

# nodejs demo 服务
cd docs/serving/samples/hello-world/helloworld-nodejs

查看修复成，你想要的服务

const express = require('express');
const app = express();

app.get('/', (req, res) => {
  console.log('Hello world received a request.');

  const target = process.env.TARGET || 'World';

 // 我添加了输出，可以查看流量访问的不同服务版本
  const kRevision = process.env.K_REVISION || '';  
  res.send(`Hello ${target} (revision: ${kRevision}) \n`);
});

const port = process.env.PORT || 8080;
app.listen(port, () => {
  console.log('Hello world listening on port', port);
});

镜像构建与发布

# 目前 Docker 官方维护了一个公共仓库Docker Hub 我们将自己构建的镜像发布上去
# https://hub.docker.com/
# 进行镜像构建, 其中859652049替换成你的账号名
docker build -t 859652049/helloworld-nodejs .
# 推送镜像到公共仓库Docker Hub
docker push 859652049/helloworld-nodejs

控制台可视化部署

1. 回到控制面板 > Knative > 服务管理 > 选择k8s集群命名空间default, 创建服务
2. 支持根据模板快速创建 和 可视化编辑创建。
3. 我们选择可视化创建
4. 镜像名称输入：docker.io/859652049/helloworld-nodejs （也可以用你上面自己创建的镜像）
5. 配置环境变量 TARGET： NodeX 1 （服务代码里用到这个环境变量）

6. 其他默认配置，可以自由配置

   • 最大并发不控制
   • 弹性实例最小0， 最大100
   • CPU 0.25Core, 内存 125M
   • 不挂载额外存储数据卷

服务部署成功

访问服务，其中下面的ip 和 host 对应，上图中默认域名和访问网关ip

curl -H "HOST: nodejs.default.example.com" http://47.111.223.97 

或者通过绑定公网ip 到默认域名上

# 推荐工具SwitchHosts https://github.com/oldj/SwitchHosts/blob/master/README_cn.md
47.111.223.97 nodejs.default.example.com

两种方式，接口数据返回成功

Kubectl命令行部署

文档：https://help.aliyun.com/document_detail/86494.html

1. 安装 kubectl 客户端，根据文档， 我这边mac 通过docker 客户端 Preferences 设置中 enable kubernetes 后安装了。
2. 配置登录凭据
3. 集群列表，点击集群名，选择KubeConfig（公网访问）页签，并单击复制，将内容复制到本地计算机的 $HOME/.kube/config

1. 执行 kubectl get revisions 查看部署服务的版本，如下可以看到我们上面通过控制台可视化部署的服务nodejs， 一个版本nodejs-dn5vh
   

5.通过kubectl 部署新的一个版本

还是我们之前使用的 helloworld-nodejs 工程， 将配置文件service.yaml

apiVersion: serving.knative.dev/v1alpha1
kind: Service
metadata:
  name: nodejs # 服务名
  namespace: default  # 服务部署的命名空间
spec:
  template:
    metadata:
      name: nodejs-dn5vh-v2
    spec:
      containers:
      - image: docker.io/859652049/helloworld-nodejs
        env:
        - name: TARGET
          value: "NodeX 2" # 环境变量更新为2
  traffic:  # 设置流量分配到不同服务版本, 也可通过如下图可视化修改配置
    - tag: current
      revisionName: nodejs-dn5vh # 修改为自动可视化自动生成的版本号
      percent: 50 # 50% 流量版本1
    - tag: candidate
      revisionName: nodejs-dn5vh-v2  # 与当前版本号一致
      percent: 50  # 50% 流量版本2
    - tag: latest
      latestRevision: true
      percent: 0

1. 部署服务

kubectl --namespace default apply -f ./service.yaml 

1. 多次访问服务，流量按比例导入到2个版本

自定义域名

在Knative Serving route 路由中默认使用 example.com 作为默认域名，route 完全定义的域名格式默认为：
{service}.{namespace}.{default-domain} ，如：nodejs.default.example.com

域名A记录到网关

1. 首先你要有个阿里云备案过的域名，否则最后访问会显示需要接入备案
2. 将域名 A记录 指向自己的公网网关地址，如上：47.111.223.97

这个有个注意点，因为服务部署的命名空间和服务名 都会不断变化，或者有多个。故A记录时候使用泛域名绑定
比如 dev.lianxuify.com 这个子域名是我用来开发测试的
dev.lianxuify.com
nodejs.default.dev.lianxuify.com
nodejs-1.default.dev.lianxuify.com

1. 修改默认域名example.com 为 dev.lianxuify.com

通过控制台配置

菜单 Knative > 组件管理 > 点击核心组件Serving 详情 > 自定义域名模板 > 点击查看yaml

apiVersion: v1
data:
  _example: |
    ################################
    #                              #
    #    EXAMPLE CONFIGURATION     #
    #                              #
    ################################

    # This block is not actually functional configuration
    # ....
    example.org: |
      selector:
        app: nonprofit

    # Routes having domain suffix of 'svc.cluster.local' will not be exposed
    # through Ingress. You can define your own label selector to assign that
    # ...
    svc.cluster.local: |
      selector:
        app: secret
  # 以上都是注释
  dev.lianxuify.com: '' # 自定义域名，仅需要添加该行，前面添加两个空格，与顶部_example对齐
kind: ConfigMap
metadata:
  creationTimestamp: '2020-02-05T15:21:13Z'
  labels:
    serving.knative.dev/release: v0.11.0
  name: config-domain
  namespace: knative-serving
  resourceVersion: '83466654'
  selfLink: /api/v1/namespaces/knative-serving/configmaps/config-domain
  uid: 257133b2-482b-11ea-9d30-8e59b18ed506

yaml语法 基本语法 http://www.ruanyifeng.com/blog/2016/07/yaml.html

• 大小写敏感
• 使用缩进表示层级关系，几个空格不重要
• 缩进时不允许使用Tab键，只允许使用空格 已验证
• 缩进的空格数目不重要，只要相同层级的元素左侧对齐即可
• \#表示注释
• | 保留换行符 字符串

通过 kubectl 配置

kubectl edit cm config-domain --namespace knative-serving
# 同上添加一行，保存即生效

# 验证生效
kubectl get route
# NAME     URL                                       READY   REASON
# nodejs   http://nodejs.default.dev.lianxuify.com   True

路由转发

当我们有多个服务使用相同的域名，通过请求的Path不同，将流量转发到不同服务中

坑：knative 官方demo 工程，不支持路径访问，只处理根路径访问。 因为这个一直接口返回失败，以为配置搭建问题。

const express = require('express');
const app = express();
// 修改/ 为 *
// app.get('/', (req, res) => {
app.get('*', (req, res) => {
  // ...
});

// 

1. 修改代码路由为*，重新构建镜像，发布镜像 (docker.io/859652049/helloworld-nodejs:latest 已经修改过)
2. 重新部署服务, 按照上面可视化、或者 kubectl 方式重新部署两个服务 nodejs、nodejs2

1. 选择 Knative > 服务管理 > 点击服务名 > 选择路由转发 > 点击配置

1. 配置保存后立即生效，访问符合预期

   • dev.lianxuify.com/nodejs 到服务1 nodejs
   • dev.lianxuify.com/nodejs 到服务2 nodejs2

弹性验证与配置

 kubectl get pods -w  // 查看运行的容器组，sidecar+业务服务

如下所示，当没有流量后 pod 自动会删除，流量进来会弹性扩展

流量根据如下配置进行扩缩容，可根据业务场景要求配置
Knative > 组件管理 > 点击Serving组件详情> 点击扩缩容配置

这些参数是服务弹性算法的关键配置，需要结合业务配置出最佳实践，鼠标hover小绿点有详细说明。

日志监控

在Knative 上对分布式的日志，监控接入这里没有进行深度探索。文档整体看下来，流程与常规服务接入没区别，开通对应产品进行接入即可。
以下是创建集群默认创建的部分日志和监控

回滚

在Knative 上对发布进行回滚，没有进行深度探索。大致理解如下

• 回滚历史版本，通过流量配置修改，将流量切到老版本
• 对应同版本回滚，找到如下回滚面板

CICD

持续集成持续交付这块，还在探索中。看到 GitHub 事件源add-on 组件，通过github 仓库的钩子事件能触发到
Knative平台去构建镜像、部署服务。另一种方式自己监听gitlab 钩子事件，构建推送镜像，调用平台OpenAPI接口 （如上图有个触发重新部署的接口）或者 自己的部署平台调用kubectl 命令行工具部署

总结

以上我们利用阿里云K8s+Istio+Knative 搭建Serverless平台

• 部署了k8s集群
• 部署了Istio
• 部署了Knative 三大组件
• 部署了业务服务，验证了弹性扩缩容
• 自定义了域名 + 路由转发 到不同服务
• 不停服蓝绿部署、按流量灰度发布， 同个服务多个版本

该平台提供可视化配置 + 以及其yaml配置文件，对一个新手认识、使用这个生态能力有很好的帮助。
整套方案对应传统服务迁移到Serverless平台上灵活性、友好性较高，未来大有可为。但目前开发者工具相关还不是这么丰富，平台在公测中，整体使用成本和门槛相对阿里云函数计算更高些。因为最低集群3台worker要求，一直占用， 我目前是体验，选择了低配置，大概是4元多一个小时 （不知道能不能更低）

这里还有篇我对阿里云函数计算整体调研的文章： https://yq.aliyun.com/articles/743665
希望两篇文章对大家整体上认识两款产品，以及搭建serverless有帮助。
如有理解有误，欢迎指出，共同成长。
其间感谢阿里云 @元毅 的帮助与解答。