阿里云容器服务基于Istio实现Kubernetes与ECS上的应用服务混合编排

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: Mesh Expansion就是指部署在 Kubernetes 之中的 Istio 服务网格提供的一种将虚拟机或物理裸机集成进入到服务网格的方法。阿里云Kubernetes容器服务已经提供了Istio Mesh Expansion整合能力,本文通过一个官方示例来重点介绍如何使用Istio打通Kubernetes与阿里云ECS上的应用服务混合编排能力。

概述

在前面系列文章中已经介绍了Istio及其各个核心组件,详述了如何利用阿里云Kubernetes容器服务,快速搭建一套用于连接、管理以及保护微服务的开放平台Istio,为应用引入和配置多个相关服务;并且通过一个官方示例演示了如何部署应用到上述Istio环境中,演示了如何设置智能路由、分布式追踪以及Istio 的遥测数据收集、查询及可视化等功能。

回顾这个系列文章请参考:
阿里云Kubernetes Service Mesh实践进行时(1): Istio初体验
阿里云Kubernetes Service Mesh实践进行时(2): 通过示例深入Istio
阿里云Kubernetes Service Mesh实践进行时(3): 智能路由
阿里云Kubernetes Service Mesh实践进行时(4): 分布式追踪
阿里云Kubernetes Service Mesh实践进行时(5): 遥测数据收集、查询及可视化
阿里云Kubernetes Service Mesh实践进行时(6): 故障诊断与检测工具Weave Scope
阿里云Kubernetes Service Mesh实践进行时(7): 可观测性分析服务Kiali
阿里云Kubernetes容器服务Istio实践之集成日志服务Log Service
阿里云Kubernetes容器服务Istio实践之Sidecar自动注入

Istio从0.2开始就提供了一个称之为Mesh Expansion(中文大多称之为网格扩展)的功能。它的主要功能是可以把一些非Kubernetes服务(这些服务往往是运行在其他一些虚拟机或物理裸机中)集成到运行在Kubernetes集群上的Istio服务网格中。

阿里云Kubernetes容器服务已经提供了Istio Mesh Expansion整合能力,本文通过一个官方示例来重点介绍如何使用Istio打通Kubernetes与阿里云ECS上的应用服务混合编排能力。

网格扩展Mesh Expansion

简言之,Mesh Expansion就是指部署在 Kubernetes 之中的 Istio 服务网格提供的一种将虚拟机或物理裸机集成进入到服务网格的方法。

Mesh Expansion对于用户从遗留系统往云上迁移过程中有着非常重要的作用,在微服务体系结构中,无法要求所有的工作负载都在Kubernetes中运行,用户的一些应用程序可能在Kubernetes中运维,而另外一些可能在虚拟机或物理裸机中运行。

通过一套Istio控制面板就可以管理跨Kubernetes与虚拟机或物理裸机的若干服务。这样既能保证原有业务的正常运转,又能实现Kubernetes与虚拟机上的应用服务混合编排的能力。

准备Kubernetes集群并安装Istio

阿里云容器服务Kubernetes 1.10.4目前已经上线,可以通过容器服务管理控制台非常方便地快速创建 Kubernetes 集群。具体过程可以参考创建Kubernetes集群

确保安装配置kubectl 能够连接上Kubernetes 集群。

接着,就像前面系列文章中介绍的步骤,通过应用目录简便部署Istio。首先通过命令行或者控制台创建命名空间istio-system, 然后点击左侧的应用目录,在右侧选中ack-istio,在打开的页面中选择命名空间 istio-system,并点击参数, 可以通过修改参数配置进行定制化安装。

注意#1:说明文档提供了安装和卸载的一些重要信息,特别是常见的CRD(custom resource definition)版本问题。

注意#2:在使用阿里云Kubernetes容器服务Istio 1.0的过程中,如果遇到类似CRD版本问题,请参考我们提供的 阿里云Kubernetes容器服务Istio实践之常见问题分析 。 我们会持续更新遇到的问题及其解决方法。

安装示例到Kubernetes集群中

首先通过如下命令行或者控制台创建命名空间 bookinfo, 并部署我们修改之后的应用。在这个修改后的版本中去掉了details组件,并定义了ingressgateway

本示例中涉及到的文件可以从 这里 获取到。

kubectl create ns bookinfo

kubectl label namespace bookinfo istio-injection=enabled
kubectl apply -n bookinfo -f ./bookinfo/bookinfo-without-details.yaml
kubectl apply -n bookinfo -f ./bookinfo/bookinfo-gateway.yaml

基于官方示例修改的部署,其中details组件和数据库运行在Kubernetes之外的ECS上:
图片.png

正常运行之后,通过ingressgateway暴露的地址访问/productpage页面,效果应该如下所示,details部分应该不能正常显示:
图片.png

设置 Kubernetes

1) 首先,如果在安装Istio时没有为 Kube DNS、Pilot、Mixer 以及 Citadel 设置内部负载均衡器的话,则需要这一步进行设置,命令如下:

kubectl apply -f ./mesh-expansion.yaml

4个服务创建如下:
图片.png

2) 接着,生成 Istio 的 配置cluster.env与 DNS 配置文件kubedns,用来在虚拟机上进行配置。其中cluster.env文件包含了将要拦截的集群 IP 范围,kubedns文件则是让虚拟机上的应用能够解析集群的服务名称,然后被 Sidecar 劫持和转发。

命令如下:

./setupMeshEx.sh generateClusterEnvAndDnsmasq

生成的cluster.env配置文件的示例:
图片.png

生成的kubedns文件的示例:
图片.png

设置ECS

配置你自己的工作环境能与ECS虚机的授权,生成SSHkey并分发到ECS中。可以通过 ssh root@<ECS_HOST_IP> 确认是否可以成功连上ECS虚机。

生成公钥:

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""

为保证ECS能与Kubernetes网络上可通,可以将ECS与Kubernetes加入到同一个安全组。

阿里云容器服务针对ECS的设置步骤提供了较好的用户体验,通过运行以下脚本即可完成配置:

export SERVICE_NAMESPACE=default
./setupMeshEx.sh machineSetup root@<ECS_HOST_IP> 

检查运行的进程:

ps aux |grep istio

图片.png

Istio 认证使用的 Node Agent 健康运行:

sudo systemctl status istio-auth-node-agent

在ECS上运行服务

由前面示例部署图知道,有2个服务需要运行在ECS上,一个是Details服务,另一个是数据库服务。

在ECS上运行Details服务

通过以下命令模拟(仅仅是用Docker模拟而已)一个Details服务,运行在ECS上并暴露端口9080 。

docker pull istio/examples-bookinfo-details-v1:1.8.0
docker run -d -p 9080:9080 --name details-on-vm istio/examples-bookinfo-details-v1:1.8.0

配置 Sidecar 来拦截端口,这一配置存在于 /var/lib/istio/envoy/sidecar.env,使用环境变量ISTIO_INBOUND_PORTS 。

示例 (在运行服务的虚拟机上):

echo "ISTIO_INBOUND_PORTS=9080,8080" > /var/lib/istio/envoy/sidecar.env
systemctl restart istio

注册Details服务到Istio

查找虚拟机的 IP 地址,用来加入服务网格:

hostname -I

手工配置一个没有选择器的服务和端点,用来承载没有对应 Kubernetes Pod 的服务。例如在一个有权限且能够使用 istioctl 命令的服务器上,注册Details服务:

istioctl -n bookinfo register details 192.168.3.202 http:9080

再次访问/productpage页面,效果应该如下所示,details部分应该可以正常显示:
图片.png

将ratings服务切到数据库版本

默认ratings服务不访问数据库,通过如下命令更新版本,使得ratings服务切换到访问数据库的版本:

kubectl apply -f ./bookinfo/bookinfo-ratings-v2-mysql-vm.yaml
kubectl apply -f ./bookinfo/virtual-service-ratings-mysql-vm.yaml

此时访问/productpage页面,效果应该如下所示,ratings部分不能正常显示,下一步就是在ECS上搭建数据库服务,并将之加入到Istio中:
图片.png

在ECS上运行数据库服务

在虚拟机上运行 MariaDB,将其作为 ratings 服务的后端;并配置MariaDB可以支持远程访问。

apt-get update && apt-get install -y mariadb-server
sed -i 's/127\.0\.0\.1/0\.0\.0\.0/g' /etc/mysql/mariadb.conf.d/50-server.cnf
sudo mysql
# 授予 root 权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY 'password' WITH GRANT OPTION;
quit;
sudo systemctl restart mysql

在虚拟机上把初始化 ratings 数据库。

curl -q https://raw.githubusercontent.com/istio/istio/master/samples/bookinfo/src/mysql/mysqldb-init.sql | mysql -u root -ppassword

为了更清晰的观察 Bookinfo 应用在输出方面的差异,可以用下面的命令来修改评级记录,从而生成不同的评级显示:

mysql -u root -ppassword test -e "select * from ratings;"
mysql -u root -ppassword test -e  "update ratings set rating=2;select * from ratings;"

注册数据库服务到Istio

配置 Sidecar 来拦截端口,这一配置存在于 /var/lib/istio/envoy/sidecar.env,使用环境变量ISTIO_INBOUND_PORTS 。

示例 (在运行服务的虚拟机上):

echo "ISTIO_INBOUND_PORTS=3306,9080,8080" > /var/lib/istio/envoy/sidecar.env
systemctl restart istio

同样地,在一个有权限且能够使用 istioctl 命令的服务器上,注册数据库服务:

istioctl -n bookinfo register mysqldb 192.168.3.202 3306

经过这个步骤,Kubernetes Pod 和其他网格扩展包含的服务器就可以访问运行于这一服务器上的数据库服务了。

此时访问/productpage页面,效果应该如下所示,detailsratings 部分均能正常显示,而且这2个服务都是来自于ECS:

图片.png

总结

阿里云Kubernetes容器服务已经提供了Istio Mesh Expansion整合能力,本文通过一个官方示例来重点介绍如何使用Istio打通Kubernetes与阿里云ECS上的应用服务混合编排能力。

欢迎大家使用阿里云上的容器服务,快速搭建微服务的开放治理平台Istio,比较简单地集成到自己项目的微服务开发中。

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1天前
|
运维 Kubernetes Docker
|
3天前
|
Kubernetes 调度 Docker
|
4天前
|
API 开发工具 数据安全/隐私保护
阿里云云效操作报错合集之流水线镜像已经生成,但容器没有出现,是什么导致的
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。
|
4天前
|
敏捷开发 Kubernetes 测试技术
阿里云云效产品使用合集之流水线创建时,不想选择节点和容器,该如何操作
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
5天前
|
监控 安全 网络安全
inishConnect(..) failed: Connection refused,服务本地正常服务器网关报400,nacos服务实例不能下线
总之,这种问题需要通过多方面的检查和校验来定位和解决,并可能需要结合实际环境的具体情况来进行相应的调整。在处理分布式系统中这类问题时,耐心和细致的调试是必不可少的。
21 13
|
6天前
|
弹性计算 Java 关系型数据库
|
7天前
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
|
7天前
|
Kubernetes 持续交付 Python
Kubernetes(通常简称为K8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。
Kubernetes(通常简称为K8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。
|
15天前
|
Shell
服务器需要扩容,如何停止宝塔的所有服务?
服务器需要扩容,如何停止宝塔的所有服务?
20 3
|
17天前
|
存储 应用服务中间件 文件存储
Ngnix服务器版本升级需求分析,如何不停止Ngnix服务进行升级
Ngnix服务器版本升级需求分析,如何不停止Ngnix服务进行升级

相关产品

  • 容器计算服务
  • 容器服务Kubernetes版