1. 背景
基于AWS EC2部署的独立部署软件可以使用EC2上所绑定的IAM Role来访问对应的AWS资源,官方文档见:使用 IAM 角色向在 Amazon EC2 实例上运行的应用程序授予权限。
一些对安全要求比较高的企业期望通过IAM Role来访问对应的AWS服务,从而减少AK和SK、数据库账号密码的配置。
基于以上背景,Dataphin V6.3支持获取EC2上绑定给的AWS IAM Role,来访问对应的AWS服务。
2. 功能速览
2.1 使用前须知
2.1.1 功能展示前提
- 简单的办法:进入Dataphin的元仓租户-管理中心-系统设置,查看是否有如下配置页
- 背后的原理:Dataphin的所有容器中均可访问AWS的元数据服务,以Dataphin-ide 的容器为例,进入pod后可通过如下命令判断是否可访问元数据服务,以及机器上绑定的IAM Role
# 1) 获取 IMDSv2 session token(有效期 6 小时) TOKEN=$(curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600" -s) # 2) 获取绑定的 IAM Role 名称 ROLE=$(curl -s -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/iam/security-credentials/) echo "Role name: $ROLE"
补充:169.254.169.254是一种特殊IP地址,通常用于EC2实例中的元数据服务,更多介绍
2.1.2 未能正常展示该怎么办?
背后的原理:Dataphin的服务是基于k8s架构进行部署的,而绑定在EC2上的IAM Role是需要经过配置后才会影响到pod中的配置。
问题与现象 |
原因与解法 |
问题:部署Dataphin的EC2没有绑定实例配置文件,即IAM Role |
解法1:控制台操作
解法2:AWS CLI操作 aws ec2 associate-iam-instance-profile \ --instance-id i-xxxxxxxxxxxxxxxxx \ --iam-instance-profile Name="MyEC2InstanceProfile" \ --region ap-southeast-1 |
问题:Pod 内访问实例元数据(IMDS)401 现象:节点上 curl 元数据服务正常,pod 内报 401,region 解析失败: Unauthorized (Status Code: 401) FAILED: Unable to find a region via the region provider chain. |
原因:实例开启 IMDSv2( 解决:hop limit 调为 2(立即生效,无需重启): aws ec2 modify-instance-metadata-options \ --instance-id i-04fe550978a2df5fb \ --region ap-southeast-1 \ --http-put-response-hop-limit 2 \ --http-tokens required 注意:托管节点组 / Karpenter 拉起的节点,要改在启动模板的 Metadata options 里,否则新节点仍是 1。 |
问题:AssumeRole 403 AccessDenied 现象:region、实例身份都正常,最后一步失败: FAILED: User: arn:aws:sts::0444...:assumed-role/AmazonEKSAutoClusterRole_dataphin/i-04fe... is not authorized to perform: sts:AssumeRole on resource: arn:aws:iam::0444...:role/dpn-iam-role-test (403 AccessDenied) |
原因:目标角色的信任策略只信任 解决:信任策略追加调用方角色 ARN(注意是整体覆盖,需带上原有语句): aws iam update-assume-role-policy \ --role-name dpn-iam-role-test \ --policy-document '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "ec2.amazonaws.com" }, "Action": "sts:AssumeRole" }, { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::044430625638:role/AmazonEKSAutoClusterRole_dataphin" }, "Action": "sts:AssumeRole" } ] }' 注意:换环境时替换角色名和 Principal ARN(调用方身份可用 |
2.2 如何开启该服务?
- 功能入口:元仓租户-管理中心-系统设置-IAM角色认证
- 功能权限:需为元仓租户的超级管理员或系统管理员方可开启该功能
- 功能介绍:
- 开关开启后,系统会自动检测部署Dataphin的EC2上所绑定的IAM Role,无需您手动填写。如果您的IAM角色获取失败,请根据报错,参考
2.1使用须知进行修改,直到刷新页面可以获取IAM角色。 -
- 权限要求:
- 目前支持使用该角色直接访问AWS S3和AWS ASM服务,请确保该角色有对应的IAM权限。
- 如图,
AmazonEKSAutoClusterRole_dataphin是Dataphin在测试过程中为AWS EC2所绑定的IAM Role,以及其对应的权限点。您也可以点击AWS左上角的智能助手icon,描述您的需求,从而对权限做到最小化控制。
2.3 开启后Dataphin哪些功能可以使用?
2.3.1 创建Amazon S3数据源
提供新的认证方式:IAM角色代理,选择后会使用Dataphin所部署机器上的IAM Role进行访问S3,请确保该角色有对应的S3 Bucket权限。
2.3.2 创建其它数据源
提供新的认证方式【IAM角色代理+ASM密钥】,支持使用ASM上某个Secret的key填写数据库的账号、密码,减少在Dataphin中账号密码的存储和配置。
补充:请确保IAM角色有访问ASM密钥的权限,包含:ListSecrets、GetSecretValue
2.3.3创建Flink On k8s
创建部署模式为“Kubernetes”的Flink计算源时,支持为“S3”的文件系统,配置“IAM角色代理”的认证方式,配置后将采用该角色访问Amazon 的S3服务,请确保角色有所填路径的写入权限。