Dataphin如何对接IAM Role

简介: Dataphin V6.3新增EC2 IAM Role认证功能,支持通过绑定在AWS EC2实例上的IAM角色安全访问S3、ASM等AWS服务,无需配置AK/SK或数据库账号密码,提升安全性与运维效率。

1. 背景

基于AWS EC2部署的独立部署软件可以使用EC2上所绑定的IAM Role来访问对应的AWS资源,官方文档见:使用 IAM 角色向在 Amazon EC2 实例上运行的应用程序授予权限。

一些对安全要求比较高的企业期望通过IAM Role来访问对应的AWS服务,从而减少AK和SK、数据库账号密码的配置。

基于以上背景,Dataphin  V6.3支持获取EC2上绑定给的AWS IAM Role,来访问对应的AWS服务。

2. 功能速览

2.1 使用前须知

2.1.1 功能展示前提

  1. 简单的办法:进入Dataphin的元仓租户-管理中心-系统设置,查看是否有如下配置页

  1. 背后的原理:Dataphin的所有容器中均可访问AWS的元数据服务,以Dataphin-ide 的容器为例,进入pod后可通过如下命令判断是否可访问元数据服务,以及机器上绑定的IAM Role
# 1) 获取 IMDSv2 session token(有效期 6 小时)
TOKEN=$(curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600" -s)
# 2) 获取绑定的 IAM Role 名称
ROLE=$(curl -s -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/iam/security-credentials/)
echo "Role name: $ROLE"

补充:169.254.169.254是一种特殊IP地址,通常用于EC2实例中的元数据服务,更多介绍

2.1.2 未能正常展示该怎么办?

背后的原理:Dataphin的服务是基于k8s架构进行部署的,而绑定在EC2上的IAM Role是需要经过配置后才会影响到pod中的配置。

问题与现象

原因与解法

问题:部署Dataphin的EC2没有绑定实例配置文件,即IAM Role

解法1:控制台操作

  1. 进入 EC2 → 实例(Instances),选中目标实例。
  2. 点击 操作(Actions)→ 安全(Security)→ 修改 IAM 角色(Modify IAM role)。
  3. 在 IAM role 下拉框中选择要绑定的实例配置文件。
  4. 点击 更新 IAM 角色(Update IAM role)。

解法2:AWS CLI操作

aws ec2 associate-iam-instance-profile \

  --instance-id i-xxxxxxxxxxxxxxxxx \

  --iam-instance-profile Name="MyEC2InstanceProfile" \

  --region ap-southeast-1

官方文档:IAM roles for Amazon EC2

问题:Pod 内访问实例元数据(IMDS)401

现象:节点上 curl 元数据服务正常,pod 内报 401,region 解析失败:

Unauthorized (Status Code: 401)

FAILED: Unable to find a region via the region provider chain.

原因:实例开启 IMDSv2(HttpTokens=required)且 HttpPutResponseHopLimit=1。pod 比宿主机多一跳网络,PUT token 的响应在回程第一跳被丢弃,pod 拿不到 token。

解决:hop limit 调为 2(立即生效,无需重启):

aws ec2 modify-instance-metadata-options \

  --instance-id i-04fe550978a2df5fb \

  --region ap-southeast-1 \

  --http-put-response-hop-limit 2 \

  --http-tokens required

注意:托管节点组 / Karpenter 拉起的节点,要改在启动模板的 Metadata options 里,否则新节点仍是 1。

问题:AssumeRole 403 AccessDenied

现象:region、实例身份都正常,最后一步失败:

FAILED: User: arn:aws:sts::0444...:assumed-role/AmazonEKSAutoClusterRole_dataphin/i-04fe...

is not authorized to perform: sts:AssumeRole

on resource: arn:aws:iam::0444...:role/dpn-iam-role-test (403 AccessDenied)

原因:目标角色的信任策略只信任 ec2.amazonaws.com 服务主体(仅用于 Instance Profile 绑定),未放行节点角色做链式 AssumeRole。

解决:信任策略追加调用方角色 ARN(注意是整体覆盖,需带上原有语句):

aws iam update-assume-role-policy \

  --role-name dpn-iam-role-test \

  --policy-document '{

  "Version": "2012-10-17",

  "Statement": [

    {

      "Effect": "Allow",

      "Principal": { "Service": "ec2.amazonaws.com" },

      "Action": "sts:AssumeRole"

    },

    {

      "Effect": "Allow",

      "Principal": { "AWS": "arn:aws:iam::044430625638:role/AmazonEKSAutoClusterRole_dataphin" },

      "Action": "sts:AssumeRole"

    }

  ]

}'

注意:换环境时替换角色名和 Principal ARN(调用方身份可用 aws sts get-caller-identity 确认);IAM 变更有几十秒传播延迟,改完稍等再测。

2.2 如何开启该服务?

  • 功能入口:元仓租户-管理中心-系统设置-IAM角色认证

  • 功能权限:需为元仓租户的超级管理员或系统管理员方可开启该功能
  • 功能介绍:
  • 开关开启后,系统会自动检测部署Dataphin的EC2上所绑定的IAM Role,无需您手动填写。如果您的IAM角色获取失败,请根据报错,参考2.1使用须知进行修改,直到刷新页面可以获取IAM角色。

  • 权限要求:
  • 目前支持使用该角色直接访问AWS S3和AWS ASM服务,请确保该角色有对应的IAM权限。
  • 如图,AmazonEKSAutoClusterRole_dataphin是Dataphin在测试过程中为AWS EC2所绑定的IAM Role,以及其对应的权限点。您也可以点击AWS左上角的智能助手icon,描述您的需求,从而对权限做到最小化控制。

2.3 开启后Dataphin哪些功能可以使用?

2.3.1 创建Amazon S3数据源

提供新的认证方式:IAM角色代理,选择后会使用Dataphin所部署机器上的IAM Role进行访问S3,请确保该角色有对应的S3 Bucket权限。

2.3.2 创建其它数据源

提供新的认证方式【IAM角色代理+ASM密钥】,支持使用ASM上某个Secret的key填写数据库的账号、密码,减少在Dataphin中账号密码的存储和配置。

补充:请确保IAM角色有访问ASM密钥的权限,包含:ListSecrets、GetSecretValue

2.3.3创建Flink On k8s

创建部署模式为“Kubernetes”的Flink计算源时,支持为“S3”的文件系统,配置“IAM角色代理”的认证方式,配置后将采用该角色访问Amazon 的S3服务,请确保角色有所填路径的写入权限。

相关文章
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1590 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2629 0
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8282 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2986 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5756 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1898 1