开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大数据传输文件,中间还想实现鉴权等操作,有什么高效成熟的方式吗?

大数据传输文件,中间还想实现鉴权等操作,有什么高效成熟的方式吗?

展开
收起
十一0204 2023-04-11 09:38:56 294 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云Flink中,可以通过使用阿里云对象存储(OSS)和阿里云访问控制(RAM)来实现大数据传输文件的鉴权和授权操作。

    具体来说,您可以将需要传输的文件上传到阿里云 OSS 中,并使用 RAM 来控制访问权限。然后,您可以在Flink中使用 OSS Connector 来读取和写入文件,并使用 RAM 来验证访问权限。这样,就可以实现高效的大数据传输和鉴权操作。

    以下是一些具体的步骤:

    1. 创建一个 OSS 存储桶,并上传需要传输的文件。在创建存储桶时,可以选择设置访问权限为私有或公共读。如果您选择私有访问权限,则需要使用 RAM 来授权访问。

    2. 创建一个 RAM 子用户,并为其分配适当的访问权限。例如,您可以创建一个名为 flink-user 的子用户,并为其分配访问 OSS 存储桶的权限。在分配权限时,可以选择使用 RAM 策略或角色来授权访问。

    2023-04-26 22:21:26
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    对于大数据传输文件时进行鉴权等操作的场景,可以采用以下几种方式:

    HTTPS传输:使用HTTPS可以确保传输的安全性,而且它本身支持SSL/TLS证书双向认证,因此可以实现有效的鉴权操作。在客户端和服务器双方都安装证书后,服务端可以验证客户端发送的证书是否是合法的,是否包含了自己的公钥,从而实现用户身份的验证,提高数据传输的安全性。

    使用令牌(Token)鉴权:使用令牌鉴权是一种非常常见的鉴权方式。当客户端向服务器发送请求时,服务器可以颁发一个令牌给客户端,客户端携带该令牌向服务器请求数据时,服务器可以根据该令牌来确认客户端的身份和权限,从而实现鉴权。这种方式操作起来较为简单,因此在实际应用中被广泛采用。

    OAuth 2.0:OAuth 2.0是一种颇具代表性的开放协议,它可以用于授权第三方应用程序,允许用户访问他们存储在其他服务提供者上的信息,而无需将用户名和密码提供给第三方应用程序。通过OAuth 2.0,我们可以授权一个应用程序使用我们的账户,并控制它的权限,进而实现数据传输的安全鉴权。

    无论采用哪种方式,都需要在开发之前对传输场景、数据大小、鉴权方式等因素进行深入分析和研究,以便能够选择最适合的方式。

    2023-04-17 16:41:27
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。
    • 可以使用OAuth协议进行鉴权,具体步骤如下:

      1. 用户向应用程序授权,获取access_token。
      2. 应用程序使用access_token访问API,将其附加到API请求的HTTP请求头中。
      3. API验证access_token的有效性,并确定请求是否来自授权的应用程序和用户。
      4. 如果access_token有效,则API返回所需的数据。

    这种方法的好处是,OAuth可以为多个第三方应用程序提供访问权限,而不需要向每个应用程序提供用户名和密码。同时,OAuth具有高度的可扩展性和安全性。

    • 另外,如果对文件进行加密和解密也可以在OAuth鉴权之前完成,这样可以保护文件的安全性。
    2023-04-11 11:50:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
蚂蚁聚宝虫洞项目技术方案介绍 ——云与端之间数据传输的桥梁 立即下载