开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute load oss数据用ak信息可以吗?load 是不行的是吧?

大数据计算MaxCompute load oss数据用ak信息可以吗?load 是不行的是吧? datax是可以用的

展开
收起
cuicuicuic 2023-07-25 17:56:13 69 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云的大数据计算 MaxCompute 产品中,可以通过 load 命令将 OSS 中的数据 load 到 MaxCompute 中。load 命令需要指定 OSS 的 AccessKey 和 SecretKey,以及 OSS 的 Endpoint 和 Bucket 等信息,以便连接 OSS 并读取相应的数据。

    关于 AccessKey 和 SecretKey 的使用,建议不要直接将其写入到 load 命令中,以免泄漏敏感信息。相反,建议通过 RAM 子用户和 STS 等方式,获取临时的安全令牌,并使用临时令牌进行连接和授权。这样可以提高系统的安全性和可靠性。

    如果您仍然想要使用 AccessKey 和 SecretKey 进行连接和授权,可以在 load 命令中设置相应的参数,以指定 AccessKey 和 SecretKey。例如,可以使用以下命令将 OSS 中的数据 load 到 MaxCompute 中:

    sql_more
    Copy
    -- 创建外部表,指定 OSS 连接和相关信息
    CREATE EXTERNAL TABLE my_table (
    col1 string,
    col2 string,
    col3 string
    )
    STORED BY 'com.aliyun.odps.OssStorageHandler'
    WITH SERDEPROPERTIES (
    'oss.endpoint'='your-oss-endpoint',
    'oss.accessKeyId'='your-oss-accesskeyid',
    'oss.accessKeySecret'='your-oss-accesskeysecret',
    'oss.bucket'='your-oss-bucket',
    'oss.path'='your-oss-path'
    );

    -- 执行 load 命令,将 OSS 中的数据 load 到 MaxCompute 中
    LOAD DATA INTO TABLE my_table;

    2023-07-29 09:03:52
    赞同 展开评论 打赏
  • 在MaxCompute中使用LOAD语句将数据加载到MaxCompute表时,是不支持直接使用Access Key(AK)的。LOAD命令只能通过指定OSS路径来加载数据,而不是使用访问密钥。

    要加载OSS数据到MaxCompute表,可以按照以下步骤进行操作:

    1. 将待加载的数据存储在您的OSS存储桶中,并确保您拥有对该存储桶的访问权限。
    2. 在MaxCompute中创建目标表,定义表结构和字段类型。
    3. 使用TUNNEL命令来执行数据加载操作。通过TUNNEL命令,MaxCompute可以直接从OSS读取数据并加载到MaxCompute表中。

    以下是一个示例的TUNNEL命令用法:

    -- 创建目标表
    CREATE TABLE my_table (
      col1 STRING,
      col2 BIGINT,
      col3 DOUBLE
    );
    
    -- 使用TUNNEL命令加载数据
    TUNNEL UPLOAD oss://bucket-name/path/to/data.odps my_table;
    

    请注意,上述示例中的oss://bucket-name/path/to/data.odps是OSS中数据文件的路径。您需要替换为您实际的OSS路径。此外,您需要确保MaxCompute和OSS之间已正确配置好访问权限。

    2023-07-28 18:34:29
    赞同 展开评论 打赏
  • load里没有明文写ak的地方,有权限的直接写语句就行,没权限的需要指定一个角色的arn。,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-25 18:03:47
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载