Go 怎么操作 OSS 阿里云对象存储?

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: Go 怎么操作 OSS 阿里云对象存储?

介绍

在项目开发中,我们经常会使用对象存储,比如 Amazon 的 S3,腾讯云的 COS,阿里云的 OSS 等。本文我们以阿里云 OSS 为例,介绍怎么使用 Go 操作对象存储。

阿里云 OSS 提供了 REST Api 和 OSS Go SDK,本文我们介绍使用 SDK 操作 OSS,限于篇幅,我们只介绍上传和下载。

上传

SDK 支持多种上传功能,比如简单上传、追加上传、断点续传上传、分片上传等,我们以简单上传为例,介绍怎么使用 SDK 上传文件,简单上传功能分为流式上传和文件上传两种方式。

所谓流式上传,即使用文件流、网络流等作为 OSS 文件的数据源。

所谓文件上传,即使用本地文件作为 OSS 文件的数据源。

在项目开发中,流式上传(文件流和网络流)相对文件上传,使用的场景比较少。限于篇幅,我们只介绍文件上传这种方式。

在使用 SDK 之前,我们需要先使用 go get 获取包(也可以使用 go mod 方式),然后在代码中导入。

go get github.com/aliyun/aliyun-oss-go-sdk/oss

OSS 存储文件,实际上是将文件存储到 Bucket (存储空间)中,SDK 提供了一些操作 Bucket 的方法。

在获取 Bucket 实例之前,我们需要先获取 Client 实例。

func GetOssClient(endpoint, ak, sk string) (client *oss.Client, err error) {
 client, err = oss.New(endpoint, ak, sk)
 return
}

阅读上面这段代码,我们通过 SDK 的 New 函数,创建了一个 client 实例,需要注意的是,我们需要将 OSS 的 endpointaksk 作为参数传入 New 函数,更多关于 client 的配置选项,请查阅 OSS Go SDK 文档。

我们在获取到 client 之后,可以使用 client 获取 bucket

func GetBucket(client *oss.Client, bucketName string) (bucket *oss.Bucket, err error) {
 bucket, err = client.Bucket(bucketName)
 return
}

阅读上面这段代码,我们通过 client 提供的 Bucket 方法,将我们创建的 bucket 的名字作为参数传入该方法中,创建了一个 bucket 实例,然后我们就可以去使用 bucket 实例提供的方法。

我们也可以使用 client 实例提供的方法,创建和删除 Bucket,但在实际项目开发中,一般都是让运维同事帮忙创建和删除,很少在代码中操作。

接下来,我们介绍几个 bucket 实例提供的方法。

场景一:上传本地文件

在项目开发中,经常会遇到需要用户上传本地文件的场景,比如设置头像、上传身份证照片等。

我们以设置头像为例,介绍如何将本地照片上传到 OSS。

示例代码:

err = bucket.PutObjectFromFile("a.jpg", "/Users/frank/Downloads/1.jpg")
if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
}

阅读上面这段代码,我们使用 bucket 实例的 PutObjectFromFile 方法,将本地的图片上传到 OSS 中,该方法还可以传入第三个参数(可选参数),用于指定上传文件的属性。

场景二:上传字符串

在项目开发中,经常会遇到需要用户上传字符串的场景,比如使用 OSS 存储文本内容。

我们以上传博客为例,介绍如何将字符串上传到 OSS。

示例代码:

blogConetnt := "This is my first blog"
err = bucket.PutObject("my-first-blog.txt", strings.NewReader(blogConetnt))
if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
}

阅读上面这段代码,我们使用 bucket 实例的 PutObject 方法,将字符串上传到 OSS 中,该方法还可以传入第三个参数(可选参数),用于指定上传文件的属性。

场景三:上传字节切片

在项目开发中,经常会遇到将字节切片格式的数据上传到 OSS 中,比如将 json.Marshal() 的字节切片上传到 OSS 中。

示例代码:

user := struct {
    UserId   int64  `json:"user_id"`
    UserName string `json:"user_name"`
    Email    string `json:"email"`
}{
    UserId:   10001,
    UserName: "frank",
    Email:    "gopher@88.com",
}
userData, _ := json.Marshal(user)
err = bucket.PutObject("user.txt", bytes.NewReader(userData))
if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
}

阅读上面这段代码,我们使用 bucket 实例的 PutObject 方法,将 json.Marshal() 的字节切片上传到 OSS 中。

我们也可以使用 bucket 实例的 PutObject 方法上传本地文件,但是一般都是使用 PutObjectFromFile 方法。

03

下载

OSS Go SDK 同样支持多种下载方式,相比文件上传,在实际项目开发中,文件下载的使用场景并不多,一般都是查询(读取)文件。

为了文章的完整,我们介绍了文件上传,也顺带简单介绍一下文件下载。

关于文件下载,SDK 也是支持流式下载和本地文件下载,本文我们以本地文件下载为例,介绍怎么使用 SDK 下载 OSS 中的文件到本地。

示例代码:

err = bucket.GetObjectToFile("a.jpeg", "/Users/frank/Downloads/oss.jpeg")
if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
}

阅读上面这段代码,我们使用 bucket 实例的 GetObjectToFile 方法,将 OSS 中的文件 a.jpeg 下载到本地。

04

总结

本文我们介绍 Go 怎么操作 OSS 阿里云对象存储,主要介绍了 OSS Go SDK 关于文件上传和文件下载的几个方法,建议感兴趣的读者朋友们阅读 OSS Go SDK 文档[1],自己尝试写文件查询的代码。

更多示例代码,请参阅 OSS Go SDK 示例[2]OSS Go SDK Api 文档[3]


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
4月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
18天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
4月前
|
监控 Java Serverless
函数计算产品使用问题之对于OSS打包的zip的保存目录,该如何操作
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
4月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
分布式计算 DataWorks 数据处理
MaxCompute操作报错合集之UDF访问OSS,配置白名单后出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之在读取OSS遇到格式报错,该怎么办
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
193 2
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
188 1