防微杜渐,未雨绸缪,百度网盘(百度云盘)接口API自动化备份上传以及开源发布,基于Golang1.18

简介: 奉行长期主义的开发者都有一个共识:对于服务器来说,数据备份非常重要,因为服务器上的数据通常是无价的,如果丢失了这些数据,可能会导致严重的后果,伴随云时代的发展,备份技术也让千行百业看到了其“云基因”的成长与进化,即基于云存储的云备份。

奉行长期主义的开发者都有一个共识:对于服务器来说,数据备份非常重要,因为服务器上的数据通常是无价的,如果丢失了这些数据,可能会导致严重的后果,伴随云时代的发展,备份技术也让千行百业看到了其“云基因”的成长与进化,即基于云存储的云备份。

本次我们使用Golang1.18完成百度网盘(百度云盘)接口API自动化备份上传功能,以及演示如何将该模块进行开源发布。

百度网盘API接入授权

如果希望golang服务可以访问并且上传用户的百度网盘,则需要经过用户同意,这个流程被称为“授权”。百度网盘开放平台基于 OAuth2.0 接入授权。OAuth2.0 是一种授权协议,通过该协议用户可以授权开发者应用访问个人网盘信息与文件。

用户同意授权后,开发者应用会获取到一个 Access Token,该 Access Token 是用户同意授权的凭证。开发者应用需要依赖 Access Token 凭证调用百度网盘公开API,实现访问用户网盘信息与授权资源。

基本流程和三方登录差不多,需要跳转百度网盘授权页进行授权动作,随后授权码(code)会发送到回调网址,再用授权码换取Access Token。但不一样的是,百度官网提供一种相对简单的获取code方式,即oob,所谓oob就是直接在线请求后在表单中复制授权码即可,不需要回调网址的参与。

首先根据官网文档:https://pan.baidu.com/union/doc/ol0rsap9s 创建应用,创建好之后,将应用id拼接位oob授权网址:

https://openapi.baidu.com/oauth/2.0/authorize?client_id=你的应用id&response_type=code&redirect_uri=oob&scope=basic+netdisk

在线访问复制授权码:

注意授权码一次性有效并且会在10分钟后过期,随后编写代码获取token:

package bdyp  
  
import (  
    "fmt"  
    "net/http"  
    "net/url"  
)  
  
type Bcloud struct {  
    app_key      string  
    app_secret   string  
    accessToken  string  
    refreshToken string  
    logger       Logger  
}  
  
type tokenResp struct {  
    *Token  
    ErrorDescription string `json:"error_description"`  
}  
  
type Token struct {  
    AccessToken  string `json:"access_token"`  
    RefreshToken string `json:"refresh_token"`  
    ExpiresIn    int    `json:"expires_in"`  
}  
  
func (r *Bcloud) GetToken(code, redirectURI, app_key, app_secret string) (*Token, error) {  
    uri := fmt.Sprintf("https://openapi.baidu.com/oauth/2.0/token?"+  
        "grant_type=authorization_code&"+  
        "code=%s&"+  
        "client_id=%s&"+  
        "client_secret=%s&"+  
        "redirect_uri=%s",  
        url.QueryEscape(code),  
        url.QueryEscape(app_key),  
        url.QueryEscape(app_secret),  
        redirectURI)  
    resp := new(tokenResp)  
  
    err := r.requestJSON(http.MethodGet, uri, nil, resp)  
    if err != nil {  
        return nil, err  
    } else if resp.ErrorDescription != "" {  
        return nil, fmt.Errorf(resp.ErrorDescription)  
    }  
  
    r.app_key = app_key  
    r.app_secret = app_secret  
    r.accessToken = resp.AccessToken  
    r.refreshToken = resp.RefreshToken  
  
    return resp.Token, nil  
}

这里分别创建网盘结构体和秘钥结构体,通过官方接口将oob方式获取的code交换token,分别为accessToken和refreshToken,refreshToken用于刷新 Access Token, 有效期为10年。

这里最好将token写入文件或者存入数据库,本文只讨论授权和上传逻辑,故不加入数据库的相关操作。

至此,百度网盘的授权操作就完成了。

服务器本地文件上传至百度网盘

根据官网文档描述:https://pan.baidu.com/union/doc/3ksg0s9ye,上传流程是指,用户将本地文件上传到百度网盘云端服务器的过程。文件上传分为三个阶段:预上传、分片上传、创建文件。第二个阶段分片上传依赖第一个阶段预上传的结果,第三个阶段创建文件依赖第一个阶段预上传和第二阶段分片上传的结果,串行完成这三个阶段任务后,本地文件成功上传到网盘服务器。

说白了,有点像HTTP连接的三次握手,目的就是为了保证上传数据的完整性,强制串行的原子操作也有利于保证上传任务的可靠性。

首先构建预上传函数:

func (r *Bcloud) FileUploadSessionStart(req *FileUploadSessionStartReq) (*FileUploadSessionStartResp, error) {  
    token, err := r.getAuthToken()  
    if err != nil {  
        return nil, err  
    }  
  
    req.Method = "precreate"  
    req.AccessToken = token  
  
    req_, err := req.to()  
    if err != nil {  
        return nil, err  
    }  
  
    resp := new(FileUploadSessionStartResp)  
  
    err = r.requestURLEncode(http.MethodPost, "https://pan.baidu.com/rest/2.0/xpan/file", req_, resp)  
    if err != nil {  
        return nil, err  
    } else if err := resp.Err(); err != nil {  
        return nil, err  
    }  
  
    if len(resp.BlockList) == 0 {  
        resp.BlockList = []int64{0}  
    }  
  
    return resp, nil  
}

这里参数为预上传参数的结构体:

type FileUploadSessionStartReq struct {  
    Method      string `query:"method"`  
    AccessToken string `query:"access_token"`  
    Path        string `json:"path"`  
    File        io.Reader  
    RType       *int64 `json:"rtype"`  
}

随后是分片上传逻辑:

func (r *Bcloud) FileUploadSessionAppend(req *FileUploadSessionAppendReq) error {  
    token, err := r.getAuthToken()  
    if err != nil {  
        return err  
    }  
  
    req.Method = "upload"  
    req.AccessToken = token  
    req.Type = "tmpfile"  
  
    resp := new(fileUploadSessionAppendResp)  
  
    err = r.requestForm(http.MethodPost, "https://d.pcs.baidu.com/rest/2.0/pcs/superfile2", req, resp)  
    if err != nil {  
        return err  
    } else if err := resp.Err(); err != nil {  
        return err  
    } else if resp.ErrorMsg != "" {  
        return fmt.Errorf(resp.ErrorMsg)  
    }  
  
    return nil  
}  
  
type FileUploadSessionAppendReq struct {  
    Method      string    `query:"method"` // 本接口固定为precreate  
    AccessToken string    `query:"access_token"`  
    Type        string    `query:"type"`     // 固定值 tmpfile  
    Path        string    `query:"path"`     // 需要与上一个阶段预上传precreate接口中的path保持一致  
    UploadID    string    `query:"uploadid"` // 上一个阶段预上传precreate接口下发的uploadid  
    PartSeq     int64     `query:"partseq"`  // 文件分片的位置序号,从0开始,参考上一个阶段预上传precreate接口返回的block_list  
    File        io.Reader `file:"file"`      // 是        RequestBody参数    上传的文件内容  
}

对于总体积大于4mb的文件,通过切片的方式进行上传。

总后是合并文件写入文件逻辑:

func (r *Bcloud) FileUploadSessionFinish(req *FileUploadSessionFinishReq) error {  
    token, err := r.getAuthToken()  
    if err != nil {  
        return err  
    }  
  
    req.Method = "create"  
    req.AccessToken = token  
  
    req_, err := req.to()  
    if err != nil {  
        return err  
    }  
  
    resp := new(fileUploadSessionFinishResp)  
  
    err = r.requestURLEncode(http.MethodPost, "https://pan.baidu.com/rest/2.0/xpan/file", req_, resp)  
    if err != nil {  
        return err  
    } else if err := resp.Err(); err != nil {  
        return err  
    }  
  
    return nil  
}  
  
type FileUploadSessionFinishReq struct {  
    Method      string    `query:"method"`  
    AccessToken string    `query:"access_token"`  
    Path        string    `json:"path"`  
    File        io.Reader `json:"-"`  
    UploadID    string    `json:"uploadid"`  
    RType       *int64    `json:"rtype"`  
}

至此,完成了文件上传的三个阶段:预上传、分片上传、创建文件。

开源发布Publish

我们知道在 Golang的项目中,可以 import 一个托管在远程仓库的模块,这个模块在我们使用 go get 的时候,会下载到本地。既然是放在远程仓库上,意味着所有人都可以发布,并且所以人也都可以使用,所以为了让乡亲们更方便地上传数据到百度网盘,让我们把这个项目开源。

先在你的 Github 上新建一个仓库,记得选 Public(公开项目),随后将项目代码推送到Github上面:

echo "# bdyp_upload_golang" >> README.md  
git init  
git add README.md  
git commit -m "first commit"  
git branch -M main  
git remote add origin https://github.com/zcxey2911/bdyp_upload_golang.git  
git push -u origin main

在项目根目录使用go mod init 命令进行初始化,注意这里的模块名,填写我们的git仓库名称,但是不要带着.git:

go mod init github.com/zcxey2911/bdyp_upload_golang

再次推送项目模块代码:

git add -A  
git commit -m "Add a go mod file"
git push -u origin main

全部完成以后,刷新我们的仓库,就可以看到我们的刚刚上传的项目代码了,点击 release 发布一个版本即可。

最后,通过go get命令安装发布之后的模块:

go get github.com/zcxey2911/bdyp_upload_golang

完整的调用流程:

package main  
  
import (  
    "fmt"  
    bdyp "github.com/zcxey2911/bdyp_upload_golang"  
    "os"  
)  
  
func main() {  
  
    var bcloud = bdyp.Bcloud{}  
  
    // 获取token  
    res, err := bcloud.GetToken("oob获取的code", "oob", "应用appkey", "应用appsecret")  
  
    fmt.Println(res)  
  
    if err != nil {  
        fmt.Println("err", err)  
    } else {  
        fmt.Printf("接口的token是: %#v\n", res.AccessToken)  
    }  
    // 读取文件  
    f, err := os.Open("/Users/liuyue/Downloads/ju1.webp")  
    if err != nil {  
        fmt.Println("err", err)  
        return  
    }  
    defer f.Close()  
  
    // 上传文件  
    print(bcloud.Upload(&bdyp.FileUploadReq{  
        Name:  "/apps/云盘备份/ju2.webp",  
        File:  f,  
        RType: nil,  
    }))  
  
}

查看上传的数据:

简单快速,一气呵成。

结语

当然了百度云盘备份也不是没有缺陷,将数据存储在云端可能会存在安全性和隐私性问题,与此同时,数据量很大或者数据分布在不同地点的情况下,恢复数据所需的时间会比较长。不差钱的同学也可以选择磁盘快照服务,最后奉上项目地址,与君共勉:https://github.com/zcxey2911/bdyp\_upload\_golang

相关文章
|
5天前
|
API PHP 开发者
速卖通商品详情接口(速卖通API系列)
速卖通(AliExpress)是阿里巴巴旗下的跨境电商平台,提供丰富的商品数据。通过速卖通开放平台(AliExpress Open API),开发者可获取商品详情、订单管理等数据。主要功能包括商品搜索、商品详情、订单管理和数据报告。商品详情接口aliexpress.affiliate.productdetail.get用于获取商品标题、价格、图片等详细信息。开发者需注册账号并创建应用以获取App Key和App Secret,使用PHP等语言调用API。该接口支持多种请求参数和返回字段,方便集成到各类电商应用中。
|
3天前
|
JSON 前端开发 API
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
24 5
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
|
2天前
|
监控 供应链 搜索推荐
亚马逊商品详情接口(亚马逊 API 系列)
亚马逊作为全球最大的电商平台之一,提供了丰富的商品资源。开发者和电商从业者可通过亚马逊商品详情接口获取商品的描述、价格、评论、排名等数据,对市场分析、竞品研究、价格监控及业务优化具有重要价值。接口基于MWS服务,支持HTTP/HTTPS协议,需注册并获得API权限。Python示例展示了如何使用mws库调用接口获取商品详情。应用场景包括价格监控、市场调研、智能选品、用户推荐和库存管理等,助力电商运营和决策。
45 23
|
3天前
|
JSON 数据挖掘 API
lazada商品详情接口 (lazada API系列)
Lazada 是东南亚知名电商平台,提供海量商品资源。通过其商品详情接口,开发者和商家可获取商品标题、价格、库存、描述、图片、用户评价等详细信息,助力市场竞争分析、商品优化及库存管理。接口采用 HTTP GET 请求,返回 JSON 格式的响应数据,支持 Python 等语言调用。应用场景包括竞品分析、价格趋势研究、用户评价分析及电商应用开发,为企业决策和用户体验提升提供有力支持。
49 21
|
4天前
|
数据采集 JSON 监控
速卖通商品列表接口(以 AliExpress Affiliate 商品查询 API 为例)
以下是使用 Python 调用速卖通商品列表接口(以 AliExpress Affiliate 商品查询 API 为例)的代码示例。该示例包含准备基础参数、生成签名、发送请求和处理响应等关键步骤,并附有详细注释说明。代码展示了如何通过公共参数和业务参数构建请求,使用 HMAC-SHA256 加密生成签名,确保请求的安全性。最后,解析 JSON 响应并输出商品信息。此接口适用于商品监控、数据采集与分析及商品推荐等场景。注意需通过 OAuth2.0 获取 `access_token`,并根据官方文档调整参数和频率限制。
|
5天前
|
存储 搜索推荐 API
淘宝拍立淘按图搜索API接口系列概述
淘宝拍立淘按图搜索API接口允许用户通过上传图片或拍摄实物来搜索相似或相同的商品。这一功能主要依赖于图像识别技术,系统会对上传的图片进行分析和处理,提取出商品的特征信息,并在淘宝的商品数据库中进行匹配搜索,最终返回与上传图片相似或相同的商品列表。
|
4天前
|
JSON 监控 API
速卖通商品列表接口(速卖通API系列)
速卖通提供商品列表API,开发者可通过关键词、类目、价格范围等条件获取商品标题、价格、销量等基本信息。使用前需注册开发者账号、创建应用并授权获取access_token。Python示例代码展示了如何调用接口,返回JSON格式数据,包含商品列表、总数、页码等信息。应用场景包括商品监控、数据分析和个性化推荐。注意API会更新,请参考官方文档。
|
11天前
|
JSON API 数据格式
微店商品列表接口(微店 API 系列)
微店商品列表接口是微店API系列的一部分,帮助开发者获取店铺中的商品信息。首先需注册微店开发者账号并完成实名认证,选择合适的开发工具如PyCharm或VS Code,并确保熟悉HTTP协议和JSON格式。该接口支持GET/POST请求,主要参数包括店铺ID、页码、每页数量和商品状态等。响应数据为JSON格式,包含商品详细信息及状态码。Python示例代码展示了如何调用此接口。应用场景包括商品管理系统集成、数据分析、多平台数据同步及商品展示推广。
|
5天前
|
缓存 Java 应用服务中间件
java语言后台管理若依框架-登录提示404-接口异常-系统接口404异常如何处理-登录验证码不显示prod-api/captchaImage 404 (Not Found) 如何处理-解决方案优雅草卓伊凡
java语言后台管理若依框架-登录提示404-接口异常-系统接口404异常如何处理-登录验证码不显示prod-api/captchaImage 404 (Not Found) 如何处理-解决方案优雅草卓伊凡
27 5
|
10天前
|
JSON 监控 API
唯品会商品详情接口(唯品会 API 系列)
唯品会商品详情接口助力电商发展,提供商品名称、价格、规格等详细信息,支持HTTP GET/POST请求,响应为JSON格式。开发者可通过API Key和商品ID获取数据,应用于电商数据分析、竞品调研、应用开发及价格监控,提升业务效率与竞争力。示例代码展示Python调用方法,方便快捷。