如何基于OSS和MPS,快速搭建音视频文件上传服务?

简介: 背景 本文主要介绍如何基于OSS服务和MTS的上传SDK,快速搭建一个音视频文件上传服务。 优势 使用MTS的上传SDK上传音视频文件,具有以下优势: 增加文件列表管理功能。 增加STS Token 超时更新功能。

背景

本文主要介绍如何基于OSS服务和MPS的上传SDK,快速搭建一个音视频文件上传服务。

优势

使用MPS的上传SDK上传音视频文件,具有以下优势:

  • 增加文件列表管理功能。
  • 增加STS Token 超时更新功能。
  • 增加上传过程中网络抖动时的自动重试功能。
  • 文件断点续传功能。
  • 自动触发MPS服务的媒体工作流。
  • 配置媒体标题、标签、描述、类目、封面URL、等功能。

注意:

  1. 断点续传的限制条件:不允许跨生命周期。JS端页面不能刷新、关闭,android/iOS不能关闭APP、手机。
  2. 同一本地文件只能上传一次。

上传服务架构图

_1

服务端搭建

考虑移动端AK安全性问题,选用STS的方式上传文件。关于STS如何增加上传的安全性,请参考RAM和STS使用指南

STS开通流程

  1. 开通OSS服务,创建Bucket,并登录OSS控制台
  2. 在OSS概览页中找到基础配置区域,单击 安全令牌,如下图所示:
    _2
  3. 进入到 安全令牌快捷配置 页面。
    _3
  4. 系进行自动授权,请务必保存下图中三个红框内的参数。单击保存AK信息后,对话框会关闭,STS的开通完成。
    _4

_5

搭建一个应用服务器

应用服务器示例的配置

为了方便开发,本教程提供了三个语言的版本示例程序供您下载。

Java: 下载地址
PHP: 下载地址
Ruby: 下载地址

每个语言包下载下来后,都会有一个配置文件config.json如下所示:

{
    "AccessKeyID" : "",
    "AccessKeySecret" : "",
    "RoleArn" : "",
    "TokenExpireTime" : "900",
    "PolicyFile": "policy/all_policy.txt"
}

说明:

  1. AccessKeyID: 填写上述图标红的参数1的内容。
  2. AccessKeySecret: 填写上述图标红的参数2的内容。
  3. RoleArn: 填写上述图标红的参数3的内容。
  4. TokenExpireTime: 指Android/iOS应用取到这个Token的失效时间,注意,最少是900s,默认值可以不修改。
  5. PolicyFile: 填写的是该Token所要拥有的权限列表的文件, 默认值可以不修改。

本文档准备了三种最常用token权限文件,放于policy目录下面。分别是:

  • all_policy.txt:指定了该token拥有对该账号下创建Bucket、删除Bucket、上传文件、下载文件、删除文件的权限 。
  • bucket_read_policy.txt:指定了该token拥有该账号下对指定Bucket的读权限。
  • bucket_read_write_policy.txt: 指定了该token拥有该账号下对指定Bucket的读写权限。

如果您想要指定这个Token只能对指定的bucket有读写权限, 请把(bucket_read_policy.txt、 bucket_read_write_policy.txt)这些文件里面$BUCKET_NAME直接替换成指定的bucket名字。

返回的格式解析:

{
    "status":200,
    "AccessKeyId":"STS.3pYjsdgdgagdasdg",
    "AccessKeySecret":"rpnwO9kvEgetGdrddgsR2YrTtI",
   "Security":"CAES+wMIARKAAZhjH0EUOIhJMQBMjRywXq7MQ/cjLYg80Aho1ek0Jm63XMhr9Oc5s3qaPer8p1YaX1NTDiCFZWFkvlHf1pQhuxfKBc+mRR9KAbHUefqH+rdjZqjTF7p2m1wJXP8S6k+G2MpHrUe6TYBkJ43GhhTVFMuM3BZajY3VjZWOXBIODRIR1FKZjIiEjMzMzE0MjY0NzM5MTE4NjkxMSoLY2xpZGSSDgSDGAGESGTETqOio6c2RrLWRlbW8vKgoUYWNzOm9zczoqOio6c2RrLWRlbW9KEDExNDg5MzAxMDcyNDY4MThSBTI2ODQyWg9Bc3N1bWVkUm9sZVVzZXJgAGoSMzMzMTQyNjQ3MzkxMTg2OTExcglzZGstZGVtbzI=",
   "Expiration":"2015-12-12T07:49:09Z",
}

说明(下面四个变量将构成了一个Token。):

  • status:表示获取Token的状态,获取成功时,返回值是200。
  • AccessKeyId: 表示Android/iOS应用初始化OSSClient获取的 AccessKeyId。
  • AccessKeySecret: 表示Android/iOS应用初始化OSSClient获取AccessKeySecret。
  • SecurityToken:表示Android/iOS应用初始化的Token。
  • Expiration: 表示该Token失效的时间。主要在Android SDK会自动判断是否失效,自动获取Token。

代码示例的运行方法:

  • 对于JAVA版本 (依赖于java 1.7),将包下载解压后

运行方法:java -jar oss-token-server.jar (port)。如果不指定port(端口), 直接运行java –jar oss-token-server.jar,程序会监听7080端口。如果想让程序执行在9000端口,运行java –jar app-token-server.jar 9000 , 其他端口也类似。

  • 对于PHP版本,将包下载解压后,修改config.json这个文件,直接运行php sts.php 即能生成Token,将程序部署到指定的地址。

使用MPS客户端SDK

客户端示例代码:

为了方便开发,本教程提供了三个语言的版本示例程序供您下载。

H5: 下载地址
Android: 下载地址
iOS: 下载地址

SDK核心代码:

JS端:

在使用JS SDK之前,先对要上传视频的OSS Bucket 已经开启了CORS访问权限。下载JS的Demo,在浏览器中打开, 在页面上进行参数配置:

  • 配置”HTTP地址”为上面配置的应用服务器地址,如http://127.0.0.1:7080/
  • 配置用户Bucket。
  • 配置Bucket的endpoint。
  • 点击选择文件,选中要上传的文件。
  • 点击开始上传按钮。
// 初始化客户端
var uploader = new VODUpload({
    // 开始上传
    'onUploadstarted': function (uploadInfo) {;},
    // 文件上传成功
    'onUploadSucceed': function (uploadInfo) {console.log("上传成功");},
    // 文件上传失败
    'onUploadFailed': function (uploadInfo, code, message) {console.log("上传失败");},
    // 文件上传进度,单位:字节
    'onUploadProgress': function (uploadInfo, totalSize, uploadedSize) {console.log("上传进度");},
    // 安全令牌超时
    'onUploadTokenExpired': function (uploadInfo) {console.log("token超时");}
});
// 获取sts信息
result = httpGet(httpServer);
stsToken = JSON.parse(result);
uploader.init(stsToken.AccessKeyId, stsToken.AccessKeySecret, stsToken.SecurityToken, stsToken.Expiration);
// 添加文件
uploader.addFile(event.target.files[i], endpoint, bucket, object, userData);
// 开始上传
uploader.startUpload();

Android端:

确保Android端已经添加如下权限:

<uses-permission android:name="android.permission.INTERNET"></uses-permission>
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"></uses-permission>
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE"></uses-permission>
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"></uses-permission>

下载Android端Demo,进行如下修改:

  • 修改MainActivity里面的serverUrl为应用服务器配置地址,如http://192.168.0.2:7080/
  • 配置用户Bucket。
  • 配置用户Bucket对应的endpoint。
  • 运行Demo,点击添加文件。
  • 点击上传,在OSS对应Bucket的uploadtest/目录下查看文件是否已经上传成功。

主要代码:

VODUploadClient uploader = new VODUploadClientImpl(getApplicationContext());
VODUploadCallback callback = new VODUploadCallback() {
    @Override
    public void onUploadSucceed(UploadFileInfo info) {;}
    @Override
    public void onUploadFailed(UploadFileInfo info, String code, String message) {;}
    @Override
    public void onUploadProgress(UploadFileInfo info, long uploadedSize, long totalSize) {;}
    @Override
    public void onUploadTokenExpired(UploadFileInfo info) {
        // 获取并更新 sts token。
         uploader.resumeWithToken("<accessKeyId>", "<accessKeySecret>", "<secretToken>", "<expireTime>");
    }
    @Override
    public void onUploadRetry(UploadFileInfo info, String code, String message) {;}
    @Override
    public void onUploadRetryResume(UploadFileInfo info) {;}
    @Override
    public boolean onUploadStarted(UploadFileInfo uploadFileInfo) {;}
};
// 获取sts token并初始化
uploader.init("<accessKeyId>", "<accessKeySecret>", "<secretToken>", "<expireTime>", callback);
// 添加文件
uploader.addFile("<uploadFilePath>", "<endpoint>", "<bucketName>", "<objectKey>");
// 开始上传
uploader.start();

iOS端:

下载iOS端Demo,进行如下修改:

  • 修改VODUploadDemo.m里面的serverUrl为应用服务器配置地址,如http://192.168.0.2:7080/
  • 配置用户Bucket。
  • 配置用户Bucket对应的endpoint。
  • 运行Demo,点击添加文件。
  • 点击上传,在OSS对应Bucket的uploadtest/目录下查看文件是否已经上传成功。

主要代码:

// 回调初始化
OnUploadStartedListener testUploadStartedCallbackFunc = ^(UploadFileInfo* fileInfo) {;};
OnUploadSucceedListener testSuccessCallbackFunc = ^(NSString* filePath){;};
OnUploadFailedListener testFailedCallbackFunc = ^(NSString* filePath, NSString* code, NSString* message){;};
OnUploadProgressListener testProgressCallbackFunc = ^(NSString* filePath, long uploadedSize, long totalSize) {;};
OnUploadTokenExpiredListener testTokenExpiredCallbackFunc = ^{
    // 获取并更新sts token
    [uploader resumeWithToken:<accessKeyId>
          accessKeySecret:<accessKeySecret>
          secretToken:<secretToken>
          expireTime:<expireTime>]
};
OnUploadRertyListener testUploadRertyListener = ^{;};
OnUploadRertyResumeListener testUploadRertyResumeListener = ^{;};
VODUploadListener *listener;
listener = [[VODUploadListener alloc] init];
listener.started = testUploadStartedCallbackFunc;
listener.success = testSuccessCallbackFunc;
listener.failure = testFailedCallbackFunc;
listener.progress = testProgressCallbackFunc;
listener.expire = testTokenExpiredCallbackFunc;
listener.retry = testUploadRertyListener;
listener.retryResume = testUploadRertyResumeListener;
// 获取Token
// 上传客户端初始化
VODUploadClient *uploader;
[uploader init:<accessKeyId>
          accessKeySecret:<accessKeySecret>
          secretToken:<secretToken>
          expireTime:<expireTime>
          listener:listener];
// 添加文件
[uploader addFile:<uploadFilePath>
        endpoint:<endpoint>
        bucket:<bucketName>
        object:<objectKey>];
// 开始上传
[uploader start];
目录
相关文章
|
2月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
7月前
|
Oracle 关系型数据库 数据处理
实时计算 Flink版产品使用合集之写入OSS是否要开通oss-hdfs服务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
Java API 对象存储
微服务魔法启动!Spring Cloud与Netflix OSS联手,零基础也能创造服务奇迹!
这段内容介绍了如何使用Spring Cloud和Netflix OSS构建微服务架构。首先,基于Spring Boot创建项目并添加Spring Cloud依赖项。接着配置Eureka服务器实现服务发现,然后创建REST控制器作为API入口。为提高服务稳定性,利用Hystrix实现断路器模式。最后,在启动类中启用Eureka客户端功能。此外,还可集成其他Netflix OSS组件以增强系统功能。通过这些步骤,开发者可以更高效地构建稳定且可扩展的微服务系统。
60 1
|
4月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
5月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
运维 Serverless 数据处理
函数计算产品使用问题之在对象存储服务(OSS)上创建ZIP包解压触发器后,触发器未按预期执行,一般是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
6月前
|
存储 Java Maven
大事件后端项目31--------文件上传_阿里云OSS_入门程序
大事件后端项目31--------文件上传_阿里云OSS_入门程序
|
6月前
|
存储 运维 Java
大事件后端项目30------文件上传_阿里云OSS_准备工作
大事件后端项目30------文件上传_阿里云OSS_准备工作
|
6月前
|
对象存储
大事件后端项目32--------文件上传_阿里云OSS_程序集成
大事件后端项目32--------文件上传_阿里云OSS_程序集成
|
7月前
|
存储 JSON 前端开发
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务集成的详细解析
203 0