基于对象存储(OSS)的函数计算模板详解(一)

本文涉及的产品
函数计算FC,每月15万CU 3个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 阿里云函数计算为了降低开发者使用难度,推出了大量实用的模板供给用户使用,每个模板都提供一段业务示例逻辑代码,能大大降低用户使用门槛。下面来详细讲解每个模板的使用方法和内容。

阿里云函数计算为了降低开发者使用难度,推出了大量实用的模板供给用户使用,每个模板都提供一段业务示例逻辑代码,能降低用户使用门槛。下面来详细讲解基于对象存储的几个常用模板的使用方法和内容,更多模板详见

引用步骤,进入函数计算控制台后,选择新建函数,在搜索框里填写OSS会自动检索出跟OSS相关的模板,目前系统内置了8个跟OSS相关的模板。

6332cb0834dc1da9369a3089c2c23923f66733dc

关于函数计算和OSS操作的模板,目前系统内置提供了8个模板,分别解决的问题有:把OSS数据同步备份到其他地方、获取对象的meta信息,获取OSS文件的MD5值、爬虫系统、图像识别、对OSS上的文件打包压缩、以及获取对象的详细信息等。今天讲解其中3个常用业务模板。

模板概述

阿里云函数计算模板主要包含三部分内容,模板详情描述、模板引用资源授权(部分不使用其他产品资源不需要授权)、模板示例代码。操作流程如下:

2beb75b0d583db144da8e6af67402478938daf62

新建函数-》引用模板创建-》给模板引用的资源授权(选填,有些模板不需要引用外置的资源)-》获取代码示例。

模板一:get-oss-md5-python27(获取对象存储文件的MD5值)

通过该模板的示例代码,可以计算出对象存储(OSS)文件的MD5值,本示例的代码通过流式方式读取对象文件,计算的效率较高。基于数据访问安全考虑,需要授权某bucket给函数计算来使用,通过函数计算的引导页面可以完成。

模板详情:通过模板详情可以获取到模板的详细情况,例如输入参数,输出参数等。详细引用查看这里。模板详情里会包括示例说明,输入参数,输出参数,以及需要哪些授权等,下面的模板同。

附录几张界面截图:

c632483cd12ef848b3b96e760d8072fb902d33f1

模板授权:基于数据访问安全考虑,需要授权某bucket给函数计算来使用。

86cc38ffdaee19dd7ff2bb3b7d02659a1ee44677

授权页面设置,本示例只需要选择某个Bucket授权即可。


代码详解:采用流式方式来读取文件的MD5值,其中creds = context.credentials是获取系统生成的临时AK来作为执行的认证。

# coding=utf-8
import json
import logging
from hashlib import md5
import oss2
 # 函数服务主函数
def handler(event, context):
    logger = logging.getLogger()
    logger.info('start worker')
    evt = json.loads(event)
    endpoint = 'oss-{}-internal.aliyuncs.com'.format(context.region)
    creds = context.credentials #获取系统生成的临时AK
    auth = oss2.StsAuth(creds.access_key_id, creds.access_key_secret, creds.security_token)
    bucket_name = evt['bucket']
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    object_name = evt['object']
    r = bucket.get_object(object_name)
    m = md5()
    while 1:
        data = r.read(4096)
        if not data:
            break
        m.update(data)

return m.hexdigest()


模板二:copy-oss-object-python27(同步备份OSS增量数据)

通过该模板的示例代码,可以把指定某个Bucket下的文件备份到其他资源,示例代码是备份到七牛存储上,也可以修改示例代码,把文件存储到本地硬盘或者某个服务上。对于大文件同步本示例文档对大文件备份做了优化,授权方式跟模板一介绍的一致,需要授权使用。

# -*- coding: utf-8 -*-
from qiniu import Auth, put_file, etag, urlsafe_base64_encode
import qiniu.config
import oss2
import json
def handler(event, context):
    """
    Replicate the object from OSS to qiniu.
    event:   The OSS event json string. Including oss object uri and other information.
    context: The function context, including credential and runtime info.
             For detail info, please refer to https://help.aliyun.com/document_detail/56316.html#using-context
    """
    evt_list = json.loads(event)
    creds = context.credentials
    auth = oss2.StsAuth(creds.access_key_id, creds.access_key_secret, creds.security_token)

    # Parse the event to get the source object info.
    evt = evt_list['events'][0]
    bucket_name = evt['oss']['bucket']['name']
    endpoint = 'oss-' + evt['region'] + '.aliyuncs.com'
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    object_name = evt['oss']['object']['key']

    # Download the oss object.
    remote_stream = bucket.get_object(object_name)
    if not remote_stream:
        raise RuntimeError('failed to get oss object. bucket: %s. object: %s' % (bucket_name, object_name))
    print 'download object from oss success: %s' % object_name

    # replicate to qiniu
    qiniu_ak_id = 'XXXX'
    qiniu_ak_secret = 'XXXX'
    qiniu_bucket_name = 'XXX'
    q = Auth(qiniu_ak_id, qiniu_ak_secret)
    qiniu_token = q.upload_token(qiniu_bucket_name, object_name, 1200)
    ret, info = qiniu.put_data(qiniu_token, object_name, remote_stream)
    if ret is None:
        print info
    else:
        print 'replicate to qiniu success: %s' % object_name

    # TODO: Verify the checksum
# TODO: Handle the error


模板三:oss-download-zip-upload(下载OSS对象并打压缩包)

通过该模板示例,您可以完成从OSS某个Bucket中下载图片,对图片进行打包(ZIP),并把打包后的ZIP文件上传到某Bucket中操作。注意该函数对应的Service的角色访问策略需要读写OSS的权限。

import os
import oss2
import zipfile
import shutil
import time

def handler(event, context):
    creds = context.credentials
    auth = oss2.StsAuth(creds.accessKeyId, creds.accessKeySecret, creds.securityToken)
    bucket = oss2.Bucket(auth, 'your endpoint', 'your buecket name')
    #your source list
    sourceFile = ['resource/1.jpg','resource/2.jpg']
    #zip name
    uid = 'ZIP123456'
    tmpdir = '/tmp/download/'
    
    os.system("rm -rf /tmp/*")
    os.mkdir(tmpdir)
       
    #download
    for name in sourceFile :
        millis = int(round(time.time() * 1000))
        bucket.get_object_to_file(name , tmpdir + str(millis) + '.jpg')
    
    #zip file
    zipname = '/tmp/'+uid + '.zip'
    make_zip(tmpdir , zipname)

    #upload
    total_size = os.path.getsize(zipname)
    part_size = oss2.determine_part_size(total_size, preferred_size = 128 * 1024)

    key = uid + '.zip'
    upload_id = bucket.init_multipart_upload(key).upload_id
 
    with open(zipname, 'rb') as fileobj:
        parts = []
        part_number = 1
        offset = 0
        while offset < total_size:
            num_to_upload = min(part_size, total_size - offset)
            result = bucket.upload_part(key, upload_id, part_number,oss2.SizedFileAdapter(fileobj, num_to_upload))
            parts.append(oss2.models.PartInfo(part_number, result.etag))
            offset += num_to_upload
            part_number += 1
            
        bucket.complete_multipart_upload(key, upload_id, parts)
        
	return total_size


def make_zip(source_dir, output_filename):
    zipf = zipfile.ZipFile(output_filename, 'w')    
    pre_len = len(os.path.dirname(source_dir))
    for parent, dirnames, filenames in os.walk(source_dir):
        for filename in filenames:
            pathfile = os.path.join(parent, filename)
            arcname = pathfile[pre_len:].strip(os.path.sep)     
            zipf.write(pathfile, arcname)
    zipf.close()





相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
2月前
|
存储 Cloud Native 容灾
阿里云对象存储(OSS):企业数字化转型的核心存储引擎
阿里云对象存储(OSS)是全球领先的云原生存储服务,提供无限扩展的存储容量、高达12个9的数据持久性以及企业级安全防护。它支持智能分层存储降低成本,通过CDN加速实现高性能访问,并深度集成阿里云生态,适用于海量静态资源分发、大数据分析、备份容灾等场景。OSS以全生命周期管理与开发者友好工具助力企业高效、安全地释放数据价值,推动数字化转型。
698 15
|
27天前
|
安全 搜索推荐 Serverless
HarmonyOS5云服务技术分享--Serverless抽奖模板部署
本文详细介绍了如何使用华为HarmonyOS的Serverless模板快速搭建抽奖活动,手把手教你完成从前期准备到部署上线的全流程。内容涵盖账号注册、云函数配置、参数调整、托管上线及个性化定制等关键步骤,并附带常见问题解答和避坑指南。即使是零基础用户,也能轻松上手,快速实现抽奖活动的开发与部署。适合希望高效构建互动应用的开发者参考学习。
|
2月前
|
存储 弹性计算 数据管理
阿里云OSS对象存储收费标准价格表:流量包+存储包2025最新整理
阿里云OSS对象存储2025收费标准及请求费用等,提供按量付费与包年包月两种模式。标准型本地冗余存储按量价为0.09元/GB/月,包年包月如500GB仅118.99元/年。流量费仅收公网出方向,闲时0.25元/GB、忙时0.5元/GB。更多详情见官网。
1173 2
|
4月前
|
存储 前端开发 开发工具
利用阿里云OSS(对象存储服务)快速搭建私人网盘
本文介绍了如何使用阿里云OSS搭建个人网盘的详细步骤。首先,注册阿里云账号并开通OSS服务,创建Bucket;接着,配置AccessKey和跨域访问(CORS)规则。然后,选择开源项目(如FileBrowser)或自定义前端,结合OSS SDK实现文件上传下载功能。最后,部署到服务器并绑定域名,确保安全与性能优化,如权限控制、数据备份及CDN加速。
884 6
|
4月前
|
Java 对象存储
OSS对象存储Header方式JavaV4签名
本文介绍了如何使用Java代码生成阿里云OSS的V4签名授权。通过设置时间、访问密钥等参数,创建签名请求并输出授权信息。包含两张示意图展示流程和关键步骤。
147 1
|
4月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
6月前
|
安全 对象存储
OSS对象存储JavaV4签名
本文介绍了如何使用阿里云OSS-SDK生成V4版本的签名URL和Header签名。通过设置时间、访问密钥等参数,代码示例展示了如何创建带有V4签名的请求,适用于安全访问对象存储服务。相关文档链接提供了更多详细信息。
510 7
|
8月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
1966 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
8月前
|
存储 人工智能 安全
OSS 深度解析:Data + AI 时代的对象存储
在 Data + AI 时代,随着大数据分析和 AI/ML 工作负载的进一步融合,对象存储 OSS 作为面向 AI 时代的数据基础设施,迎来了新的挑战与创新机遇。本话题我们将会介绍对象存储的能力创新,深度解读对象存储在实现稳定、安全、高性能和低成本背后的技术进展,并展望未来 AI 驱动趋势下的技术发展方向。
1325 1
|
8月前
|
算法 Java Linux
java制作海报四:java BufferedImage 转 InputStream 上传至OSS。png 图片合成到模板(另一个图片)上时,透明部分变成了黑色
这篇文章主要介绍了如何将Java中的BufferedImage对象转换为InputStream以上传至OSS,并解决了png图片合成时透明部分变黑的问题。
347 1

相关产品

  • 函数计算
  • 下一篇
    oss创建bucket