基于对象存储(OSS)的函数计算模板详解(一)

本文涉及的产品
简介: 阿里云函数计算为了降低开发者使用难度,推出了大量实用的模板供给用户使用,每个模板都提供一段业务示例逻辑代码,能大大降低用户使用门槛。下面来详细讲解每个模板的使用方法和内容。

阿里云函数计算为了降低开发者使用难度,推出了大量实用的模板供给用户使用,每个模板都提供一段业务示例逻辑代码,能降低用户使用门槛。下面来详细讲解基于对象存储的几个常用模板的使用方法和内容,更多模板详见

引用步骤,进入函数计算控制台后,选择新建函数,在搜索框里填写OSS会自动检索出跟OSS相关的模板,目前系统内置了8个跟OSS相关的模板。

6332cb0834dc1da9369a3089c2c23923f66733dc

关于函数计算和OSS操作的模板,目前系统内置提供了8个模板,分别解决的问题有:把OSS数据同步备份到其他地方、获取对象的meta信息,获取OSS文件的MD5值、爬虫系统、图像识别、对OSS上的文件打包压缩、以及获取对象的详细信息等。今天讲解其中3个常用业务模板。

模板概述

阿里云函数计算模板主要包含三部分内容,模板详情描述、模板引用资源授权(部分不使用其他产品资源不需要授权)、模板示例代码。操作流程如下:

2beb75b0d583db144da8e6af67402478938daf62

新建函数-》引用模板创建-》给模板引用的资源授权(选填,有些模板不需要引用外置的资源)-》获取代码示例。

模板一:get-oss-md5-python27(获取对象存储文件的MD5值)

通过该模板的示例代码,可以计算出对象存储(OSS)文件的MD5值,本示例的代码通过流式方式读取对象文件,计算的效率较高。基于数据访问安全考虑,需要授权某bucket给函数计算来使用,通过函数计算的引导页面可以完成。

模板详情:通过模板详情可以获取到模板的详细情况,例如输入参数,输出参数等。详细引用查看这里。模板详情里会包括示例说明,输入参数,输出参数,以及需要哪些授权等,下面的模板同。

附录几张界面截图:

c632483cd12ef848b3b96e760d8072fb902d33f1

模板授权:基于数据访问安全考虑,需要授权某bucket给函数计算来使用。

86cc38ffdaee19dd7ff2bb3b7d02659a1ee44677

授权页面设置,本示例只需要选择某个Bucket授权即可。


代码详解:采用流式方式来读取文件的MD5值,其中creds = context.credentials是获取系统生成的临时AK来作为执行的认证。

# coding=utf-8
import json
import logging
from hashlib import md5
import oss2
 # 函数服务主函数
def handler(event, context):
    logger = logging.getLogger()
    logger.info('start worker')
    evt = json.loads(event)
    endpoint = 'oss-{}-internal.aliyuncs.com'.format(context.region)
    creds = context.credentials #获取系统生成的临时AK
    auth = oss2.StsAuth(creds.access_key_id, creds.access_key_secret, creds.security_token)
    bucket_name = evt['bucket']
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    object_name = evt['object']
    r = bucket.get_object(object_name)
    m = md5()
    while 1:
        data = r.read(4096)
        if not data:
            break
        m.update(data)

return m.hexdigest()


模板二:copy-oss-object-python27(同步备份OSS增量数据)

通过该模板的示例代码,可以把指定某个Bucket下的文件备份到其他资源,示例代码是备份到七牛存储上,也可以修改示例代码,把文件存储到本地硬盘或者某个服务上。对于大文件同步本示例文档对大文件备份做了优化,授权方式跟模板一介绍的一致,需要授权使用。

# -*- coding: utf-8 -*-
from qiniu import Auth, put_file, etag, urlsafe_base64_encode
import qiniu.config
import oss2
import json
def handler(event, context):
    """
    Replicate the object from OSS to qiniu.
    event:   The OSS event json string. Including oss object uri and other information.
    context: The function context, including credential and runtime info.
             For detail info, please refer to https://help.aliyun.com/document_detail/56316.html#using-context
    """
    evt_list = json.loads(event)
    creds = context.credentials
    auth = oss2.StsAuth(creds.access_key_id, creds.access_key_secret, creds.security_token)

    # Parse the event to get the source object info.
    evt = evt_list['events'][0]
    bucket_name = evt['oss']['bucket']['name']
    endpoint = 'oss-' + evt['region'] + '.aliyuncs.com'
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    object_name = evt['oss']['object']['key']

    # Download the oss object.
    remote_stream = bucket.get_object(object_name)
    if not remote_stream:
        raise RuntimeError('failed to get oss object. bucket: %s. object: %s' % (bucket_name, object_name))
    print 'download object from oss success: %s' % object_name

    # replicate to qiniu
    qiniu_ak_id = 'XXXX'
    qiniu_ak_secret = 'XXXX'
    qiniu_bucket_name = 'XXX'
    q = Auth(qiniu_ak_id, qiniu_ak_secret)
    qiniu_token = q.upload_token(qiniu_bucket_name, object_name, 1200)
    ret, info = qiniu.put_data(qiniu_token, object_name, remote_stream)
    if ret is None:
        print info
    else:
        print 'replicate to qiniu success: %s' % object_name

    # TODO: Verify the checksum
# TODO: Handle the error


模板三:oss-download-zip-upload(下载OSS对象并打压缩包)

通过该模板示例,您可以完成从OSS某个Bucket中下载图片,对图片进行打包(ZIP),并把打包后的ZIP文件上传到某Bucket中操作。注意该函数对应的Service的角色访问策略需要读写OSS的权限。

import os
import oss2
import zipfile
import shutil
import time

def handler(event, context):
    creds = context.credentials
    auth = oss2.StsAuth(creds.accessKeyId, creds.accessKeySecret, creds.securityToken)
    bucket = oss2.Bucket(auth, 'your endpoint', 'your buecket name')
    #your source list
    sourceFile = ['resource/1.jpg','resource/2.jpg']
    #zip name
    uid = 'ZIP123456'
    tmpdir = '/tmp/download/'
    
    os.system("rm -rf /tmp/*")
    os.mkdir(tmpdir)
       
    #download
    for name in sourceFile :
        millis = int(round(time.time() * 1000))
        bucket.get_object_to_file(name , tmpdir + str(millis) + '.jpg')
    
    #zip file
    zipname = '/tmp/'+uid + '.zip'
    make_zip(tmpdir , zipname)

    #upload
    total_size = os.path.getsize(zipname)
    part_size = oss2.determine_part_size(total_size, preferred_size = 128 * 1024)

    key = uid + '.zip'
    upload_id = bucket.init_multipart_upload(key).upload_id
 
    with open(zipname, 'rb') as fileobj:
        parts = []
        part_number = 1
        offset = 0
        while offset < total_size:
            num_to_upload = min(part_size, total_size - offset)
            result = bucket.upload_part(key, upload_id, part_number,oss2.SizedFileAdapter(fileobj, num_to_upload))
            parts.append(oss2.models.PartInfo(part_number, result.etag))
            offset += num_to_upload
            part_number += 1
            
        bucket.complete_multipart_upload(key, upload_id, parts)
        
	return total_size


def make_zip(source_dir, output_filename):
    zipf = zipfile.ZipFile(output_filename, 'w')    
    pre_len = len(os.path.dirname(source_dir))
    for parent, dirnames, filenames in os.walk(source_dir):
        for filename in filenames:
            pathfile = os.path.join(parent, filename)
            arcname = pathfile[pre_len:].strip(os.path.sep)     
            zipf.write(pathfile, arcname)
    zipf.close()





相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
1月前
|
监控 Serverless 测试技术
Serverless 应用引擎常见问题之生成的图片的oss地址配成自定义的域名如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
24 0
|
22天前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
3月前
|
JavaScript Java Serverless
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
函数计算中,这里是用的curl的方式,如何改用http的post方式请求?还有如何设置oss打包的zip的保存目录?
159 0
|
4月前
|
Serverless 对象存储 数据安全/隐私保护
在阿里云函数计算(FC)中使用云对象存储服务(OSS)时,需要为FC实例授予对OSS资源的访问权限
在阿里云函数计算(FC)中使用云对象存储服务(OSS)时,需要为FC实例授予对OSS资源的访问权限
390 1
|
6月前
|
人工智能 运维 Serverless
基于函数计算模板部署AI应用实践
在本实验场景中,将向大家介绍如何基于阿里云函数计算FC服务部署Stable Diffusion实现文字到图片的生成;以及部署ImageAI 目标检测应用,对现有图片内容进行检测。
|
7月前
|
存储 弹性计算 Serverless
使用函数计算打包下载OSS文件
本场景介绍如何使用函数计算将对象存储OSS上多个文件(Object)打包下载到本地。
430 0
|
存储 Serverless 对象存储
函数计算批量处理海量 OSS 文件
函数计算批量处理海量 OSS 文件自制脑图
97 0
函数计算批量处理海量 OSS 文件
|
存储 人工智能 JSON
函数计算与对象存储实现WordCount
Serverless架构可以在很多领域发挥极具价值的作用。包括监控告警、人工智能、图像处理、音视频处理等,同样,在大数据领域,Serverless架构仍然可以具有良好的表现,以大数据常见的入门案例:WordCount为例,可以依靠Serverless架构实现一个“Serverless版本的MapReduce”。
102 0
|
监控 关系型数据库 Serverless
基于 Serverless+OSS 分分钟实现图片秒变素描
在阿里云 Serverless 函数计算服务中部署普通图片转素描图的函数服务,实现批量上传到指定 OSS 桶内的图片自动转换为素描图并保存到另一个 OSS 桶内。
基于 Serverless+OSS 分分钟实现图片秒变素描
|
监控 关系型数据库 Serverless

热门文章

最新文章

相关产品

  • 函数计算