Amazon SageMaker

简介: 基于 Amazon SageMaker 的低成本 CI/CD 系统最佳实践包括以下几个方面:

基于 Amazon SageMaker 的低成本 CI/CD 系统最佳实践包括以下几个方面:

使用 Amazon SageMaker 内置的 Jupyter Notebook 或 Python 环境,以降低部署和配置成本。
使用 Docker 容器化,简化部署过程,并确保环境一致性。
使用 Amazon SageMaker Notebook instance 或 Amazon EC2 实例进行训练和部署,以降低成本。
使用 Amazon SageMaker Model Monitor 监控模型性能,以提高系统可靠性。
使用 Amazon SageMaker Debugger 调试模型,以快速定位和解决问题。
使用 Amazon SageMaker 的自动调优功能,以提高模型性能和降低调优成本。
使用 Amazon SageMaker 的生命周期管理功能,以简化模型部署和升级过程。

要使用基于 Amazon SageMaker 的低成本 CI/CD 系统,您可以遵循以下步骤:

创建 Amazon SageMaker 实例,并配置所需的资源和环境。
创建 Docker 容器,并将其上传到 Amazon ECR。
编写 Jupyter Notebook 或 Python 脚本,实现模型训练和部署。
使用 Amazon SageMaker Trainer 或 Estimator 训练模型。
使用 Amazon SageMaker Deployer 将模型部署到生产环境。
使用 Amazon SageMaker Model Monitor 监控模型性能。
使用 Amazon SageMaker Debugger 调试模型。
使用 Amazon SageMaker 的自动调优功能优化模型性能。
使用 Amazon SageMaker 的生命周期管理功能管理模型版本和升级。

推荐 Demo:

以下是一个使用 Amazon SageMaker 和 Jupyter Notebook 实现低成本 CI/CD 的示例:

import os
import json
from sagemaker import get_execution_role
from sagemaker.amazon import AmazonSageMaker
from sagemaker.common import SageMakerSharedLearningPaths

获取执行角色

role = get_execution_role()

创建并配置 Amazon SageMaker 实例

sagemaker_instance = AmazonSageMaker(
role_arn=role,
instance_type="ml.m4.xlarge",
instance_count=1,
volume_size_in_gb=50,
max_runtime_in_seconds=3600,
base_job_name="my-base-job",
output_path="s3://my-sagemaker-output/",
sagemaker_shared_learning_paths=SageMakerSharedLearningPaths(
code_dir="s3://my-sagemaker-code/",
artifacts_dir="s3://my-sagemaker-artifacts/",
),
)

创建并运行 Jupyter Notebook

notebook_name = "my-sagemaker-notebook"
notebook_instance = sagemaker_instance.create_notebook_instance(
notebook_name=notebook_name,
notebook_instance_type="ml.m4.xlarge",
volume_size_in_gb=50,
max_runtime_in_seconds=3600,
)

编写 Jupyter Notebook

os.system(
f"sagemaker-runtime-python {notebook_instance.instance_arn} -- NotebookApp.iopub_data_rate_limit=1.0e10 "
f"-- NotebookApp.output_data_rate_limit=1.0e10 "
f"-- /opt/conda/bin/python /tmp/my-sagemaker-notebook.ipynb"
)

部署模型

model_name = "my-sagemaker-model"
sagemaker_instance.deploy_model(
model_name=model_name,
model_version="1",
instance_type="ml.m4.xlarge",
instance_count=1,

目录
相关文章
|
6月前
|
存储 人工智能 大数据
云计算平台:AWS、Azure和Google Cloud的比较与选择
在当今数字化时代,云计算平台成为了企业和个人的首选。本文将重点比较三大主流云计算平台:AWS、Azure和Google Cloud,从性能、功能、可用性以及定价等方面进行综合评估,帮助读者更好地选择适合自己需求的云计算平台。
|
6月前
|
存储 运维 前端开发
Amazon S3
Amazon S3
119 0
|
机器学习/深度学习 存储 人工智能
20分钟,使用Amazon SageMaker快速搭建属于自己的AIGC应用(上)
20分钟,使用Amazon SageMaker快速搭建属于自己的AIGC应用(上)
|
机器学习/深度学习 编解码 人工智能
20分钟,使用Amazon SageMaker快速搭建属于自己的AIGC应用(下)
20分钟,使用Amazon SageMaker快速搭建属于自己的AIGC应用(下)
|
存储 网络协议 安全
3.1.1计算服务亚马逊 AWS|学习笔记(二)
快速学习3.1.1计算服务亚马逊 AWS
3.1.1计算服务亚马逊 AWS|学习笔记(二)
|
存储 弹性计算 缓存
3.1.1计算服务亚马逊 AWS|学习笔记(一)
快速学习3.1.1计算服务亚马逊 AWS
3.1.1计算服务亚马逊 AWS|学习笔记(一)
|
存储 JSON 关系型数据库
【AWS系列】什么是DynamoDB
1. Truncate 操作:DynamoDB不支持 Truncate操作,最简单的办法是删表重建即可;如果需要删掉一部分数据,可以写脚本用scan 查出 PK 的列表逐个进行删除;还可以设置表的过期时间,让这批数据定期失效即可。2. JavaScript 有两个类库:一种使用了 DynamoDB Json其中包括了数据的类型,需要调用相关的marshal 和 unmarshal方法来转换成标准的 Json3.批量操作:DynamoDB 中批量操作有25 的数据量。
402 0
【AWS系列】什么是DynamoDB
|
SQL 存储 人工智能
[GCP]BigQuery大数据产品系列分析介绍
介绍GCP大数据相关产品能力系列介绍
2167 1
[GCP]BigQuery大数据产品系列分析介绍
|
智能硬件
Amazon Exclusives 会成为下一个 Kickstarter 吗?
随着创客运动的兴起,一大帮有梦青年开始投身智能硬件等新创领域,并随之出现了一大批新鲜创意产品。然而,极客发烧友抑或普通消费者想要购买到这些创意产品的渠道依然还是比较狭窄的,他们往往只能到一些众筹平台或直接去其官网进行采购。
127 0
Amazon Exclusives 会成为下一个 Kickstarter 吗?
|
机器学习/深度学习 自动驾驶 安全
AWS 和 Facebook 合作推出 PyTorch 模型服务框架 TorchServe
  近日,Facebook 和 AWS 合作推出了 PyTorch 模型服务库 TorchServe,强强联手剑指 Google TensorFlow。   PyTorch 是当下最火的深度学习开源库之一,可以帮助开发者和研究人员更轻松地构建和训练模型。即便有了 PyTorch,在生产中部署和管理模型仍然是机器学习的一大难题,包括构建定制的预测 API,对其进行缩放以及保证其安全等问题。   简化模型部署过程的一种方法是使用模型服务器,即专门设计用于在生产中提供机器学习预测的现成的 Web 应用程序。模型服务器可轻松加载一个或多个模型,并自动创建由可伸缩 Web 服务器支持的预测 API。
211 0