如何自定义开发算法组件

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 使用【阿里云-机器学习PAI-pai studio】,用python开发自定义算法组件,并且上传内网,发布部署到PAI平台

一、目的

使用【阿里云-机器学习PAI-pai studio】,用python开发自定义算法组件,并且上传内网,发布部署到PAI平台。但是我现在准备好数据源(已经数据清洗,拆分后),执行到我自定义开发的组件(python工程),就卡住了,也不报错,初步判断是无法接收上面组件节点传来的参数,请问该如何处理?

二、环境

①、开发语言:python

②、开发框架:TensorFlow(最好不要用,导入TensorFlow库后,项目非常大)

③、平台:阿里云,机器学习PAI,DataWorks

④、目录结构

三、问题

1、组件开发

现在纯python的代码开发完毕了。将我的python项目,打包成tar.gz包,然后上传内网的机器学习PAI平台。具体的【上传-发布-订阅-拖动组件到实验桌布-配置-运行】这套流程已经熟悉。

2、创建实验

2.1、实验步骤

包括:【数据源表】→【SQL脚本-3】→【拆分-3】→【am.pre...006-1(我自己开发的算法组件)】→【预测-3】

2.2、实验流程截图

我创建了1个实验,3个分支,左边2个流程是我用官方给的组件做的流程对照组。右边第3个流程是我自己开发的流程,用来完成个性化算法。

2.3、执行【实验】

实验进行到【am.pre...006-1】(我自己开发的算法组件)就卡住了。这里初步推断是我自己开发的组件(python项目)中,没有使用机器学习PAI平台,规范的入参接口代码,接下来开始寻找,组件之间如何交互(传参)。

三、解决问题

3.1、搜集资料

①、资料1
【开发算法包】https://help.aliyun.com/document_detail/126887.html

目前,我照着这个帖子进行

②、资料②

【开发示例程序-Github地址】https://github.com/aliyun/algo-market-example

这里面的demo中,是最基本的代码,只有导包tensorflow和打印语句。

进入【TensorFlow_example】目录后:

点击查看train.py文件内容,这里告诉了我们如何引入tensorflow组件,没有设计组件之间如何交互的问题。

3.2、工单询问阿里云-机器学习PAI平台工程师

3.3、与同事交流

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
6月前
|
人工智能 编解码 算法
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
在本教程中,您将学习在阿里云交互式建模平台PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理,实现文本驱动的图像编辑功能单卡即可完成AIGC图片风格变化、背景变化和主体变化等功能。让我们一同开启这场旅程,为您的图像编辑添上无限可能性的翅膀吧。
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
|
20天前
|
算法 测试技术 开发者
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗;代码审查通过检查源代码发现潜在问题,提高代码质量和团队协作效率。本文介绍了一些实用的技巧和工具,帮助开发者提升开发效率。
20 3
|
2月前
|
XML JavaScript 前端开发
学习react基础(1)_虚拟dom、diff算法、函数和class创建组件
本文介绍了React的核心概念,包括虚拟DOM、Diff算法以及如何通过函数和类创建React组件。
29 2
|
1月前
|
算法 Java 测试技术
数据结构 —— Java自定义代码实现顺序表,包含测试用例以及ArrayList的使用以及相关算法题
文章详细介绍了如何用Java自定义实现一个顺序表类,包括插入、删除、获取数据元素、求数据个数等功能,并对顺序表进行了测试,最后还提及了Java中自带的顺序表实现类ArrayList。
21 0
|
3月前
|
算法 NoSQL 中间件
go语言后端开发学习(六) ——基于雪花算法生成用户ID
本文介绍了分布式ID生成中的Snowflake(雪花)算法。为解决用户ID安全性与唯一性问题,Snowflake算法生成的ID具备全局唯一性、递增性、高可用性和高性能性等特点。64位ID由符号位(固定为0)、41位时间戳、10位标识位(含数据中心与机器ID)及12位序列号组成。面对ID重复风险,可通过预分配、动态或统一分配标识位解决。Go语言实现示例展示了如何使用第三方包`sonyflake`生成ID,确保不同节点产生的ID始终唯一。
go语言后端开发学习(六) ——基于雪花算法生成用户ID
|
3月前
|
数据采集 前端开发 算法
基于朴素贝叶斯算法的新闻类型预测,django框架开发,前端bootstrap,有爬虫有数据库
本文介绍了一个基于Django框架和朴素贝叶斯算法开发的新闻类型预测系统,该系统具备用户登录注册、后台管理、数据展示、新闻分类分布分析、新闻数量排名和新闻标题预测等功能,旨在提高新闻处理效率和个性化推荐服务。
|
5月前
|
算法 Java API
记录我第一次在Android开发图像处理算法的经历
记录我第一次在Android开发图像处理算法的经历
35 1
|
5月前
|
存储 算法 Java
图像分析之连通组件标记算法
图像分析之连通组件标记算法
464 1
|
5月前
|
负载均衡 算法 Nacos
SpringCloud之LoadBalancer自定义负载均衡算法,基于nacos权重
ReactorLoadBalancer接口,实现自定义负载算法需要实现该接口,并实现choose逻辑,选取对应的节点。
443 0
|
5月前
|
算法 计算机视觉
图像处理之基于图的广度优先搜索组件标记算法
图像处理之基于图的广度优先搜索组件标记算法
32 0