Modelscope Agent实操(二):低代码调用API创建更加酷炫的Agent

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 上一篇中介绍了 0代码创建、发布并分享一个专属Agent,今天主要介绍如何借助API让你的Agent更加有用、有趣!

上一篇中介绍了 0代码创建、发布并分享一个专属Agent今天主要介绍如何借助API让你的Agent更加有用、有趣!


API接入会极大扩展Agent的能力范围


API(Application Programming Interface)是一组重要的协议、规则和工具集,它们定义了软件应用程序之间如何进行有效的交互。当API遵循OpenAPI规范时,它们便可以被agent轻松调用。这种接入不仅赋予agent更多的功能和能力,而且可以极大地扩展其服务范围。例如:


  1. 访问第三方服务:通过API接入,Agent可以访问各种第三方服务,如天气预报、股票行情、地图导航等,从而扩展自己的功能范围。
  2. 集成第三方应用:通过API接入,Agent可以与第三方应用进行集成,实现更多的功能,例如通过集成微信、支付宝等支付应用,实现快捷支付。
  3. 处理复杂数据:通过API接入,Agent可以获得更多的数据,从而处理更复杂的数据。例如通过接入新闻API,实现自动获取新闻信息,然后进行分析和推荐。
  4. 自动化流程:通过API接入,Agent可以实现自动化流程,例如通过接入银行的API,实现自动完成转账等操作。
  5. 个性化推荐:通过API接入,Agent可以获取用户的偏好和历史行为数据,从而实现更准确的个性化推荐。例如通过接入电商API,实现个性化商品推荐。


总结就是API可以让Agent做到更多的事情!


Agent+API实现原理


Agent使用API的流程包括以下几个步骤:

  1. 参数分析:分析用户输入的符合OpenAPI规范的JSON或YAML文件,提取关键信息,包括参数和描述等;
  2. LLM Planning:将提取的信息填写到提示语中,提交给LLM (大型语言模型) 并接收其输出;
  3. 动作解析:分析LLM的输出,如果LLM指示需要调用API,则从输出中提取相应的动作信息;
  4. API 调用:根据动作信息中的参数,执行HTTP请求,获取结果;
  5. LLM Generation:将API调用的结果传回LLM,获取最终的输出内容。


Agent调用API案例:艺术字生成


艺术字API:

https://help.aliyun.com/zh/dashscope/developer-reference/wordart-quick-start?spm=a2c4g.11186623.0.0.4796b08azcgSVShttps://help.aliyun.com/zh/dashscope/developer-reference/wordart-quick-start?spm=a2c4g.11186623.0.0.4796b08azcgSVS


艺术字 Agent体验:

https://www.modelscope.cn/studios/Cherrytest/wordartAI/summary


1、基础设置


2、schema配置

{
    "openapi": "3.1.0",
    "info": {
      "title": "WordArt Texture Generation API",
      "description": "API for generating textured word art with customizable parameters.",
      "version": "v1.0.0"
    },
    "servers": [
      {
        "url": "https://dashscope.aliyuncs.com"
      }
    ],
    "paths": {
      "/api/v1/services/aigc/wordart/texture": {
        "post": {
          "summary": "Generate Textured WordArt",
          "operationId": "generate_textured_WordArt",
          "tags": [
            "WordArt Generation"
          ],
          "requestBody": {
            "required": true,
            "X-DashScope-Async": "enable",
            "content": {
              "application/json": {
                "schema": {
                  "$ref": "#/components/schemas/WordArtGenerationRequest"
                }
              }
            }
          },
          "responses": {
            "200": {
              "description": "Successful Response",
              "content": {
                "application/json": {
                  "schema": {
                    "$ref": "#/components/schemas/WordArtGenerationResponse"
                  }
                }
              }
            }
          },
          "security": [
            {
              "BearerAuth": []
            }
          ]
        }
      },
      "/api/v1/tasks/{task_id}": {
        "get": {
          "summary": "Get WordArt Result",
          "operationId": "getwordartresult",
          "tags": [
            "Get Result"
          ],
          "parameters": [
          {
        "name":"task_id",
        "in":"path",
        "required":true,
        "description":"The unique identifier of the word art generation task",
        "schema":{
            "type":"string"
        }
    }
          ],
          "security": [
            {
              "BearerAuth": []
            }
          ]
        }
      }
    },
    "components": {
      "schemas": {
        "WordArtGenerationRequest": {
          "type": "object",
          "properties": {
            "model": {
              "type": "string",
              "enum": ["wordart-texture"]
            },
            "input": {
              "type": "object",
              "properties":{
                "text": {
                    "type": "object",
                    "properties": {
                      "text_content": {
                      "type": "string",
                      "example": "文字纹理",
                      "description": "用户想要转为艺术字的文本",
                      "required":true
                      },
                      "font_name": {
                      "type": "string",
                      "example": "dongfangdakai",
                      "description": "用户想要转为艺术字的字体格式,如果用户没有提供,就传入默认值dongfangdakai",
                      "required":true
                      }
                    }
                  },
                  "prompt": {
                    "type": "string",
                    "example": "水果,蔬菜,温暖的色彩空间",
                    "description": "用户对艺术字的风格要求,可能是形状、颜色、实体等方面的要求",
                    "required":true
                  }
              }
            },
            "parameters": {
              "type": "object",
              "properties": {
                "n": {
                  "type": "number",
                  "example": 2,
                  "description": "取值范围为1-4的整数",
                  "required": true
                }
              }
            }
          },
          "required": [
            "model",
            "input",
            "parameters"
          ]
        },
        "WordArtGenerationResponse": {
          "type": "object",
          "properties": {
            "output": {
              "type": "string",
              "description": "Generated word art image URL or data."
            }
          }
        }
      },
      "securitySchemes": {
        "ApiKeyAuth": {
          "type": "apiKey",
          "in": "header",
          "name": "Authorization"
        }
      }
    }
  }


3、Agent运行效果


4、艺术字生成效果


预告


目前的API接入体验还不是很完美,比如刚才的艺术字生成,还需要用户主动查询任务才可以最终获取图片。我们推出了tool模式可以免去中间流程,敬请期待下回介绍:

将API注册为tool,成为smart API,方便社区开发者调用


项目源代码地址,记得star收藏及时获取新功能~(点击 阅读原文 即可直接查看)

https://github.com/modelscope/modelscope-agent


欢迎加入钉钉群交流~


相关文章
|
1月前
|
Prometheus 监控 Java
深入探索:自制Agent监控API接口耗时实践
在微服务架构中,监控API接口的调用耗时对于性能优化至关重要。通过监控接口耗时,我们可以识别性能瓶颈,优化服务响应速度。本文将分享如何自己动手实现一个Agent来统计API接口的调用耗时,提供一种实用的技术解决方案。
44 3
|
1月前
|
监控 数据可视化 Java
深入探索:自制Agent监控API接口耗时
在微服务架构中,监控API接口的调用耗时对于性能优化至关重要。通过监控这些指标,我们可以识别瓶颈,优化系统性能。本文将分享如何自己动手实现一个Agent来统计API接口的调用耗时,提供一种有效的监控解决方案。
42 2
|
2月前
|
数据采集 人工智能 自然语言处理
AI Agent 金融助理0-1 Tutorial 利用Python实时查询股票API的FinanceAgent框架构建股票(美股/A股/港股) AI Finance Agent
金融领域Finance AI Agents方面的工作,发现很多行业需求和用户输入的 query都是和查询股价/行情/指数/财报汇总/金融理财建议相关。如果需要准确的 金融实时数据就不能只依赖LLM 来生成了。常规的方案包括 RAG (包括调用API )再把对应数据和prompt 一起拼接送给大模型来做文本生成。稳定的一些商业机构的金融数据API基本都是收费的,如果是以科研和demo性质有一些开放爬虫API可以使用。这里主要介绍一下 FinanceAgent,github地址 https://github.com/AI-Hub-Admin/FinanceAgent
|
4月前
|
存储 人工智能 自然语言处理
从API到Agent:万字长文洞悉LangChain工程化设计
本文作者试着从工程角度去理解LangChain的设计和使用。大家可以将此文档作为LangChain的“10分钟快速上手”手册,希望帮助需要的同学实现AI工程的Bootstrap。
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
谷歌最新推出的Gemini 2.0是一款原生多模态输入输出的AI模型,以Agent技术为核心,支持多种数据类型的输入与输出,具备强大的性能和多语言音频输出能力。本文将详细介绍Gemini 2.0的主要功能、技术原理及其在多个领域的应用场景。
111 20
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
|
10天前
|
人工智能 API 语音技术
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
TEN Agent 是一个开源的实时多模态 AI 代理框架,集成了 OpenAI Realtime API 和 RTC 技术,支持语音、文本和图像的多模态交互,具备实时通信、模块化设计和多语言支持等功能,适用于智能客服、实时语音助手等多种场景。
93 15
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
|
11天前
|
人工智能 自然语言处理 前端开发
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
Director 是一个构建视频智能体的 AI 框架,用户可以通过自然语言命令执行复杂的视频任务,如搜索、编辑、合成和生成视频内容。该框架基于 VideoDB 的“视频即数据”基础设施,集成了多个预构建的视频代理和 AI API,支持高度定制化,适用于开发者和创作者。
74 9
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
|
7天前
|
机器学习/深度学习 人工智能 算法
Meta Motivo:Meta 推出能够控制数字智能体动作的 AI 模型,提升元宇宙互动体验的真实性
Meta Motivo 是 Meta 公司推出的 AI 模型,旨在控制数字智能体的全身动作,提升元宇宙体验的真实性。该模型通过无监督强化学习算法,能够实现零样本学习、行为模仿与生成、多任务泛化等功能,适用于机器人控制、虚拟助手、游戏角色动画等多个应用场景。
35 4
Meta Motivo:Meta 推出能够控制数字智能体动作的 AI 模型,提升元宇宙互动体验的真实性
|
19天前
|
人工智能 自然语言处理 JavaScript
Agent-E:基于 AutoGen 代理框架构建的 AI 浏览器自动化系统
Agent-E 是一个基于 AutoGen 代理框架构建的智能自动化系统,专注于浏览器内的自动化操作。它能够执行多种复杂任务,如填写表单、搜索和排序电商产品、定位网页内容等,从而提高在线效率,减少重复劳动。本文将详细介绍 Agent-E 的功能、技术原理以及如何运行该系统。
66 5
Agent-E:基于 AutoGen 代理框架构建的 AI 浏览器自动化系统
|
1月前
|
存储 人工智能 自然语言处理
AI经营|多Agent择优生成商品标题
商品标题中关键词的好坏是商品能否被主搜检索到的关键因素,使用大模型自动优化标题成为【AI经营】中的核心能力之一,本文讲述大模型如何帮助商家优化商品素材,提升商品竞争力。
124 13
AI经营|多Agent择优生成商品标题

热门文章

最新文章

下一篇
DataWorks