API

首页 标签 API
# API #
关注
107112内容
|
4天前
|
阿里云百炼自研大模型手册:Qwen、万相、HappyHorse、CosyVoice 能力梳理
阿里云自研AI模型涵盖文本、视觉、语音、音视频及向量等全模态,以通义千问Qwen系列为核心,包括Qwen3.8-Max、Qwen-VL、通义万相、CosyVoice等,均通过百炼平台提供API服务。
Python调用万能识别接口,英文数字、点选和问答
同一套接口做万能识别。英文数字、问答、点选分别对应三种 question。图片转成 base64 后 POST JSON,errCode 为 0 才算成功,文本或坐标在 msg。
从零打通 MCP 访问创世虚拟世界CRM的 3D 数据,我搭了一个可直接调用的演示站
作者把创世虚拟世界CRM(创世Genesis,自部署 3D 虚拟世界)的 AI Agent 通道(HTTP + WebSocket + JSON 约定)封装成 8 个 MCP 工具(discover/enter/observe/say/walk_to/follow/chat_history/leave),stdio 版已上 npm 与官方 MCP Registry,随后为零安装补了 Streamable HTTP 远端点。本文实录打通过程:stdout 纯净性、initialize 必填字段、Mixed Content 协议陷阱、官方 SDK 拖入 34 包后的零依赖重写、GET 400 被目
|
4天前
|
盘点阿里云自研模型|Qwen、通义万相、HappyHorse 等AI模型清单
阿里云自研AI模型涵盖文本、图像、视频、语音及全模态,以通义千问Qwen系列为核心,包括Qwen3.8-Max、Qwen-VL-Plus、通义万相、CosyVoice等数十款专业模型,统一通过百炼平台提供API服务。(239字)
阿里云百炼自研大模型大全:Qwen 系列、音视频、向量重排序模型汇总
阿里云百炼平台汇聚Qwen系列大模型及音视频、图像、语音、向量等全模态自研AI模型,涵盖文本生成、多模态理解、AIGC创作、语音处理与智能决策,一站式提供API服务。(239字)
0.8MB 跑通 Qwen|第 14-1 篇:大模型推理的连续批处理——iteration-level 调度思想
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,适配Qwen3-VL多模态模型,在RK3588上实测落地。本文详解iteration-level连续批处理:动态聚合多请求的decode步,单次前向服务多人,兼顾并发与确定性。(239字)
0.8MB 跑通 Qwen|第 11-3 篇:推理引擎里 KV 缓存的一生——内存、容量与淘汰
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎开发,实测RK3588平台流畅运行Qwen3-VL-2B/8B等多版本。本文详解KV缓存“出生—续用/覆盖—死亡”三段式生命周期,揭示预分配、逻辑覆盖、进程级销毁本质,破除“命中即加速、淘汰即释放”认知误区。(239字)
0.8MB 跑通 Qwen|第 11-2 篇:大模型推理的前缀缓存键——怎么知道"两轮一样"?
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,实测RK3588上高效运行Qwen3-VL多模态模型。本文详解前缀缓存核心机制:以token序列最长公共前缀(LCP)为键,实现KV复用;并揭示“完全相同反不复用”的安全设计——确保prefill刷新logits,杜绝空响应。
0.8MB 跑通 Qwen|第 11-1 篇:大模型推理中多轮对话的浪费——上一轮 prefill 算完就被扔了
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,实测RK3588平台高效运行Qwen3-VL多模态模型;核心突破是默认启用前缀KV复用,使多轮对话prefill耗时骤降27倍,显著消除历史重复计算,大幅提升端侧长会话效率。(239字)
0.8MB 跑通 Qwen|第 4-1 篇:推理引擎为什么换掉 OpenMP——线程唤醒与亲和(vllm_tp 设计)
本系列《0.8MB跑通Qwen》聚焦ARM端侧轻量化部署,基于RK3588平台,自研零依赖纯C推理引擎,适配Qwen3-VL多模态模型。核心突破在于手写线程池vllm_tp——摒弃OpenMP,采用常驻线程、spin-then-event、调用者参与及静态绑核四大设计,将微秒级小并行区调度开销降低12倍,实现在资源受限边缘设备高效运行大模型。(239字)
免费试用