前言
为AI智能体、聊天机器人、文档处理等场景选择合适的文本生成模型。今天主要体验:结构化输出、前缀续写。
参考信息
- 参考文档:https://help.aliyun.com/zh/model-studio/text-generation-model
- 调用方式:python
- 密钥获取:https://bailian.console.aliyun.com/cn-beijing/model/settings/api-key
- 免费额度:https://bailian.console.aliyun.com/cn-beijing/costing-balance/free-quota
- 模型:qwen3.8-27b
调用方式
- OpenAI兼容-Chat Completions API,无状态对话补全,行业事实标准,适合简单对话机器人、需要高度控制或兼容旧代码的项目。
- OpenAI兼容-Responses API,面向智能体(Agent)的新一代接口,适合构建复杂的AI智能体、需要长期记忆和自动化工具编排的应用。
- DashScope (原生API),阿里云原生模型调用接口(类似SDK),适合深度使用阿里云百炼平台,需要访问平台特有功能或参数。
这次体验主要是使用OpenAI兼容-Chat Completions API的方式。(主要是token消耗低)
结构化输出
1.文本处理
入参
{ "model": "qwen3.8-27b", "messages": [ { "role": "system", "content": "请抽取用户的姓名与年龄信息,以JSON格式返回" }, { "role": "user", "content": "大家好,我叫刘五,今年34岁,邮箱是liuwu@example.com,平时喜欢打篮球和旅游" } ], "temperature": 0.1, "top_p": 0.5, "max_tokens": 2048, "thinking_budget": 4096, "stream": true }
效果
2.图像处理
入参
{ "model": "qwen3.8-27b", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "http://duguang-labelling.oss-cn-shanghai.aliyuncs.com/demo_ocr/receipt_zh_demo.jpg" } }, { "type": "text", "text": "提取图中ticket(数组类型,包括 travel_date、trains、seat_num、arrival_site、price)和 invoice 的信息(数组类型,包括 invoice_code 和 invoice_number ),请输出包含 ticket 和 invoice 数组的JSON" } ] } ], "temperature": 0.1, "top_p": 0.5, "max_tokens": 2048, "thinking_budget": 4096, "stream": true }
图片
效果
- 大模型结构化输出:一种“输出控制能力”,让模型按指定格式(JSON、XML、SQL、表格等)返回内容,便于程序解析、校验和集成。核心是格式可靠、字段可解析。
前缀续写(Partial Mode)
1.文本续写
入参
{ "model": "qwen3.8-27b", "messages": [ { "role": "user", "content": "请补全这个斐波那契函数,勿添加其它内容" }, { "role": "assistant", "content": "def calculate_fibonacci(n):\n if n <= 1:\n return n\n else:", "partial": true } ], "temperature": 0.1, "top_p": 0.5, "max_tokens": 2048, "thinking_budget": 4096, "stream": true }
效果
官方效果
结果内容有所差异,但正确性是一致的。
2.看图续写
入参
{ "model": "qwen3.8-27b", "messages": [ { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": "https://img.alicdn.com/imgextra/i3/O1CN01zFX2Bs1Q0f9pESgPC_!!6000000001914-2-tps-450-450.png" } }, { "type": "text", "text": "我要发社交媒体,请帮我想一下文案。" } ] }, { "role": "assistant", "content": "今天发现了一家宝藏咖啡馆", "partial": true } ], "temperature": 0.1, "top_p": 0.5, "max_tokens": 2048, "thinking_budget": 4096, "stream": true }
图片
效果
总结
- 结构化输出:控制“最终输出长什么样”,保证机器可解析。
- 前缀续写:控制“模型从哪里开始写”,让模型接着你给的开头继续生成。