本文章旨在帮助读者了解并掌握大模型多模态技术的实际应用，特别是如何构建基于多模态的实用场景。文档通过几个具体的多模态应用场景，如拍立淘、探一下和诗歌相机，展示了这些技术在日常生活中的应用潜力。
本课程是阿里云百炼平台的第二天课程内容，旨在帮助用户了解如何通过阿里云百炼构建和发布自己的AI应用。介绍了如何利用大模型和智能体应用来创建具备强大语言理解和生成能力的AI助手，并通过不同的渠道（如网站、钉钉、微信公众号等）发布这些应用。
想象一下，只需简单几步操作，就能生成逼真的语音效果，无论是为客户服务还是为游戏角色配音，都能轻松实现。GPT-Sovits 模型，其高效的语音生成能力为实现自然、流畅的语音交互提供了强有力的技术支持。本文将详细介绍如何利用函数计算平台部署 GPT-Sovits 模型，以构建一个高效、可扩展的 AI 语音交互系统。通过这一部署方案，开发者和企业能够快速集成语音合成功能，实现从文本到语音的无缝转换，进而推动智能语音应用的创新和发展。
人工智能生成图像（AI 生图）的领域中，Stable Diffusion WebUI 以其强大的算法和稳定的输出质量而闻名。它能够快速地从文本描述中生成高质量的图像，为用户提供了一个直观且高效的创作平台。而 ComfyUI 则以其用户友好的界面和高度定制化的选项所受到欢迎。ComfyUI 的灵活性和直观性使得即使是没有技术背景的用户也能轻松上手。本次技术解决方案通过函数计算一键部署热门 AI 生图大模型，凭借其按量付费、卓越弹性、快速交付能力的特点，完美实现低成本，免运维。
本方案利用函数计算的无服务器架构，您可以在函数计算控制台选择魔搭（ModelScope）开源大模型应用模板；同时，我们将利用文件存储 NAS ，为应用服务所需的大模型和相关文件提供一个安全的存储环境；最终通过访问提供的域名进行模型的调用与验证。仅需三步，即可玩转目前热门 AI 大模型。
12月，阿里云百炼带来多项技术革新与服务升级。本月重点包括VL模型部分规格降价，上线多个新模型，如视觉推理模型qvq-72b-preview、多语言文本统一排序模型gte-rerank和人物视频生成模型videoretalk等。应用模块新增音视频互动、互联网搜索及意图选择等功能，极大丰富了应用场景。此外，新增Context Cache功能和batch调用支持，提升了响应速度并降低了费用。
Qwen团队推出了新成员QVQ-72B-preview，这是一个专注于提升视觉推理能力的实验性研究模型。提升了视觉表示的效率和准确性。它在多模态评测集如MMMU、MathVista和MathVision上表现出色，尤其在数学推理任务中取得了显著进步。尽管如此，该模型仍存在一些局限性，仍在学习和完善中。
本篇文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。