多模态数据信息提取解决方案评测

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 该方案展示了如何利用阿里云的多模态大模型服务进行文本、图片和文档的信息提取。通过函数计算(FC)调用百炼模型服务API,实现信息提取功能。具体步骤包括:1. **开通百炼模型服务**:获取API Key,确保可以调用大模型。2. **部署应用**:使用函数计算部署应用模板,配置参数并创建环境。3. **访问示例应用**:通过提供的域名访问示例网站,测试信息提取功能。4. **清理资源**:删除函数计算和OSS Bucket等资源,避免产生额外费用。此方案具备多模态推理、易于扩展、灵活调用模式和便捷安全的云产品接入等优点,适用于多种业务需求。

{EAC7A76F-3B37-4C3F-BB8C-E51038ABE91C}.png
如上图所示,多模态数据信息提取分为文本信息提取、图片信息提取、视频信息提取,下面一一操作。
{35A7DA1C-1B0C-4D8D-84A8-8A4F05406DBD}.png
根据上图所示,我们可以发现大模型搭建信息提取应用的优点如下:
1、多模态模型推理服务
丰富多样的模型选择,集成了通义系列大模型和第三方大模型,涵盖文本、图像、音视频等不同模态。
2、易于扩展
云资源可根据业务需求自动扩展,无需人工干预,大模型可以通过持续训练不断提升性能,以适应不断变化的业务需求。
3、灵活高性价比的调用模式
支持 Batch 离线任务,通过文件方式提交批量任务,任务将异步执行,在 24 小时内返回结果,费用为实时调用的 50%。
4、云产品接入便捷安全
客户无需数据搬运,通过阿里云 OSS、ADB、ODPS 授权,数据处理更高效、更安全。
{C70CC7D0-B564-4C81-A06A-CA0AA98D7159}.png
如上图所示,第一个操作的是文本信息提取。
点击立即部署,会有如下画面:
{C90E8B94-0539-4C76-853C-2B8B0E52CDE1}.png
{352C0692-D73D-458F-A792-64F9FA00811F}.png
我们可以看到,本方案的技术架构包括以下基础设施和云服务:
1 个函数计算 FC 函数:用于调用百炼模型服务 API,进行文本信息提取。
百炼模型服务:调用 API 使用文本模型进行信息提取。

部署资源
一、开通百炼模型服务
1、开通百炼:前往百炼控制台,如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。
{D64310CB-D448-4CFE-A2C4-C953A830AAF7}.png
2、image
获取 API Key:在控制台的右上角选择 API-KEY,然后创建 API Key,用于通过 API 调用大模型。
{A0DBEF2E-EEFC-49BD-9322-FF35E42D3CDF}.png
说明
请不要将 API Key 以任何方式公开,避免因未经授权的使用造成安全风险或资金损失。
部署应用
请点击前往部署打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境。
{BA4ED3F1-466C-477E-A248-51F371ECE5DC}.png
{B5E487B1-660A-4213-8AB3-4822EA7ABEAD}.png
百炼 API-KEY自行填写。
一、访问示例应用
1、应用部署完成后,您可以在环境详情的环境信息中找到示例网站的访问域名。
{2ECD2D7D-E01C-494A-9395-7D0B1AA2899A}.png
2、点击访问域名,即可打开示例应用。
{F8388165-BD35-4C9B-AC5B-321A2E1D31B1}.png
二、使用示例图片,进行信息提取
1、在信息提取时,使用默认填写的关键词,模型会根据给出的关键词提取出对应的信息。
a.鼠标移动到示例 1,然后单击使用该示例。
{D1345EF4-C26E-402C-B3F2-5DA883FC8220}.png
b.单击提取信息,等待片刻查看结果。
{C65A4245-C858-4E02-817F-01A3BEA06E5E}.png
清理资源
在本方案中,您创建了 1 个函数计算 FC 函数,测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:
删除函数计算 FC 函数:
登录函数计算 FC 3.0控制台,在左侧导航栏,选择应用,找到部署的目标应用,在操作列单击删除应用,然后根据页面提示删除应用。
第二个操作是文档文件内容提取。
{9586248D-49EA-4E40-AA8D-E60D2F2DB97A}.png
点击立即部署
{F189E66E-1F2D-458D-9B7E-9967222FB65C}.png
{AF5732DB-9859-464B-B078-AA2844C21BCF}.png
部署资源
一、开通百炼模型服务
1、开通百炼:前往百炼控制台,如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。
{23361847-2D60-43AC-A111-2DFEBEA92FEA}.png
2、获取API Key:在控制台的右上角选择API-KEY,然后创建API Key,用于通过API调用大模型。
{021921B2-4DA9-4DBC-9EBA-EF354BC8F0F8}.png
说明
请不要将API Key以任何方式公开,避免因未经授权的使用造成安全风险或资金损失。
部署应用
1、请点击前往部署打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境。
{AE6A61E2-20AE-4A17-8687-6AE609100C7F}.png
{26A0E4F2-B4A2-4AB4-B2D9-FAC869839939}.png
一、访问示例应用
1、应用部署完成后,您可以在环境详情的环境信息中找到示例网站的访问域名。
{3F647F3C-7270-443D-8047-DDEB2D871A29}.png
2、点击访问域名,即可打开示例应用。
{37590711-0102-4DA8-B348-B3939BAC064D}.png
{AD30773D-AC07-43C7-9872-9C4B46D7FBCF}.png
单击提取信息,等待片刻查看结果。
{88D533E3-6984-4CA8-8EB9-D2AC4097687B}.png
清理资源
在本方案中,您创建了个函数计算FC函数,测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:
删除函数计算FC函数:
登录函数计算 FC 3.0控制台,在左侧导航栏,选择应用,找到部署的目标应用,在操作列单击删除应用,然后根据页面提示删除应用。
第三个操作是图片OCR信息提取。
{784FCC20-0FC3-46B0-A244-DCF4650AED12}.png
{53F5B9B9-7C85-4B1E-8669-6174E7283344}.png
{5312AD78-EBD6-4767-9BFB-E51E36369BA8}.png
一、开通百炼模型服务
开通百炼:前往百炼控制台,如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。
{B41A7F57-F3F5-4825-A7C3-F42DC3EE7FB3}.png
获取API Key:在控制台的右上角选择API-KEY,然后创建API Key,用于通过API调用大模型。
{DEAA7B17-AC0D-4257-9EF5-4B0B51D4FA86}.png
说明
请不要将API Key以任何方式公开,避免因未经授权的使用造成安全风险或资金损失。
二、创建对象存储OSS
接下来您需要创建1个对象存储OSS Bucket,用于存放静态资源。
登录OSS管理控制台。
在左侧导航栏,选择Bucket列表。
在Bucket列表页面,单击创建Bucket。
在创建Bucket面板,按照如下信息进行配置,然后单击完成创建。
{E60BC273-3FBF-4352-9E9A-8D064873AF68}.png
{60BB77A3-81C5-4657-B873-3F1B7201C21B}.png
{08B3DABC-CD76-46AC-A09F-4899594ADC02}.png
一、访问示例应用

应用部署完成后,您可以在环境详情的环境信息中找到示例网站的访问域名。
{79359A55-5C3A-4E79-9F61-284D4E1CEAD9}.png
点击访问域名,即可打开示例应用。
{79AAE039-D0A6-47B1-ACC1-5FC507B5D3BC}.png
清理资源
在本方案中,您创建了1个对象存储OSS Bucket、1个函数计算FC函数,测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:

删除对象存储OSS Bucket:

登录OSS管理控制台在左侧导航栏,选择Bucket列表,单击目标Bucket。

在文件列表,选择目标文件,然后单击彻底删除(如果只使用官方示例,请跳过此步骤)。

在左侧导航栏,选择删除Bucket,然后单击立即删除,根据页面提示删除Bucket。

删除函数计算FC函数:

登录函数计算 FC 3.0控制台,在左侧导航栏,

目录
相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
迁移学习:让小数据也能驱动AI大模型
迁移学习:让小数据也能驱动AI大模型
308 99
|
4月前
|
人工智能 自然语言处理 数据可视化
通义灵码保姆级教程:从数据读取、清洗、结合大模型分析、可视化、生成报告全链路
本课程通过通义灵码实现零代码数据分析全流程,涵盖数据读取、清洗、可视化、报告生成及内容仿写,无需编程基础,轻松掌握从CSV导入到PDF报告输出的实战技能。
|
6月前
|
数据可视化 API Swift
全模态图像模型Nexus-Gen对齐GPT-4o!同时搞定,数据、训练框架、模型全面开源
OpenAI GPT-4o发布强大图片生成能力后,业界对大模型生图能力的探索向全模态方向倾斜,训练全模态模型成研发重点。
323 17
|
1月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
8月前
|
存储 人工智能 搜索推荐
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
WiseMindAI 是一款由 Chris 开发的 AI 智能学习助手,支持数据完全本地化存储,确保用户隐私安全。它兼容多种文档格式(如 PDF、Markdown 等),并提供 AI 文档总结、智能笔记、沉浸式翻译、知识卡片生成等功能。此外,WiseMindAI 支持 10+ 大语言模型和自定义 AI 插件,适用于 Windows 和 Mac 平台,支持简体中文、繁体中文及英文。
740 74
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
|
7月前
|
缓存 人工智能 架构师
释放数据潜力:利用 MCP 资源让大模型读懂你的服务器
MCP(Model Control Protocol)资源系统是将服务器数据暴露给客户端的核心机制,支持文本和二进制两种类型资源。资源通过唯一URI标识,客户端可通过资源列表或模板发现资源,并使用`resources/read`接口读取内容。MCP还支持资源实时更新通知及订阅机制,确保动态数据的及时性。实现时需遵循最佳实践,如清晰命名、设置MIME类型和缓存策略,同时注重安全性,包括访问控制、路径清理和速率限制等。提供的示例代码展示了如何用JavaScript和Python实现资源支持。
889 80
|
8月前
|
人工智能 自然语言处理 数据可视化
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
随着大模型技术突破,全球企业迎来数据智能革命。Gartner预测,到2027年,中国80%的企业将采用多模型生成式AI策略。然而,数据孤岛与高门槛仍阻碍价值释放。
345 8
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
|
7月前
|
运维 监控 数据可视化
产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
Quick BI是阿里云旗下的全场景数据消费平台,助力企业实现数据驱动决策。用户可通过连接多种数据源(如本地文件、数据库等)进行数据分析,并借助智能小Q助手以对话形式查询数据或搭建报表。平台支持数据可视化、模板快速构建视图等功能,但目前存在不支持JSON格式文件、部分功能灵活性不足等问题。整体而言,Quick BI在数据分析与展示上表现出强大能力,适合业务类数据处理,未来可在智能化及运维场景支持上进一步优化。
|
7月前
|
机器学习/深度学习 存储 数据可视化
KG4MM:融合知识图谱与多模态数据预测药物相互作用
本文探讨了用于多模态学习的知识图谱(KG4MM)在药物相互作用(DDI)预测中的应用。知识图谱通过整合药物的分子图像和文本描述,提供结构化先验知识,指导模型关注关键信息。具体实现中,利用图神经网络(GNN)连接知识图谱与多模态数据,通过注意力机制提取最具区分性的特征。以 Goserelin 和 Desmopressin 为例,模型结合直接边关系和共享节点路径,生成透明可解释的预测结果。实验表明,KG4MM 方法显著提升了预测准确性与可解释性,为生物医学领域提供了新思路。
230 0
KG4MM:融合知识图谱与多模态数据预测药物相互作用

热门文章

最新文章