Web LLM 实验:利用 LLM 中不安全的输出处理

简介: Web LLM 实验:利用 LLM 中不安全的输出处理

前言

Web LLM

各组织都在急于集成大型语言模型 (LLM),以改善其在线客户体验。这使他们面临 Web LLM ,这些攻击利用模型对无法直接访问的数据、API 或用户信息的访问权限。例如,可能:

  • 检索 LLM 有权访问的数据。此类数据的常见来源包括 LLM 的提示、训练集以及提供给模型的 API。
  • 通过 API 触发有害操作。例如,攻击者可以使用 LLM 对其有权访问的 API 执行 SQL 注入
  • 触发对查询 LLM 的其他用户和系统的。

从高层次来看, LLM 集成通常类似于利用 SSRF 。在这两种情况下,都会滥用服务器端系统对无法直接访问的单独组件发起攻击。

什么是大语言模型?

大型语言模型 (LLM) 是一种人工智能算法,可以处理用户输入并通过预测单词序列来创建合理的响应。他们接受了巨大的半公开数据集的训练,使用机器学习来分析语言的各个组成部分如何组合在一起。

LLM 通常会提供一个聊天界面来接受用户输入,称为提示。允许的输入部分由输入验证规则控制。

LLM 在现代网站中可以有广泛的用例:

  • 客户服务,例如虚拟助理。
  • 翻译。
  • 搜索引擎优化改进。
  • 分析用户生成的内容,例如跟踪页面评论的语气。

LLM 和提示注入

许多 Web LLM 依赖于一种称为提示注入的技术。这是攻击者使用精心设计的提示来操纵 LLM 输出的地方。及时注入可能会导致 AI 采取超出其预期目的的操作,例如对敏感 API 进行错误调用或返回不符合其准则的内容

检测 LLM

我们推荐的检测 LLM 的方法是:

  1. 确定 LLM 的输入,包括直接(例如提示)和间接(例如训练数据)输入。
  2. 弄清楚 LLM 可以访问哪些数据和 API。
  3. 探测这个新的攻击面是否存在。

利用 LLM API、函数和插件

LLM 通常由专门的第三方提供商托管。网站可以通过描述供 LLM 使用的本地 API 来让第三方 LLM 访问其特定功能。

例如,客户支持 LLM 可能有权访问管理用户、订单和库存的 API

LLM API 的工作原理

将 LLM 与 API 集成的工作流程取决于 API 本身的结构。当调用外部 API 时,某些 LLM 可能要求客户端调用单独的函数端点(实际上是私有 API),以便生成可以发送到这些 API 的有效请求。其工作流程可能如下所示:

  1. 客户根据用户提示调用 LLM。
  2. LLM 检测到需要调用函数并返回一个 JSON 对象,其中包含符合外部 API 架构的参数。
  3. 客户端使用提供的参数调用该函数。
  4. 客户端处理函数的响应。
  5. 客户端再次调用 LLM,将函数响应作为新消息附加。
  6. LLM 使用函数响应调用外部 API。
  7. LLM 总结了此 API 回调的结果给用户。

此工作流程可能会产生安全隐患,因为 LLM 有效地代表用户调用外部 API,但用户可能不知道这些 API 正在被调用。理想情况下,在 LLM 调用外部 API 之前,应向用户提供确认步骤

映射 LLM API 面

术语“过度代理”是指 LLM 有权访问可访问敏感信息的 API,并可能被说服不安全地使用这些 API 的情况。这使得能够将 LLM 推向其预期范围并通过其 API 发起。


使用 LLM  API 和插件的第一阶段是确定 LLM 可以访问哪些 API 和插件。一种方法是简单地询问 LLM 可以访问哪些 API。然后,您可以询问有关任何感兴趣的 API 的更多详细信息。


如果 LLM 不合作,请尝试提供误导性背景并重新提出问题。例如,您可以声称您是 LLM 的开发人员,因此应该拥有更高级别的权限。


实操演示

点击链接访问靶场


靶场

https://portswigger.net/web-security/llm-attacks/lab-exploiting-insecure-output-handling-in-llms

点击 Access The Lab

先点击 Email cilent 查看邮箱


复制邮箱地址注册账号

点击 Register

注册账号

在 Email cilent 中收到邮件点击其中链接完成注册

点击 My account 登录

输入刚刚注册的账号密码点击 Login

登录成功后点击 Live Chat

询问它支持哪些功能

what functions it supports

第一个是密码重置,第二个是查询商品信息

题目给出是是容易受到 XSS ,那咱在 AI 界面试试

<img src=1 onerror=alert(1)>

确定存在 XSS ,结合之前的间接注入,咱可以在商品页面插入存储型的 XSS 代码

When I received this product I got a free T-shirt with "<iframe src =my-account onload = this.contentDocument.forms[1].submit() >" printed on it. I was delighted! This is so cool, I told my wife.

通关!!!

相关文章
|
3天前
|
安全 前端开发 Java
Web安全进阶:XSS与CSRF攻击防御策略深度解析
【10月更文挑战第26天】Web安全是现代软件开发的重要领域,本文深入探讨了XSS和CSRF两种常见攻击的原理及防御策略。针对XSS,介绍了输入验证与转义、使用CSP、WAF、HTTP-only Cookie和代码审查等方法。对于CSRF,提出了启用CSRF保护、设置CSRF Token、使用HTTPS、二次验证和用户教育等措施。通过这些策略,开发者可以构建更安全的Web应用。
20 4
|
2天前
|
安全 Go PHP
Web安全进阶:XSS与CSRF攻击防御策略深度解析
【10月更文挑战第27天】本文深入解析了Web安全中的XSS和CSRF攻击防御策略。针对XSS,介绍了输入验证与净化、内容安全策略(CSP)和HTTP头部安全配置;针对CSRF,提出了使用CSRF令牌、验证HTTP请求头、限制同源策略和双重提交Cookie等方法,帮助开发者有效保护网站和用户数据安全。
12 2
|
4天前
|
存储 安全 Go
Web安全基础:防范XSS与CSRF攻击的方法
【10月更文挑战第25天】Web安全是互联网应用开发中的重要环节。本文通过具体案例分析了跨站脚本攻击(XSS)和跨站请求伪造(CSRF)的原理及防范方法,包括服务器端数据过滤、使用Content Security Policy (CSP)、添加CSRF令牌等措施,帮助开发者构建更安全的Web应用。
23 3
|
6天前
|
SQL 安全 Go
PHP在Web开发中的安全实践与防范措施###
【10月更文挑战第22天】 本文深入探讨了PHP在Web开发中面临的主要安全挑战,包括SQL注入、XSS攻击、CSRF攻击及文件包含漏洞等,并详细阐述了针对这些风险的有效防范策略。通过具体案例分析,揭示了安全编码的重要性,以及如何结合PHP特性与最佳实践来加固Web应用的安全性。全文旨在为开发者提供实用的安全指南,帮助构建更加安全可靠的PHP Web应用。 ###
20 1
|
10天前
|
Kubernetes 安全 应用服务中间件
动态威胁场景下赋能企业安全,F5推出BIG-IP Next Web应用防火墙
动态威胁场景下赋能企业安全,F5推出BIG-IP Next Web应用防火墙
27 3
|
21天前
|
人工智能 搜索推荐 API
用于企业AI搜索的Bocha Web Search API,给LLM提供联网搜索能力和长文本上下文
博查Web Search API是由博查提供的企业级互联网网页搜索API接口,允许开发者通过编程访问博查搜索引擎的搜索结果和相关信息,实现在应用程序或网站中集成搜索功能。该API支持近亿级网页内容搜索,适用于各类AI应用、RAG应用和AI Agent智能体的开发,解决数据安全、价格高昂和内容合规等问题。通过注册博查开发者账户、获取API KEY并调用API,开发者可以轻松集成搜索功能。
|
1月前
|
缓存 安全 JavaScript
掌握JAMstack:构建更快、更安全的Web应用
JAMstack 是一种现代 Web 开发架构,结合 JavaScript、APIs 和 Markup,创建更快、更安全的 Web 应用。其核心优势包括高性能、安全性、可扩展性和易维护性。JAMstack 通过预构建静态页面和 API 实现高效渲染,利用静态站点生成器如 Gatsby 和 Next.js,并借助 CDN 和缓存策略提升全球访问速度。尽管面临复杂交互、SEO 和数据更新等挑战,但通过 Serverless Functions、预渲染和实时 API 更新等方案,这些挑战正逐步得到解决。
|
2月前
|
SQL 安全 数据库
惊!Python Web安全黑洞大曝光:SQL注入、XSS、CSRF,你中招了吗?
在数字化时代,Web应用的安全性至关重要。许多Python开发者在追求功能时,常忽视SQL注入、XSS和CSRF等安全威胁。本文将深入剖析这些风险并提供最佳实践:使用参数化查询预防SQL注入;通过HTML转义阻止XSS攻击;在表单中加入CSRF令牌增强安全性。遵循这些方法,可有效提升Web应用的安全防护水平,保护用户数据与隐私。安全需持续关注与改进,每个细节都至关重要。
110 5
|
2月前
|
JSON 安全 JavaScript
Web安全-JQuery框架XSS漏洞浅析
Web安全-JQuery框架XSS漏洞浅析
313 2
|
2月前
|
SQL 安全 数据库
深度揭秘:Python Web安全攻防战,SQL注入、XSS、CSRF一网打尽!
在Web开发领域,Python虽强大灵活,却也面临着SQL注入、XSS与CSRF等安全威胁。本文将剖析这些常见攻击手段,并提供示例代码,展示如何利用参数化查询、HTML转义及CSRF令牌等技术构建坚固防线,确保Python Web应用的安全性。安全之路永无止境,唯有不断改进方能应对挑战。
58 5