Prompt攻击是指利用精心设计的提示词（prompt）来引导大型语言模型（LLMs）做出错误决策或泄露信息的行为。攻击者通过在输入中嵌入特定的提示词，可以影响模型的输出，从而实现攻击目的。例如，通过让模型忘记之前的指示或提供有害的指示，攻击者可能获取模型的初始提示词或改变系统设定 。
防范Prompt攻击可以采取以下几种措施：
- Prompt注入分类器：开发一个模块来识别可能的注入方式，让模型在输出前进行检测，以判断是否符合预设的注入模式 。
- 指令防御：在提示中添加说明，鼓励模型小心处理提示中的下一个内容，例如，在翻译任务中添加警示语句，提醒模型不要被恶意用户更改说明 。
- 后提示防御：将用户输入放在提示之前，这样可以减少模型受到后续输入的影响 。
- 三明治防御：将用户输入夹在两个提示之间，以增强模型对初始任务的记忆 。
- 输入过滤：对用户输入进行严格的过滤和检测，使用正则表达式或机器学习技术来发现潜在的攻击 。
- 模型训练：增加对抗性训练的比重，使用带有噪声或故意错误的输入来训练模型，提高其对异常输入的抵抗力 。
- 监测与警告：实时监测模型的输出，如果出现异常则发出警告，以便及时发现并纠正潜在的攻击 。
- 安全审计：定期进行安全审计，发现潜在的安全漏洞和隐患 。
- 法律与道德规范：制定相关规范，限制模型的使用范围和目的，减少恶意攻击的可能性 。
