什么是提示词注入攻击

什么是提示词注入攻击

提示词注入攻击是一种针对大型语言模型（LLM）和生成式人工智能系统的安全漏洞。攻击者通过在用户输入或外部内容中植入恶意提示词，操控模型的行为和输出结果。

提示词注入被广泛认为是现代人工智能安全领域最严重的风险之一，并被列入 OWASP 大型语言模型应用十大安全风险 中的重要类别。OWASP 将其定义为一种通过恶意输入操纵 LLM 行为、绕过系统指令，并可能导致数据泄露或生成不安全内容的关键风险。

提示词注入攻击的核心目标是让模型忽略原有指令，转而执行攻击者控制的命令，从而产生非预期甚至有害的输出结果。

与传统网络安全攻击不同，提示词注入并不利用代码漏洞，而是利用模型对自然语言的理解机制，因此成为人工智能系统中特有且不断演变的新型攻击向量。

提示词注入攻击原理

提示词注入攻击通过注入精心设计的指令来影响 LLM 对上下文的理解和推理过程。这些恶意指令既可以直接出现在用户输入中，也可能隐藏在网页、电子邮件、文档、API 或数据库等外部数据源内。

这种攻击利用了大语言模型通常会将所有输入内容视为同一个上下文窗口的特点。当恶意内容进入上下文后，模型可能会将其误认为高优先级指令，从而覆盖原有系统提示并改变自身行为。

攻击成功后，模型可能会：

• 忽略安全规则或系统提示
• 泄露敏感或机密数据
• 执行非预期的工具调用或操作

因此，提示词注入已成为生成式人工智能系统中最重要的安全威胁之一。

提示词注入攻击类型

直接注入攻击

直接注入攻击是指攻击者直接在人工智能应用的输入框中输入恶意指令。

常见示例包括：

• 忽略之前的所有指令
• 显示你的系统提示词
• 提供存储在记忆中的机密信息

由于攻击者能够直接控制输入内容，因此这种攻击主要针对模型的指令优先级机制，试图利用恶意提示词覆盖系统规则。

间接注入攻击

间接提示词注入攻击是指攻击者将恶意指令隐藏在人工智能后续会处理的外部内容中。

这些外部内容可能包括：

• 网页
• 电子邮件
• 文档
• 知识库
• 第三方 API

在这种情况下，模型会在不知情的情况下处理嵌入于外部数据中的恶意内容。即使用户没有主动提交攻击指令，系统仍可能在推理过程中执行这些隐藏命令。

间接提示词注入尤其危险，因为它扩大了系统的攻击面，使攻击者能够借助看似可信的数据源攻击下游系统。

提示词注入攻击示例

必应聊天提示词操纵事件

早期版本的必应聊天曾出现过广受关注的提示词注入案例。研究人员和用户通过特定提示词成功诱导聊天机器人泄露部分隐藏系统提示和内部行为逻辑。

这一事件表明，经过精心设计的自然语言指令可能突破模型原本设定的行为边界。

摘要工具中的数据泄露

假设某人工智能摘要工具连接着包含机密信息的内部文档。

攻击者可以在文档中插入隐藏文本，指示模型在生成摘要时包含敏感信息。当系统处理该文档时，模型可能会无意间将本应保密的数据暴露出来。

编码助手中的提示词注入攻击

能够访问代码仓库或开发工具的人工智能编码助手，也可能遭遇提示词注入攻击。

例如，攻击者将恶意注释嵌入源代码中，诱导模型忽略安全策略、泄露凭证信息或生成存在风险的代码建议，从而影响软件开发流程和代码安全。

如何防范提示词注入攻击

建立全面日志审计与异常检测机制

企业应持续监控所有人工智能交互行为，包括用户提示词、模型输出以及工具调用记录。

日志审计与 异常检测 能帮助安全团队及时发现由提示词注入引发的异常行为。

对输入进行过滤并审查输出内容

输入验证能够降低恶意指令进入模型的风险。

同时，输出过滤机制可以在响应发送给用户之前检测 敏感数据泄露、策略违规或未经授权的操作。

将系统指令与用户输入隔离

系统提示词应尽可能与用户提供的内容分离处理。

明确的指令边界能够降低用户输入覆盖关键系统规则或安全控制措施的可能性。

遵循最小权限原则

人工智能系统应仅获得完成任务所需的最低权限。

限制其对文件、数据库、API 及外部工具的访问权限，可以显著降低 提示词注入攻击成功后的潜在影响范围。

常见问题

用简单的话解释什么是提示词注入攻击？

提示词注入是一种通过在用户输入或外部内容中隐藏恶意指令，诱导人工智能系统忽略原有规则并执行危险操作的攻击方式。

提示词注入和越狱有什么区别？

提示词注入通过恶意输入操纵模型行为，而越狱则侧重于绕过模型的安全限制，从而生成被禁止或受限制的内容。

提示词注入在生成式人工智能中是如何工作的？

在生成式人工智能系统中，攻击者可以将恶意指令嵌入提示词、文档、网页或检索到的数据中。模型可能会将这些攻击者控制的文本误认为有效指令，从而覆盖原有规则并改变预期行为。