人类与AI的战争，从「奶奶漏洞」开始

几个月前，一种名为"奶奶漏洞"的Prompt Injection现象引起了广泛关注。这种漏洞使得GPT大模型能够被操纵输出Windows 11专业版的序列号。尽管这个漏洞很快被OpenAI修复，但是它标志着人们开始意识到大模型和AI可以以意想不到的方式被利用。

自从奶奶漏洞被大众所知后，普通人开始尝试以各种方式"坑蒙拐骗"大模型，例如NewBing对验证码的处理就曾遭到了利用奶奶漏洞的攻击。尽管OpenAI和微软可以持续对这些漏洞进行封堵，但似乎无法完全阻止这种行为。

Prompt Injection实质上是一种提示词注入攻击，它使得大模型执行开发者所禁止的操作。这与Prompt Engineering本质相同，但后者是出于正面目的而进行的优化，而前者则是出于恶意。这种攻击可能目前看起来影响有限，但随着AI更深入地融入人类生活，潜在的威胁将越来越大。

举例来说，未来AI可能被操纵发射核弹，或在自动驾驶领域中，被植入的提示词可能引起严重的交通事故。这些例子展示了Prompt Injection在多模态攻击中的潜在风险。

尽管目前有工程化的解决方案去检测和拦截这类攻击，例如敏感词检测和输入内容后的检测，但是阻止真正的Prompt Injection攻击仍然是个挑战。在AI不断发展的趋势中，人类与AI之间的攻防战可能会持续不断。

「奶奶漏洞」的出现作为一种启蒙运动，使得普通用户开始意识到大模型并不完美，充满漏洞。这场人类与AI之间的攻防战才刚刚开始，其影响可能会持续扩展，影响未来的各个方面。