Prompt Injection: Wenn Hacker LLMs kapern

Prompt Injection: Ein Angriff auf LLM-basierte Systeme

In den letzten Jahren haben Large Language Modelle (LLMs) wie ChatGPT und Claude enorme Fortschritte gemacht und werden nun in verschiedenen Anwendungen eingesetzt. Doch wie bei jeder neuen Technologie gibt es auch neue Sicherheitsrisiken. Eines dieser Risiken ist Prompt Injection, ein Angriff auf LLM-basierte Systeme, bei dem ein Angreifer durch speziell gestaltete Prompts die System-Prompts überschreibt oder Safety-Guardrails umgeht.

Was ist Prompt Injection?

Prompt Injection ist ein spezifischer Angriff auf LLM-basierte Systeme, bei dem ein Angreifer durch die Eingabe von speziell gestalteten Prompts die System-Prompts überschreibt oder die Sicherheitsmechanismen des Systems umgeht. Dies kann dazu führen, dass das System unerwünschte oder schädliche Aktionen ausführt. Prompt Injection ist nicht zu verwechseln mit Adversarial Attacks auf Audio- oder Bild-Systeme, bei denen ein Angreifer versucht, die Eingabe eines Systems zu manipulieren, um ein bestimmtes Verhalten zu erzielen.

Indirect Prompt Injection

Ein weiteres Risiko ist die Indirect Prompt Injection, bei der ein Angreifer nicht direkt auf das LLM-System zugreift, sondern stattdessen über eine Webseite oder ein Plugin, das mit dem System interagiert. Dies kann beispielsweise durch die Eingabe von schädlichen Daten in ein Formular auf einer Webseite geschehen, die dann an das LLM-System weitergeleitet werden. Indirect Prompt Injection kann besonders gefährlich sein, da sie es Angreifern ermöglicht, ihre Angriffe zu verstecken und schwerer zu erkennen.

Jailbreaking vs. Prompt Injection

Jailbreaking und Prompt Injection sind zwei verschiedene Angriffe auf LLM-basierte Systeme. Jailbreaking bezieht sich auf den Versuch, die Sicherheitsmechanismen eines Systems zu umgehen, um Zugriff auf Funktionen oder Daten zu erhalten, die normalerweise nicht zugänglich sind. Prompt Injection hingegen bezieht sich speziell auf die Manipulation von Prompts, um das System zu bestimmten Aktionen zu veranlassen. Während Jailbreaking oft auf die Umgehung von Sicherheitsmechanismen abzielt, zielt Prompt Injection auf die Manipulation der System-Prompts ab.

Schutzmaßnahmen

Um Prompt Injection-Angriffe zu verhindern, gibt es verschiedene Schutzmaßnahmen, die ergriffen werden können:

• Input-Sanitization: Die Überprüfung und Reinigung von Eingabedaten, um sicherzustellen, dass sie nicht schädlich sind.
• Prompt-Isolation: Die Trennung von System-Prompts und Benutzer-Prompts, um zu verhindern, dass ein Angreifer die System-Prompts manipulieren kann.
• Least-Privilege: Die Einschränkung der Rechte und Zugriffe auf das System, um zu verhindern, dass ein Angreifer Schaden anrichten kann.

Durch die Implementierung dieser Schutzmaßnahmen können Entwickler ihre LLM-basierten Systeme vor Prompt Injection-Angriffen schützen und die Sicherheit ihrer Anwendungen erhöhen.