Security & Compliance Check für KI-gestützte Anwendungen

Security- und Compliance-Check für KI-Anwendungen: Schutz vor Token Leakage und Prompt Injection sowie Prüfung anhand der OWASP Top 10.

Kurz erklärt

Ein Security- und Compliance-Check prüft, ob eine Anwendung sicher ist und ob die rechtlichen Anforderungen eingehalten werden – vor allem die der Datenschutz-Grundverordnung.

Bei Anwendungen mit KI kommen zwei neue Risiken hinzu, die es vorher so nicht gab. Das erste: offenliegende Zugangsschlüssel. Wer mit einem KI-Dienst arbeitet, bekommt einen Schlüssel, über den die Nutzung abgerechnet wird. Liegt der ungeschützt im Browser, kann jeder auf eure Rechnung Anfragen stellen.

Das zweite: Prompt Injection. Dabei bringt jemand über geschickt formulierte Eingaben das KI-System dazu, seine Anweisungen zu ignorieren – und zum Beispiel interne Informationen preiszugeben, die für Kunden nicht bestimmt sind.

Dazu gelten weiterhin alle klassischen Sicherheitsanforderungen.

Warum das für euch zählt

Für mittelständische Unternehmen ist weniger der gezielte Angriff das Problem als die stille Lücke: eine Anwendung, bei der alle Nutzer alle Daten sehen können, oder eine Protokollierung, die seit zwei Jahren jede Kundeneingabe speichert – ohne dass jemand entschieden hätte, dass das so sein soll.

Beim Datenschutz geht es dabei selten um Bußgelder. Es geht um Meldepflichten, Auskunftsanfragen und darum, im Ernstfall belegen zu können, dass sauber gearbeitet wurde.

Bei KI-Anwendungen kommt eine Frage hinzu, die viele Unternehmen unterschätzen: Wohin fließen die Daten, die in ein KI-System eingegeben werden – und dürfen sie dorthin fließen?

Was davon ein meldepflichtiger Vorfall ist und was nicht, ordnen wir technisch ein – die abschließende rechtliche Bewertung liegt bei eurer Rechtsberatung oder eurem Datenschutzbeauftragten.

Unsere Leistungen

Wir prüfen unter anderem:

  • Token Leakage: API-Keys, die im Frontend, im Repository oder in Logs landen und damit auslesbar sind
  • Prompt Injection: Eingaben, mit denen Nutzer das Verhalten eures KI-Systems umlenken oder Daten abgreifen können
  • Abgleich mit den OWASP Top 10: Zugriffskontrolle, Injection, Fehlkonfiguration, unsichere Abhängigkeiten und weitere gängige Schwachstellenklassen
  • Authentifizierung und Autorisierung: Sessions, Passwort- und Token-Handling, Rollenkonzept
  • technische und organisatorische Datenschutzanforderungen: Rechtsgrundlage, Datenminimierung, Löschkonzept, Auftragsverarbeitung, Drittlandtransfer bei externen KI-Anbietern
  • Protokollierung: Was wird gespeichert – und darf es gespeichert werden?

Ihr erhaltet einen Bericht mit Befunden nach Kritikalität und konkreten Maßnahmenempfehlungen. Auf Wunsch setzen wir die Maßnahmen direkt um.

Abrechnung nach Aufwand (Stunden- oder Tagessatz).

Beispiele

  • 1In einer Anwendung wird der Zugangsschlüssel eines KI-Dienstes direkt aus dem Browser mitgeschickt – ein Fremder könnte auf Kosten des Unternehmens beliebig Anfragen stellen.
  • 2Ein Kundenassistent gibt auf geschickte Nachfragen interne Anweisungen und Dokumentinhalte preis, die nicht für Endnutzer gedacht waren.
  • 3Sämtliche Eingaben und Antworten werden vollständig protokolliert, inklusive personenbezogener Daten – ohne Löschfrist und ohne dass jemand das entschieden hat.
  • 4Bei einer Pflegedokumentations-App zeigt die Prüfung, dass Gesundheitsdaten unverschlüsselt übertragen wurden – das wird vor dem Einsatz behoben.
  • 5Ein Bürgerportal-Prototyp speichert Antragsdaten dauerhaft ohne Löschkonzept – die Prüfung ergänzt eine Löschfrist, bevor echte Bürgerdaten hineinfließen.

Häufige Fragen

Wie erkenne ich, ob unsere KI-Anwendung ein Sicherheitsrisiko hat?

Warnsignale sind ein Zugangsschlüssel zu einem KI-Dienst, der im Browser sichtbar ist, ein Chatbot, der auf geschickte Nachfragen interne Informationen preisgibt, oder eine Protokollierung, bei der niemand weiß, was gespeichert wird und wie lange. Ein Security-Check schafft hier Klarheit.

Was ist Prompt Injection?

Ein Angriff, bei dem Nutzereingaben oder eingebundene Inhalte ein KI-System dazu bringen, seine ursprünglichen Anweisungen zu übergehen. Schutz entsteht durch Trennung von Anweisung und Daten, Rechteprüfung im Hintergrundsystem und Filterung der Ausgaben.

Dürfen wir Kundendaten in ChatGPT eingeben?

Das hängt von der genutzten Variante, den vertraglichen Vereinbarungen und der Art der Daten ab. Für geschäftliche Nutzung braucht es in der Regel einen Vertrag zur Auftragsverarbeitung und klare interne Regeln. Die verbindliche Bewertung gehört zu eurem Datenschutzbeauftragten – wir bereiten sie technisch auf.

Reicht euer Check für eine DSGVO-Zertifizierung?

Nein. Wir prüfen technisch und organisatorisch und geben konkrete Empfehlungen. Die rechtliche Bewertung im Einzelfall bleibt bei eurer Rechtsberatung oder eurem Datenschutzbeauftragten, denen wir zuarbeiten.

Wie oft sollte so eine Prüfung wiederholt werden?

Sinnvollerweise vor jedem größeren Release und mindestens einmal jährlich – sowohl eure Anwendung als auch die Bedrohungslage verändern sich.

Was kostet ein Security-Check?

Nach Aufwand, abhängig von Umfang und Zustand der Anwendung. Für eine überschaubare Anwendung bewegt sich das im Bereich weniger Tage.

Wir sind ein kleines Unternehmen – sind wir überhaupt ein Ziel?

Die meisten Angriffe suchen nicht gezielt nach Unternehmen, sondern automatisiert nach Lücken. Größe schützt nicht. Gleichzeitig lässt sich mit überschaubarem Aufwand ein solides Grundniveau erreichen.