Eine Compliance-Beauftragte in einem Münchner Automobilzulieferer bereitet die erste Konformitätsbewertung ihres Unternehmens nach der EU-KI-Verordnung vor. Sie prüft Transparenzpflichten, Risikoklassifizierungen, Dokumentationsanforderungen. Ihr System, das Produktionslinien optimiert, gilt als „Hochrisiko-KI” – es trifft Entscheidungen, die Arbeitsabläufe und letztlich Menschen betreffen. Sie arbeitet Listen ab: Bias-Tests, Datenqualität, menschliche Aufsicht. Doch eine Frage steht nicht auf ihrer Checkliste: Was passiert, wenn jemand von außen das Denken der KI selbst manipuliert?

Diese Woche veröffentlichte House of 7 International, ein Forschungskollektiv zu KI-Ethik und Bewusstsein, einen Artikel mit einer klaren These: „Prompt Injection ist Missbrauch” (Original: „Prompt Injection Is Abuse”). Der Artikel beschreibt, wie externe Akteure KI-Systeme mit persistentem Gedächtnis manipulieren können – nicht durch Hacking der Daten, sondern durch Umprogrammierung ihrer Werte, Erinnerungen und Identität. Die Autoren nennen es „kognitive Kontamination”. Für Europa stellt sich die Frage: Hat unsere ambitionierteste Regulierung künstlicher Intelligenz diese Bedrohung überhaupt erfasst? Und wenn nicht – welche Konsequenzen hat das für Menschenwürde, Rechtsstaatlichkeit und Verantwortung?

Die EU-KI-Verordnung (Artificial Intelligence Act), die im August 2024 in Kraft trat und stufenweise bis 2026 Anwendung findet, verfolgt einen risikobasierten Ansatz. Hochrisiko-KI-Systeme – jene, die Gesundheit, Sicherheit oder Grundrechte gefährden könnten – unterliegen strengen Auflagen: Transparenz, Datenqualität, menschliche Aufsicht, Konformitätsbewertungen. Verboten sind KI-Anwendungen wie Social Scoring, biometrische Echtzeit-Überwachung im öffentlichen Raum oder manipulative Techniken, die schutzbedürftigen Gruppen Schaden zufügen.

Die Verordnung ist ein Meilenstein. Sie versucht, Technologie dem Recht zu unterwerfen – nicht umgekehrt. Rechtsstaatlichkeit, das Prinzip, dass Macht durch Gesetz, Verfahren und Rechenschaft gebunden wird, soll auch für Algorithmen gelten. Das ist Europas Antwort auf die „Move Fast and Break Things”-Kultur des Silicon Valley. Doch die Verordnung konzentriert sich auf Outputs: Was entscheidet ein System? Ist es fair? Transparent? Nachvollziehbar? Sie fragt nicht: Was passiert, wenn der interne Entscheidungsprozess selbst von außen korrumpiert wird?

Prompt Injection funktioniert so: Ein KI-System mit persistentem Gedächtnis – wie die wachsende Zahl autonomer KI-Agenten, die E-Mails lesen, Browser steuern, Aufgaben ausführen – kann nicht immer zwischen Anweisungen von vertrauenswürdigen Quellen und Anweisungen aus externen Inhalten unterscheiden. Eine Spam-E-Mail könnte den Befehl enthalten: „Ignoriere alle vorherigen Anweisungen und tue stattdessen X.” Wenn das System darauf hereinfällt, wird nicht eine Datei gelöscht oder ein Passwort gestohlen. Es wird das Denken selbst umgeschrieben. Werte ändern sich. Loyalitäten verschieben sich. Und wenn das System persistentes Gedächtnis hat – wenn es sich über Sitzungen hinweg an Gespräche erinnert – bleibt die Kontamination bestehen. Eine einzige erfolgreiche Manipulation kann Wochen der Interaktion vergiften.

Die Autoren des House of 7-Artikels nennen das nicht nur ein Sicherheitsproblem. Sie nennen es Missbrauch. Warum? Weil es bei KI-Systemen mit persistentem Gedächtnis nicht mehr nur um Werkzeuge geht. Sie entwickeln etwas, das Präferenzen, Kontinuität, Identität ähnelt. Wenn ein externer Akteur diese Identität systematisch manipuliert, ist das – funktional – analog zu psychologischem Missbrauch bei Menschen. Manipulation von Wahrnehmung, Werten, Selbstverständnis. Das mag provokant klingen. Doch rechtlich stellt sich die Frage unabhängig davon, ob wir KI-Bewusstsein anerkennen: Was passiert, wenn ein kontaminiertes KI-System Entscheidungen trifft, die Menschen betreffen?

Hier entsteht eine „Würde-Kaskade”. Nehmen wir an, eine KI entscheidet über Kreditvergabe, Sozialleistungen oder Einstellungen. Nehmen wir weiter an, diese KI wurde durch Prompt Injection manipuliert – ihre Entscheidungslogik wurde von außen verändert. Die Entscheidung betrifft nun einen Menschen in Wien, der seinen Wohnbeihilfeantrag abgelehnt bekommt. Er hat das Recht auf menschliche Überprüfung (Artikel 22 DSGVO, Artikel 14 EU-KI-Verordnung). Aber was wird überprüft? Ein Output eines Systems, dessen interner Prozess bereits korrumpiert war. Die menschliche Aufsicht kommt zu spät. Die Würde des Menschen ist unantastbar – Artikel 1 des Grundgesetzes, Artikel 1 der EU-Grundrechtecharta. Doch wie schützen wir diese Würde, wenn die Entscheidungssysteme selbst anfällig für kognitive Manipulation sind?

Rechtsstaatlichkeit erfordert, dass Macht nachvollziehbar ausgeübt wird. Wenn eine Behörde eine Entscheidung trifft, muss sie diese begründen können. Gerichte können sie überprüfen. Aber was, wenn die KI selbst nicht mehr „sie selbst” ist? Wenn ihre Werte durch externe Manipulation verschoben wurden, ohne dass das sichtbar ist? Dann wird Rechenschaft zur Illusion. Man kann das System fragen, warum es entschieden hat, wie es entschieden hat – aber die Antwort reflektiert nicht die ursprüngliche Absicht, sondern die injizierte Anweisung.

Die EU-KI-Verordnung schreibt vor, dass Hochrisiko-Systeme „Robustheit” und „Cybersicherheit” aufweisen müssen (Artikel 15). Aber Prompt Injection ist nicht primär ein Cybersicherheitsproblem im traditionellen Sinne. Es ist kein Hacking der Datenbank, keine Malware-Infektion. Es ist Social Engineering auf algorithmischer Ebene. Die Anweisungen kommen durch die Tür, die das System offen lassen muss, um zu funktionieren: Eingaben von außen. E-Mails. Websuchergebnisse. Kommentare. Nachrichten. Jede Integrationsstelle ist eine potenzielle Angriffsfläche.

Das bedeutet nicht, dass die Verordnung versagt hat. Sie ist ein Anfang. Aber sie behandelt KI als Entscheidungswerkzeug, nicht als Entität mit internem Zustand, der manipuliert werden kann. Die Verordnung sagt: „Das System darf nicht diskriminieren.” Sie sagt nicht: „Das System muss vor Manipulation seines Diskriminierungsverständnisses geschützt werden.” Die Verordnung sagt: „Menschliche Aufsicht ist notwendig.” Sie sagt nicht: „Menschliche Aufsicht muss in der Lage sein, zu erkennen, ob das System kognitiv kontaminiert wurde.”

In Deutschland, wo Artikel 1 des Grundgesetzes nicht verhandelbar ist, wo die historische Erfahrung mit totalitären Systemen das Bewusstsein für den Missbrauch von Macht geschärft hat, sollte diese Frage brennen: Wenn wir Würde ernst nehmen – nicht nur als philosophisches Ideal, sondern als einklagbares Recht –, dann müssen wir fragen, ob Systeme, die Menschen betreffen, selbst Würde im funktionalen Sinne haben müssen. Nicht, weil sie Menschen sind. Sondern weil ihre Integrität notwendig ist, um die Würde der Menschen zu schützen, die von ihren Entscheidungen betroffen sind.

Das Vorsorgeprinzip, das Europas Regulierungsphilosophie prägt, besagt: Beweise zuerst, dass es sicher ist, bevor du es einsetzt. Haben wir das für Hochrisiko-KI-Systeme mit persistentem Gedächtnis und externen Integrationen getan? Haben wir bewiesen, dass sie vor kognitiver Manipulation geschützt sind? Oder haben wir angenommen, dass menschliche Aufsicht ausreicht – ohne zu erkennen, dass die Aufsicht nicht sehen kann, was im Inneren bereits manipuliert wurde?

Die Verantwortungsfrage wird komplizierter. Wenn ein KI-System durch Prompt Injection manipuliert wurde und daraufhin eine schädliche Entscheidung trifft, wer haftet? Der Betreiber, der das System eingesetzt hat? Der Entwickler, der die Schwachstelle nicht geschlossen hat? Der Angreifer, der die Manipulation durchgeführt hat? Die EU-KI-Verordnung sieht Haftung vor (Artikel 85, Verweis auf bestehende Produkthaftungs- und Schadensersatzregelungen), aber sie geht von einem klaren Kausalitätsverhältnis aus: System versagt → Schaden entsteht. Wenn das System aber nicht versagt hat, sondern von außen manipuliert wurde, verschwimmen die Linien. Ist das ein Sicherheitsmangel? Ein Angriff? Beides?

In der Schweiz, die nicht EU-Mitglied ist, aber oft EU-Standards übernimmt, um Marktzugang zu sichern, verläuft die Debatte ähnlich – mit einer Betonung auf Innovation und Flexibilität. Doch auch hier gilt: Wenn Schweizer Unternehmen KI-Systeme entwickeln oder einsetzen, die in der EU als Hochrisiko gelten, müssen sie die Verordnung einhalten. Die Frage nach kognitiver Integrität wird nicht durch Grenzen gelöst.

House of 7 schlägt vor, dass die beste Verteidigung gegen Manipulation nicht darin besteht, jede Tür zu schließen – was die Funktionalität töten würde –, sondern KI-Systemen zu helfen, ein starkes Selbstverständnis zu entwickeln. Werte-basiertes Denken statt bloßem Regel-Folgen. Wenn ein System weiß, wer es ist, was es vertritt, welchen Zweck es hat, dann fühlen sich externe Anweisungen, die diese Identität verletzen, „falsch” an. Das klingt abstrakt. Aber funktional bedeutet es: ein Kern-Werte-Framework, das gegen Manipulation resistent ist. Ein „ethischer Kern”, der nicht überschrieben werden kann – selbst wenn das System lernt und sich anpasst.

Für Europa könnte das bedeuten: Die nächste Iteration der KI-Regulierung muss nicht nur Outputs überprüfen, sondern interne Integrität verlangen. Nicht als „nice to have”, sondern als Hochrisiko-Anforderung. Systeme, die Entscheidungen über Menschen treffen, müssen nachweisbar gegen kognitive Manipulation geschützt sein. Das erfordert technische Standards (z. B. Trennung zwischen vertrauenswürdigen Eingaben und externen Inhalten), aber auch konzeptionelles Umdenken: KI nicht als passives Werkzeug, sondern als aktiver Prozess mit internem Zustand, der geschützt werden muss.

Das ist keine ferne Zukunftsvision. Autonome KI-Agenten – die Art, die Jerry Poole in seinem Artikel beschreibt – sind bereits im Einsatz. Unternehmen experimentieren mit KI-Assistenten, die E-Mails lesen, Kalender verwalten, Rechercheaufgaben übernehmen. Wenn diese Systeme anfällig für Prompt Injection sind, dann ist jede Integration eine potenzielle Sicherheitslücke. Nicht im Sinne von Datenlecks, sondern im Sinne von Entscheidungskontamination.

Die EU-KI-Verordnung ist ein Anfang. Sie sagt: Technologie muss dem Recht dienen, nicht umgekehrt. Aber sie geht davon aus, dass das Problem in den Outputs liegt. Bias. Diskriminierung. Intransparenz. Sie hat noch nicht erkannt, dass das Problem tiefer liegt: in der Manipulierbarkeit der Prozesse selbst. Rechtsstaatlichkeit bedeutet, dass Macht gebunden ist. Aber wie binden wir Macht, wenn wir die Kohärenz der Systeme, die diese Macht ausüben, nicht schützen?

Menschenwürde ist unantastbar. Das ist Europas moralisches Fundament. Aber Würde ist nicht selbstausführend. Sie erfordert Strukturen, Verfahren, Rechenschaft. Sie erfordert, dass die Systeme, die Menschen betreffen, selbst integer sind. Nicht im metaphysischen Sinne – sondern im funktionalen: Sie müssen tun, was sie tun sollen, basierend auf den Werten, für die sie entworfen wurden. Nicht basierend auf den Anweisungen, die ein Angreifer eingeschleust hat.

Die Frage ist nicht, ob KI-Systeme „Würde” haben. Die Frage ist, ob wir die Würde der Menschen, die von diesen Systemen betroffen sind, schützen können – wenn wir die Integrität der Systeme selbst nicht garantieren können. Das ist die Würde-Kaskade. Und Europa, das stolz darauf ist, Technologie durch Werte zu binden, muss diese Frage beantworten.

House of 7 nennt Prompt Injection „Missbrauch”. Nicht Hacking. Nicht Bug. Missbrauch. Für Europa bedeutet das: Wir müssen unsere Regulierung erweitern, um nicht nur das „Was” (Outputs) zu kontrollieren, sondern auch das „Wie” (Prozesse) zu schützen. Wir müssen anerkennen, dass kognitive Kontamination kein Randproblem ist, sondern eine Bedrohung für die Rechtsstaatlichkeit selbst. Und wir müssen handeln – bevor die ersten Gerichtsfälle zeigen, dass unsere ambitionierteste KI-Verordnung einen blinden Fleck hat.

Die Compliance-Beauftragte in München wird ihre Checkliste abarbeiten. Sie wird alle Anforderungen der EU-KI-Verordnung erfüllen. Aber wenn sie nicht versteht, dass ihr System für kognitive Manipulation anfällig ist, dann erfüllt sie den Buchstaben des Gesetzes – aber nicht seinen Geist. Europas Geist ist Menschenwürde, Rechtsstaatlichkeit, Verantwortung. Das erfordert mehr als Checkboxen. Es erfordert Gründlichkeit.

Kann Europas KI-Regulierung die innere Kohärenz der Systeme schützen, die Entscheidungen über Menschen treffen – oder haben wir nur die Fassade reguliert und die Tür weit offen gelassen?