Überwachung durch KI wird aktuell heiß diskutiert. Was sind die Chancen und Risiken von KI-gestützter Massenüberwachung? Beispiele aus China und der EU AI Act geben interessante Perspektiven darauf.
Einige Zukunftsprognosen zeigen eine mögliche Welt, in der jede Person ständig und immer im öffentlichen Raum überwacht wird. Wo jeder Schritt aufgezeichnet wird und später nachvollzogen werden kann. Wo alle Personen dabei identifiziert werden können und wo persönliche Profile angelegt werden. Für die einen stellt dies die Dystopie der ultimativen Freiheitsberaubung dar, für die anderen vielleicht auch das Gefühl von kompletter Sicherheit.
Obwohl KI-gestützte Massenüberwachungssysteme in der Science Fiction-Literatur sowie in Filmen und Serien oft ein beliebtes Motiv sind, findet dies in Deutschland kaum statt. Das ist vor allem der Fall, weil viele Überwachungssysteme nicht die gewünschten Ergebnisse liefern. Dennoch stehen zum Beispiel in Hamburg am Hansaplatz Kameras, deren Aufnahmen mit Hilfe von KI ausgewertet und hinsichtlich auffälliger Bewegungsmuster untersucht werden. Diese sammeln jedoch keine biometrischen Daten von Personen oder kennzeichnen Individuen, sondern geben lediglich Warnhinweise an die Polizei weiter.
In Ländern wie China hingegen ist Massenüberwachung längst kein Traum mehr, sondern eine albtraumhafte Realität für viele. Der Dokumentarfilm Total Trust zeigt beispielsweise, dass dort Gesichtserkennung in Bussen gesuchte Personen finden kann oder Gesichtserkennungs-KIs am Arbeitsplatz die Stimmung von Arbeitnehmer:innen bewerten und diese den Vorgesetzten melden. In dem Film wird ebenfalls dargestellt, wie Anwält:innen, die den Staat kritisierten, auf Social Media ausradiert werden. Alle Fotos, die sie hochladen, werden sofort automatisch gelöscht, selbst kleine Dinge wie Familienfotos. Hierzu werden KI-Tools verwendet. Auch Journalist:innen werden laut des Dokumentationsfilms mittels dieser Surveillance-Systeme überwacht. Teilweise werden dabei auch die Texte “auffälliger” Journalist:innen nach Merkmalen gescannt, um diese in Zukunft frühzeitig erkennen zu können.
Psychologische Folgen von Überwachung
Bei diesen Praktiken ist zu beachten, dass alleine die Annahme, es könnte eine Überwachung stattfinden, psychologische Folgen haben kann. Das zeigt sich auch insbesondere bei ständiger Überwachung der Bevölkerung, wie am Beispiel China. Studien haben dabei gezeigt, dass das Wissen um ständige Überwachung das Verhalten der Menschen verändern kann. So entsteht etwa der sogenannte „Chilling Effect“, der dazu führen kann, dass Menschen vorsichtiger werden und möglicherweise auf ihre Meinungsfreiheit verzichten, um nicht ins Visier der Überwachungsbehörden zu geraten.
Der AI Act und seine Auswirkungen
Ein ähnliches Maß an Überwachung wird jedoch in Europa nicht in absehbarer Zeit möglich sein. Dafür sorgt der am 13. März 2024 vom Europäischen Parlament beschlossene AI Act. Diese Verordnung schafft zwar Chancen für den Einsatz von KI in der Europäischen Union, ist aber auch das erste Gesetz, das KI reguliert, insbesondere KI-gestützte Überwachung. Damit ist der AI Act das erste Gesetz, das KI reguliert. Dabei soll der AI Act die Sicherheit und Transparenz von KI-Systemen erhöhen, gleichzeitig soll aber auch Innovation in dem Bereich gefördert werden
Im Allgemeinen werden in dem Gesetz Risiken definiert und KIs dementsprechend eingeordnet. KIs, die “unannehmbare Risiken” hervorrufen, wie beispielsweise soziale Bewertungssysteme, werden demnach komplett verboten. Jene mit “hohem Risiko” wie beispielsweise Überwachungssysteme ohne biometrische Erkennung werden reguliert. Ebenfalls werden KIs beschrieben, die ein “begrenztes Risiko” aufweisen – dies können beispielsweise Chatbots sein, aber auch Deep Fakes. Hier soll sichergestellt werden, dass die Endnutzer:innen wissen, dass sie mit KIs interagieren. KIs mit “geringem Risiko” wie beispielsweise E-Mail-Spamfilter bleiben unreguliert.
Insbesondere für den Bereich der Massenüberwachung heißt das, dass biometrische Kategorisierungssysteme, die Rückschlüsse auf sensible Merkmale geben, verboten sind. Dazu zählen Systeme, die Menschen hinsichtlich ihrer Herkunft oder politischen Überzeugung filtern. Ebenso sind Social Scoring-Systeme verboten, also Systeme, die Personen aufgrund ihres Sozialverhaltens oder ihrer persönlichen Eigenschaften klassifizieren. Darauf aufbauend sind auch Systeme, die das Kriminalitätsrisiko von Personen bewerten, verboten. Auch das Anlegen von Gesichtserkennungs-Datenbanken ist verboten – also Datenbanken, die durch Auslesen von Gesichtsbildern aus Überwachungsvideos und anderen öffentlichen Aufnahmen erstellt werden. Dementsprechend können diese auch nicht genutzt werden, um Personen zu finden. Darüber hinaus ist ebenfalls die Biometrische Fernidentifizierung (Remote Biometric Identification/RBI), die in Echtzeit und in öffentlich zugänglichen Räumen stattfindet, für die Strafverfolgung im Allgemeinen verboten.
Dennoch gibt es auch Kritik daran, dass zahlreiche Ausnahmesistuationen, die in dem Gesetz beschrieben werden, trotzdem Potenzial zur Massenüberwachung bieten. Insbesondere zur biometrischen Fernerkennung sind im KI-Act nämlich Ausnahmen definiert. Dazu zählt die Suche nach vermissten Personen oder Opfern von Menschenhandel. Biometrische Fernidentifizierung darf außerdem verwendet werden, um Terroranschläge zu verhindern oder Verdächtige schwerer Straftaten zu identifizieren – dies soll jedoch nur durch zuständige Behörden möglich sein.
Fernidentifikationssysteme, die bestätigen, dass eine Person die Person ist, die sie vorgibt zu sein, sind durch die Definition von Ausnahmeregelungen nicht ganz verboten. Das gilt auch für KI-Systeme, die das Risiko einer Person bewerten, Opfer eines Verbrechen zu werden oder straffällig zu werden, sowie die Bewertung der Zuverlässigkeit von Beweisen bei Strafverfolgungen vollziehen. Diese Technik kann jedoch nur unter bestimmten Voraussetzungen genutzt werden. Insbesondere diese Lockerungen werden kritisiert.
Dennoch sind die Ausnahmen im AI Act weit entfernt von der Vorstellung, dass jede Person im öffentlichen Raum überwacht wird, insbesondere, weil viele dieser Überwachungsmethoden gegen Menschenrechte verstoßen würden. Trotzdem besteht auch weiterhin die Befürchtung, dass diese Ausnahmen verwendet werden könnten, um Personen gezielt zu überwachen – auch wenn dies in Deutschland nach dem aktuellen Stand der Technik kaum möglich wäre.
Es bleibt abzuwarten, wie sich die rechtlichen Rahmenbedingungen und technologischen Möglichkeiten in den kommenden Jahren weiterentwickeln werden. Die Balance zwischen Sicherheit und Freiheit wird aber sicherlich ein zentrales Thema in der Debatte um die Nutzung von KI in der Massenüberwachung bleiben.
Autorin: Philippa Petersen
