Was bedeutet es, menschliche Kontrolle über intelligente Maschinen zu haben?

Bei Experimenten im Labor sollten menschliche Testpersonen ein Objekt in Zusammenarbeit mit KI sicher landen. Verschiedene Formen der Zusammenarbeit zwischen Mensch und KI wurden untersucht, etwa der menschliche Eingriff in einen von der KI betriebenen Landevorgang. Die Landevorgänge in der Zusammenarbeit wurden nicht nur beobachtet, sondern es erfolgten auch Nachbefragungen bei den menschlichen Operateuren. Die Resultate dieser Experimente ermöglichten die Formulierung gewisser konzeptioneller und rechtlicher Erwägungen bezüglich der Zusammenarbeit zwischen Mensch und KI sowie von Empfehlungen an die Politik bezüglich der Regulierung von gewissen Formen von KI.

Rechtliche Massnahmen beinhalten mehr und mehr Vorschriften, die KI einer gewissen Form der menschlichen Kontrolle unterwerfen. Ein jüngstes Beispiel ist die Verordnung der EU zur Regulierung von KI, die im Sommer 2024 in Kraft getreten ist. Deren Artikel 14 unterwirft gewisse Hochrisiko-KI der menschlichen Aufsicht; insbesondere solche, die im Sicherheitsbereich eingesetzt werden sollen. Weitere Massnahmen, etwa im humanitären Völkerrecht, erwägen ähnliche Ansätze. Es ist wichtig, diese Erwartungen an das Recht in den technischen Realitäten zu verankern. Ansonsten könnten menschliche Operateure, von denen erwartet wird, Kontrolle über KI auszuüben, im Fall von menschlichen Verlusten zu Sündenböcken werden.

Das Projekt hatte zum Ziel, Formen der Kontrolle von KI empirisch zu verifizieren. Mit den Methoden der Verhaltensökonomie, der angewandten Philosophie und des Rechts beabsichtigte das Forschungsteam, über die in diesem Bereich sonst üblichen, rein argumentativen Beiträge hinauszugehen und praktische Formen der Kontrolle in einem weiten Sinne, sowie die Normen, die damit einhergehen, zu empfehlen.

Unsere Resultate zeigen, dass eine gewisse Vorsicht angebracht ist, KI menschlicher Kontrolle oder Aufsicht zu unterwerfen, sowohl in technischer als auch in rechtlicher Hinsicht. Menschen «verschlimmern» manchmal die Ergebnisse, wenn sie zum Beispiel ohne Not oder im falschen Moment eingreifen. Menschen könnten zu Sündenböcken werden und die rechtliche Verantwortung tragen, ohne dass sie eine faire Chance hatten, KI wirklich zu kontrollieren. Diese Ergebnisse finden Anwendung auf Situationen, in welchen menschliche Operateure unter Zeit- und Ressourcendruck agieren – das heisst in Situationen, die mit anderen Worten «heiss» sind. Ob die «Abkühlung» solcher Situationen, also die Verlangsamung der Prozesse beziehungsweise die Erhöhung der Ressourcen, Abhilfe schafft, muss weiter untersucht werden. Ebenso wie die Frage, ob die Zusammenarbeit Mensch-KI weniger problematisch ist, wenn es gar keinen Druck gibt («kalte Zusammenarbeit»).

Drei Hauptbotschaften

1. Die Pflichten hinsichtlich der Kontrolle und Überwachung intelligenter Systeme sollten an den konkreten Kontext angepasst werden, in dem sie umgesetzt werden sollen. Die Festlegung einer allgemeinen Pflicht zur Kontrolle oder Überwachung solcher Systeme ist eher eine Problemstellung als eine tatsächliche Lösung.
2. Menschliches Eingreifen in KI-basierte Prozesse ist kein Allheilmittel.
3. Die Erklärbarkeit hochleistungsfähiger KI-Systeme sollte nicht vorausgesetzt werden.

Meaningful Human Control of Security Systems – Aligning International Humanitarian Law with Human Psychology