Wem vertraue ich? Dem Menschen oder der Maschine?

Welches ist die Rolle von Künstlicher Intelligenz als Teammitglied?

Wenn ein Betreuungsteam auf der Intensivstation die Steuerung eines auf künstlicher Intelligenz (KI) basierten Beatmungsgerätes überträgt, geben Ärztinnen und Pflegefachpersonen auch ein Stück weit die Kontrolle ab, sagt Nadine Bienefeld. «Das macht verletzlich. Und es stellt sich die Frage, wie sehr vertrauen die Menschen der Maschine.» In einem Vorprojekt zum NFP 77 hat das Forschungsteam um Nadine Bienefeld dieses Vertrauensverhältnis untersucht. Es wurden 70 Interviews mit Pflegenden, Assistenzärzten und Chefärztinnen geführt und 35 Arbeitsschichten über insgesamt 256 Stunden lang beobachtet.

Resultat: Die Beteiligten nehmen die KI auf ganz unterschiedliche Arten wahr: als Held, der alles im Griff hat; als persönliche Bedrohung, weil man sich der Maschine ausgeliefert vorkommt; als kontrollierbare Bedrohung im Sinne von «ich weiss, was schief gehen kann, habe es aber gegebenenfalls im Griff»; und schliesslich als Partner und vollwertiges Mitglied des Teams.

Letzte Rolle hat die Forschung bis anhin eher vernachlässigt, sagt Bienefeld. «Bisher hat man die Interaktion zu sehr als bilaterale Mensch-Maschinen-Interaktion verstanden», sagt Bienefeld. «Dabei ist es eigentlich ein Dreiecksverhältnis Mensch–Mensch–Maschine.» Es sei sehr wichtig, wie die Gruppe als Ganzes und untereinander reagiere. Darum genügt es nicht, einfach nur Menschen im Umgang mit smarter Medizintechnik zu trainieren, das Training muss als Team-Prozess verstanden und aufgebaut werden.

Diese Erkenntnis bildet nun die Basis von Bienefelds NFP-77 Projekt. Die Forschenden beobachtet medizinische Teams im Simulationstraining der Intensivpflege. Darin enthalten sind auch Überraschungen durch die KI und simulierte Störfälle. Aus diesen Beobachtungen sollen Empfehlungen abgeleitet werden, um das Design von KI als Teammitglied zu verbessern und um Lösungsansätze zu entwickeln die das Vertrauen innerhalb von Mensch-KI-Teams ganz allgemein stärken.

Referat von Nadine Bienefeld am Jahreskongress der  Schweizer Gesellschaft für Notfall- und RettungsmedizinExternal Link Icon

Projekt

Nadine Bienefeld erforscht die Integration von künstlicher Intelligenz in Teams.
Nadine Bienefeld erforscht die Integration von künstlicher Intelligenz in Teams.