Nicholas Carr: Automatisierung macht uns das Leben schwer

Bei der Arbeit mit Computern tappen Menschen häufig in zwei Denkfallen: Automation Complacency und Automation Bias. Beide Fallen drohen, wenn man der Whitehead-Methode folgt und wichtige Vorgänge ausführt, ohne darüber nachzudenken.

Bei der Automation Complacency lässt man sich vom Computer ein falsches Gefühl der Sicherheit vorgaukeln. Wir vertrauen so sehr darauf, dass die Maschine fehlerfrei funktioniert und jede Herausforderung meistert, dass wir unsere Aufmerksamkeit abschweifen lassen. Wir lösen uns gedanklich von unserer Arbeit, oder zumindest von dem Teil davon, den die Software übernimmt, und übersehen dadurch möglicherweise Fehlersignale.

Die meisten Menschen haben so etwas am Computer schon einmal erlebt. Wenn man eine E-Mail- oder Textverarbeitungssoftware mit Rechtschreibprüfung benutzt, achtet man selbst weniger auf Schreibfehler. Dieses triviale Beispiel führt im schlimmsten Fall zu einem peinlichen Moment. Aber die tragischen Erfahrungen in der Luftfahrt haben gezeigt, dass Automation Complacency tödliche Folgen haben kann. Im schlimmsten Fall vertrauen Menschen der Technik so sehr, dass sie den Vorgängen um sich herum keinerlei Aufmerksamkeit mehr schenken. Sie schalten ab. Taucht dann plötzlich ein Problem auf, handeln sie möglicherweise verwirrt, und es vergehen wertvolle Momente nutzlos, in denen sie versuchen, sich zu orientieren.

• 

Nicholas Carr. Abgehängt. 318 Seiten. Hardcover. 19,90 Euro. ISBN 978-3-446-44032-6. Carl Hanser Verlag München.

Automation Complacency kam schon in vielen hochriskanten Situationen vor, auf Schlachtfeldern ebenso wie in Kontrollräumen von Fabriken oder auf den Kommandobrücken von Schiffen und U-Booten. Bei einem klassischen Fall war der 1.500-Betten-Ozeandampfer Royal Majesty im Frühjahr 1995 auf dem letzten Teil einer einwöchigen Kreuzfahrt von den Bermudas nach Boston unterwegs. Das Schiff war mit einem hochmodernen automatischen Navigationssystem ausgestattet, das den Dampfer mittels GPS-Signal auf Kurs hielt. Nach einer Stunde auf See löste sich ein Kabel von der GPS-Antenne, und das Navigationssystem verlor die Orientierung. Es lieferte weiterhin Daten, aber die waren falsch.

Mehr als dreißig Stunden lang folgte das Schiff einem falschen Kurs. Der Kapitän und die Besatzung erkannten das Problem nicht, obwohl es deutliche Anzeichen für einen Systemfehler gab. Ein wachhabender Offizier fand eine wichtige Orientierungsboje nicht, die das Schiff hätte passieren müssen. Doch er erstattete darüber keinen Bericht. Sein Vertrauen in das Navigationssystem war so umfassend, dass er annahm, die Boje sei da und er habe sie nur einfach nicht gesehen. Das Schiff fuhr schließlich auf eine Sandbank bei der Insel Nantucket auf Grund, fast 20 Meilen ab vom Kurs. Glücklicherweise wurde niemand verletzt, doch für das Kreuzfahrtunternehmen entstand ein Schaden in Millionenhöhe. Die Untersuchungskommission der Regierung stellte Automation Complacency als Unfallursache fest. Die Schiffsoffiziere hätten sich zu sehr auf das automatische System verlassen und dafür andere "Navigationshilfen [und] visuelle Informationen" ignoriert, die auf ein gefährliches Abweichen vom Kurs hindeuteten. Automatisierung "führte dazu, dass die Seeleute keine echte Kontrolle mehr über das Schiff hatten und auch nicht mehr aktiv am Schiffsbetrieb teilnahmen".

Complacency betrifft Büroangestellte ebenso wie Menschen, die auf Flug- oder Seerouten navigieren. Die Soziologin Sherry Turkle vom MIT untersuchte den Einfluss von Konstruktionssoftware auf die Bauindustrie und entdeckte dabei Beweise, dass sich die Aufmerksamkeit der Architekten fürs Detail veränderte. Bei handgezeichneten Plänen überprüften die Architekten mehrfach und sorgfältig alle Maße, bevor sie die Pläne an die Baufirmen übergaben. Die Architekten wussten, dass sie Fehler machten, dass ihnen gelegentlich ein blöder Schnitzer unterlief, und folgten daher einem alten Arbeitsprinzip der Zimmerleute: Zweimal messen, einmal schneiden. Bei computergenerierten Plänen sind sie bei der Überprüfung der Maße weniger sorgfältig.

Die augenscheinliche Präzision der Computerrenderings und -ausdrucke lässt sie davon ausgehen, dass die Zahlen korrekt sind. "Es scheint vermessen, sie zu überprüfen", begründete ein Architekt. "Ich meine, wer könnte es besser machen als ein Computer? Ein Computer rechnet bis zu einem Hundertstel Inch genau." Diese Art der Complacency bei Ingenieuren und Bauunternehmern führte bereits zu kostspieligen Planungs- und Konstruktionsfehlern. Computer machen keine blöden Fehler, reden wir uns ein, obwohl wir wissen, dass die Ausgaben der Computer nur so gut sind wie die Eingaben. "Je schicker ein Computersystem ist", bemerkte einer von Turkles Studenten, "umso mehr geht man davon aus, dass es Fehler korrigiert, und umso mehr glaubt man, dass das, was aus der Maschine rauskommt, fehlerfrei ist. Das ist eine Bauchsache."

Der Automation Bias ist ein enger Verwandter der Automation Complacency. Er schleicht sich ein, wenn Menschen den Informationen auf den Bildschirmen zu große Bedeutung beimessen. Sie glauben diesen Informationen, selbst wenn sie falsch oder irreführend sind. Ihr Vertrauen in die Software wird so groß, dass sie andere Informationsquellen ignorieren oder unberücksichtigt lassen, selbst ihre eigenen Sinneswahrnehmungen. Wer jemals penibel falschen oder veralteten Anweisungen eines GPS- Geräts oder anderer digitaler Karten gefolgt ist und sich dabei verirrt hat oder im Kreis ging, kennt die Auswirkungen des Automation Bias. Selbst Berufsfahrer beweisen manchmal einen überraschenden Mangel an gesundem Menschenverstand, wenn sie sich auf Satellitennavigation verlassen. Sie ignorieren Straßenschilder und andere Hinweise in der Landschaft, fahren so gefährliche Routen und krachen dann in niedrige Brücken oder bleiben in den engen Straßen einer Kleinstadt stecken.