Christine Käppeler
Ausgabe 2416 | 20.06.2016 | 06:00 12

„Die Scheu verlieren“

Interview Wie wahrscheinlich ist es, dass Maschinen eines Tages ihre Schöpfer vernichten? Der Cybersecurity-Experte Thomas Rid ergründet eine zutiefst menschliche Furcht

der Freitag: Die Google-Tochterfirma DeepMind arbeitet derzeit an einem Abschaltknopf für lernfähige Maschinen, damit diese uns nicht eines Tages – womöglich unfreiwillig – vernichten. Wie reell schätzen Sie diese Gefahr ein, Herr Rid?

Thomas Rid: Diese Angst vor der übermächtigen Maschine ist so alt wie der Computer selbst. In einer Titelgeschichte von 1950 befürchtete das Time Magazine, Mark III, einer der ersten Rechner, könnte der düstere Vorbote eines „Superman“ sein. Diese Furcht ist zutiefst menschlich und unrealistisch zugleich.

Das Problem, dass eine künstliche Kreatur gegen ihren Schöpfer spielen und gewinnen kann, beschäftigte schon den Mathematiker Norbert Wiener, der in den 40er Jahren den Begriff Kybernetik prägte. Zu Wieners Lebzeiten schlug der Computer den Menschen im Damespiel, heute besiegt er ihn im Go.

Norbert Wiener hat immer wieder Goethes Zauberlehrling zitiert. Der Besen war für Wiener ein Bild für die Maschine, der Lehrling für den Menschen, „das Wort“ für die Software. Wiener versuchte, die letztlich religiös unterfütterte Furcht vor unserer eigenen Kreatur kybernetisch zu entzaubern. Er hat aber genau das Gegenteil erreicht.

Sie bezeichnen die Kybernetik als große unterschätzte Ideologie des 20. Jahrhunderts. Worauf gründet sie?

Die Kybernetik hat drei Kernelemente: Das erste ist die Rückkopplung, denken Sie an ein Heizungsthermostat, das sich selbst steuert. Das zweite ist die Lernfähigkeit der Maschine durch Umweltinteraktion. Und das dritte ist die Verschmelzung von Mensch und Maschine, die sich im Zweiten Weltkrieg in der Luftabwehr manifestiert hat. Biologen, Physiker, Ingenieure, Anthropologen, Politiker, Militärplaner, Science-Fiction-Autoren, sogar Hippies und Scharlatane waren von der Idee fasziniert, dass Maschinen etwas selbstständig, zweckgerichtet tun können. So wie wir heute von künstlicher Intelligenz fasziniert sind.

Zur Person

Thomas Rid, 41, wuchs im württembergischen Aach auf. Seit 2011 lehrt er am Department of War Studies am King’s College in London. Er ist unter anderem Autor der Bücher Cyber War Will Not Take Place (Hurst 2013) und Maschinendämmerung (Propyläen 2016)

Foto: Annette Rid

Sie schreiben, die Soziologin Margaret Mead sei auf ihrem ersten kybernetischen Kongress so aufgeregt gewesen, dass sie erst hinterher feststellte, dass ihr ein Zahn abgebrochen war.

Die sogenannten Macy-Konferenzen fanden in den 50ern in Manhattan in einem schicken Hotel statt, es gab Cocktails umsonst. Die Leute fanden das super, von dort wurde die kybernetische Idee in die ganze Welt verbreitet. Der Psychiater William Ross Ashby stellte dort 1952 seinen Homöostaten vor, eine Art Protohirn, das aus vier Bombensteuerungsvorrichtungen der Royal Air Force bestand und 50 Pfund kostete.

Auch Hannah Arendt besuchte 1964 eine kybernetische Konferenz und befasste sich damit, dass Maschinen nun geistige Aktivitäten ausüben konnten. „Was, müssen wir uns fragen, ist die geistige Tätigkeit als solche?“, schrieb sie hinterher.

Die Kybernetik hatte damals einen hohen intellektuellen Anspruch. Die künstliche Intelligenz ist heute hingegen ein eher nerdiges Thema. Wir haben diese Tiefe der Debatte einfach nicht mehr. Damals wie heute beherrschen extreme Thesen die Diskussion, die jedoch oft erst im Rückblick als falsche Übertreibungen erkennbar werden.

Auffallend ist in Ihrem Buch, wie viele Frauen die Debatte damals prägten, etwa die Mathematikerin Alice Mary Hilton.

Hilton war überzeugt, dass eine Revolution stattfand. Keine zweite industrielle Revolution, sie hielt die Sache für größer. Der einzige Vergleich, den sie angemessen fand, war die Agricultural Revolution – der Beginn des Neolithikums, als der Mensch anfing, Ackerbau zu betreiben. Sie hat deshalb das Wort Cyberculture erfunden. Mit Subkultur hatte der Begriff zuerst nichts zu tun.

Sie machen auch deutlich, wie oft die Prognosen ins Kraut schossen. Mein Favorit ist der Harvard-Dozent Edward Moore, der sich 1956 eine Maschine vorstellte, die am Strand steht und Kopien ihrer selbst baut.

Moores Inspiration waren Nutzpflanzen, die aus der Umwelt Stoffe extrahieren und zusammensetzen, etwa Holz. Warum keine mechanische Strandpflanze bauen? Das war wohlgemerkt keine Science-Fiction-Geschichte, sondern ein Vorschlag in einem wissenschaftlichen Buch. Ähnlich wie bei der künstlichen Intelligenz heute ist das Grundmuster, die Maschine vom Menschen her zu denken. Oder den Menschen von der Maschine her, dann wären wir beim Cyborg.

Die Verschmelzung von Mensch und Maschine in einem Körper schreitet außer in der Medizin kaum voran. Macht uns die Idee doch zu viel Angst?

Die meisten Menschen kaufen sich alle zwei Jahre ein neues Mobiltelefon. Wieso wollte ich mir denn etwas einpflanzen lassen, das ich nach zwei Jahren nicht erneuern kann?

Warum hat sich Google Glass eigentlich nicht durchgesetzt?

Das Muster von Prototypen, die sehr schnell wieder verschwinden, zieht sich durch die gesamte Geschichte der Kybernetik. Was ich beobachte, ist, dass wir heute in beide Richtungen in Extreme driften, einerseits in die Utopie, andererseits in die Dystopie. Das Interessante ist, dass sich Angst und Hoffnung nicht aus der Technik selbst speisen.

Was meinen Sie damit?

Das Gegenteil der Fall: Die großen Ideen kommen, wenn die Technik erst nur als Knospe vorhanden ist. Nehmen Sie konkret die Virtual Reality im Jahr 1989. Damals war der Computer langsam, das Modem quietschte, er ist dauernd abgestürzt, die Bildschirme und die Auflösung waren schlecht. Gerade in einem solchen Frühstadium sind die Vorhersagen am wagemutigsten.

Alles schien möglich, sobald nur die Rechner besser wären?

An diesem Punkt hat die Technik-Subkultur riesige Hoffnungen entwickelt, vom perfekten Raum der Freiheit, in dem Identität mit einem Mausklick neu erfunden werden kann. Eine Idee klingt plausibler, bevor man stundenlang vor irgendwelchen Fortschrittsbalken sitzt.

Auch die Idee vom Internet als Raum der Freiheit hat sich etwas abgenutzt.

In den 90ern gab es die Grundhaltung, dass man eine Maschine nur richtig programmieren müsse, dann würde sie automatisch politisch nach links-libertär driften. Im US-Kontext der Gegenkultur ist die Idee des tools wichtig, des Intruments. Eher im Sinn eines Hammers als eines Mikroskops. Es geht um Subsistenz, darum, etwas mit der Hand zu machen, autark zu sein – um die ganze Frontier-Ideologie. Es ist schon bemerkenswert, dass Berkeley und Texas, wenn es um Verschlüsselung geht, mit einem Mal voll auf einer Linie liegen.

Wie meinen Sie das?

Edward Snowden hat sinngemäß gesagt, er bringe der Kryptografie mehr Vertrauen entgegen als der US-Verfassung. Gewissermaßen als selbstkorrigierende Funktion – da haben Sie auch wieder die Idee der Rückkopplungsschleife. In der Kryptoanarchie verschmelzen die beiden ersten Zusatzartikel der US-amerikanischen Verfassung: das Recht auf freie Meinungsäußerung und das Recht, Waffen zu tragen. „Crypto equals guns“ und „code equals speech“, sagte Timothy May, einer der Urheber des Kryptoanarchistischen Manifests von 1992. Die volle Energie der Westküstenkultur bündelt sich da hinter der Technik. Das ist die Triebfeder, die die Entwicklung in den USA nach vorn treibt, bis heute.

Hat sich Ihr Verhältnis zu Maschinen durch die Arbeit an Ihrem Buch geändert?

Ich habe zum Beispiel Daten über einen russischen Datenspionagefall von 1996 bekommen und in dem Zuge digitale Archäologie betrieben. Ich lerne ein bisschen die Programmiersprache Python und mache Heimübungen mit dem Raspberry Pi, einem kleinen Linuxcomputer, mit dem man lustige Dinge treiben kann. Und ich gehe zu IT-Lehrgängen. Ich verliere ein bisschen die Scheu vor der Maschine, weil ich anfange, sie selber zu kontrollieren.

Dieser Beitrag erschien in Ausgabe 24/16.

Kommentare (12)

na64 20.06.2016 | 08:05

Die Welt in Ihren produzierten Lichterscheinungen hat Angst das Sie Ihren Glauben an die bestehenden Motivationen verlieren könnte, dass das menschliche Handeln dadurch eine Veränderung erfahren könnte, da ja alles gewohnte dem Einsturz ausgesetzt ist. Wozu die Angst!?. Um den Religösen Kult an diese Technologie aufrecht zu erhalten, da wir damit der Geldgewinnung so zur Verfügung stehen. Dieser Abschaltknopf dient doch nur dazu das die Geldgewinnung weiterhin im bekannten und gewohnten Muster weiter läuft. An diesem Verhalten wird sich nichts ändern. Darauf wird der Mensch immer Achten und er wird auch keiner Maschine und geschweige den einer KI die Macht dieser Verhaltenszüge zukommen lassen. Wir sollten eigentlich darüber reden warum wir es zulassen das dieses Dorf in San Francisco soviel Geld und Macht von uns freiwillig zugestanden bekommt. Der bedingungslose und alternativlose Glaube an ein immer fortschreitendes Wachstum ist die Ursache für dieses Phänomen. Der gedankliche Moonshot. Doch wie sieht es aus auf dem Mond!?. Für den Mensch ein Lebensfeindlicher Platz ohne Sauerstoff, ohne Wasser und ohne Nahrung. Für die Opfer dieser Entwicklung wird das die Zukunft sein. Und wo Bitte sollte jetzt der Abschaltknopf hin!?.

Gerdtrader50 20.06.2016 | 11:09

Der Fortschritt lässt sich ja nicht aufhalten. Das waren und sind Fakten. Das Wissen einzelner Fachgebiete ruht weitgehend in den Gehirnen und Datenverarbeitungsmaschinen diverser Spezialisten. Die Normalbürger verfügen darüber im Normalfall nicht. Also brauchen Sie sich hierum weder Gedanken noch Ängsten auszusetzen. Alles was geschehen kann, wird sowieso geschehen. Im Computersektor dürfte sich in den nächsten Jahrzehnten funktionsfähige Quantencomputer durchsetzen mit einem Rechenvermögen, was die Generierung künstlicher Intelligenz sehr wahrscheinlich macht. Die Vermutung, dass KI ähnliche Gedankengänge entwickelt wie biologische Intelligenz, ist stark. Ob man einer KI auch ein Verantwortungsbewusstsein einprogrammieren kann und diese dann im Sinne und zum Wohle ihres Schöpfers agiert, mag ernsthaft bezweifelt werden. Gibt man dem KI-Gerät zuviel Macht und Entscheidungsfreiheit, vermag dieses durchaus ihren Schöpfer zu elemenieren. Da Wissenschaftler aber nie aufhören, zu forschen und immer neue Entdeckungen machen, siehe Atomwaffen, Wasserstoffwaffen, etc., lassen sich diese Entwicklungen wohl nicht aufhalten und ich denke da an einen Ausspruch Einsteins, der da sinngemäss sagte, das Universum und die Dumheit des Menschen ist unendlich, beim ersteren bin ich mir nicht sicher.

Michael Jäger 21.06.2016 | 15:45

Daß die Ängste ganz unbegründet sind, sollte man sich wohl besser nicht einreden. Das Folgende ist ein Zitat aus dem letzten Buch von André Gorz:

„Die Pioniere der KI [...] stellen sich ohne weiteres über diese auf der nackten Erde kriechende Menschheit. Sie halten die biologische Evolution des Menschen für eine Sackgasse (Kurzweil) und die Entwicklung der Intelligenz auf technologischer Basis für die Durchsetzung der Gesetze der Evolution. ‚Der Weg ist gebahnt, wir haben keine Wahl‘, sagt Kurzweil. Und Moravec faßt die kommenden Roboter ausdrücklich als Träger eines Geistes auf, der den des Menschen übersteigt. Hugo de Garis sieht sich als den ‚vierten Reiter der Apokalypse, den finsteren, den jenes Krieges‘, den die Roboter, die sich von den Menschen befreien, gegen die Menschengattung führen.“ (Wissen, Wert und Kapital. Zur Kritik der Wissensökonomie, Zürich 2004 [Paris 2003], S. 110, meine Herv.) „Ray Kurzweil begreift [...] die ‚Techno-Elite‘ als eine ‚Prätorianergarde‘, eine Kaste von ‚High-Tech-Hohenpriestern‘, die den großen Rest der überwiegend ‚dümmeren‘ Menschen lenkt und kontrolliert. [...] De Garis ist überzeugt, dass solche Maschinen die Menschen ausschließen, wenn sie den Krieg gegen diese gewonnen haben. Er wählt ihr Lager.“ (a.a.O., S. 112, meine Herv.)

Kurzweil ist Director of Engineering bei Google, demselben Unternehmen, das auch die Entwicklung selbststeuernder Autos vorantreibt.

pleifel 21.06.2016 | 16:56

"Das zweite ist die Lernfähigkeit der Maschine durch Umweltinteraktion."

Wenn gesagt wird: „es sieht aus wie eine, Ente, quackt wie eine Ente, schwimmt wie eine Ente .., dann ist es auch eine Ente“; analog eine "KI", die als "lernfähig" beschrieben wird, wobei sich leicht überprüfen lässt, dass das alles ohne innere Repräsentation erfolgt, ohne ein Selbst. In dem Fall von „Lernfähigkeit“ zu sprechen ist ein Kategorienfehler!

Wobei „Selbst“ (Bewusstsein) ja von ganz Schlauen eh nur als Illusion bezeichnet wird. Hier wird also etwas verglichen, was nicht zu vergleichen ist. Ein paar menschliche Fähigkeiten auf ein System zu übertragen ergibt keine neue Lebensform.

Eine andere Entwicklung wirft philosophische Fragen auf, nämlich die, wie und ab wann sich der Mensch in seinem Menschsein "auflöst", abhängig von der Anzahl der Teile, die er gegen künstliche Elemente austauscht (oder eventuell direkt an Datennetze angeschlossen wird).

Dass das bereits heute erkennbar ist (was bei der Nutzung von Smartphones auch schon als Sucht bezeichnet werden kann), bedarf nicht einmal extremer Technobegeisterung, sondern ist einfach unreflektiertes (unmündiges) Verhalten, was technische Artefakte betrifft. Hier wird zum Lebensinhalt, was als Vehikel zu betrachten ist.

Eine Gefahr liegt also im persönlichen Verhalten begründet und die andere betrifft die funktionale Abgabe von menschlichen Aufgaben an Steuerungseinheiten, die ab einer bestimmten Komplexität weder verstehbar und unter ungünstigen Konstellationen auch nicht mehr beherrschbar sind. Das ist keine Autonomie der Maschine, sondern eine falsche Weichenstellung mittels Technik, die Katastrophen verursachen kann. Nur eine wohlüberlegte Balance, was gegenseitige Ergänzungen betrifft, kann die Lösung sein.

na64 21.06.2016 | 17:25

Ich habe jetzt die Doku Schöne neue Welt gesehen und erkenne eigentlich nur ein Geschäftsmodell in dem Bedürfnisse erzeugt werden sollen, um schöne Nice Guy$ (Dollars) zu erhalten. Der Punkt warum es in den USA so funktioniert, ist die Erziehung mittels Glaube an Gott, also Religion, ein Glaube welcher auch im Geld verankert ist. PayPal soll das neue Geld werden und das mit einbinden von Kontrolle darüber, ausgeübt wie beim Militär in dieser Ideologie, dem American Dream als der neue Moonshot in das bunte Erscheinungsbild unserer Wünsche, in dem wir selber als ein Superman in einer Peepshow, mit Gottes gleichen empfinden an unsere eigene Motivationsideen, die in uns ein Macht mit Suchtpotenzial erzeugen und über die neue Technologie, diese unsere Bedürfnisse bequem befriedigt und dass dazu zu gehören in einem Erfolgsbewusstsein (burning man), in uns erweckten soll. So gesehen hat sich im Verhalten von Menschen gar nichts geändert. Wenn wir uns selbst als Gott erschaffen, dann sind wir Überheblich, Arrogant, eigentlich psychisch gestört und wollen diese Krankheit ausleben, egal was dies kostet. Jeder Diktator hat diese Eigenschaft. Wichtiger ist eigentlich schon die Frage: Wie sieht die Subkultur aus, die diese vorherrschende Gottes gleiche Tech Religion als Verkaufsbedürfnis verursacht und können Menschen darin, in einer Subkultur noch kreativ tätig sein!?. Wenn ja, ist die nächste Frage: Bekommen diese Menschen mit Ihren Ideen dann auch noch eine Plattform um diese öffentlich präsentieren zu können!?. Der entscheidende Punkt ist doch. Wenn ein Algorithmus vorschreibt was mir durch meine Gewohnheiten gefällt, dann hat keine andere Subkultur einen hauch einer Chance. Oh, ich spreche da aus Erfahrung. Ich bin ein Teil der neuen Subkultur und will ich diese im öffentlichen Raum aufführen, kommt als Antwort: Wow, das ist gut, aber wir müssen erst mal sehen wo das mit dazu passt, denn es geht ja hier auch, um die schönen Nice Guy$. Als Beispiel Terra X Lesch und Co. Die Folge mit dem Hanf und dieses Thema ist auch schon wie eine Religion und bringt unheimlich viele Klicks. Warum dieses Beispiel!?. Das Fernsehen sucht auch jetzt schon nach neuen Einnahmequellen. Und was passiert mit dem Journalismus, mit der Bildung, der Wissenschaft!?. Welcher Mensch hat es gelernt, alles was einem vorgesetzt wird kritisch zu Hinterfragen, um es wieder neu Denken zu können!?. Wir befinden uns hier im Techuniversum in einer evilution, in Gedankenspiele von Macht über das ausleben von einem Gefühl der Erhabenheit Gott sein zu können, wenn ich in der dazu Vorhandenen Position, bei der dazugehörigen Firma aufgestiegen bin. Da komme ich nicht hin und meine Kritik wird auch abgeblockt. Also bleibt nur noch die neue Subkultur.

G.A. 22.06.2016 | 23:18

Der größte Unterschied zwischen Mensch und Maschine ist, dass Menschen „Dummheiten“ machen, Maschinen aber höchstens Fehler.

Gesetzt dem Fall, dass Maschinen über die gleiche Leistungsfähigkeit verfügen würden wie die menschlichen Gehirne in ihrer interaktiven Gesamtheit – dann sind sie Teil von uns – wie heute. – Denn nicht nur die Maschinen entwickeln sich weiter, sondern die Menschheit auch. Es läuft somit eher auf eine Symbiose heraus.

Ich habe also keine Angst vor der fortschreitenden „Intelligenz“ der Maschinen, wohl aber vor der Dummheit der Menschen, diese Maschinen als Vernichtungswaffen zu optimieren und dann einzusetzen und sich damit selbst zu eliminieren.

Ob danach die Maschinen allein überleben ist wohl uninteressant – sie sind dann aber ihrem Zweck beraubt und somit ebenfalls zum Untergang verurteilt.

Joachim Petrick 29.06.2016 | 11:56

Lieber Michael systemisch konsequent gedacht, kann bei den Befürchtungen, die Du hier zu recht zitierend einbringst, letztendlich nur eines herauskommen:

"Das Soziale als der Bereich sui generis des Kreativen, Innovativen, allgemeiner Herausforderung gegenüber allem, was da kreucht nd fleucht, wird es sein, wenn Roboter darauf sinnen, menschliche Intelligenz und Geisteskraft abzubilden, wenn nicht zu zu übertreffen"