Hörspiel Feature Radiokunst Das Feature Kampf-Maschinen Künstliche Intelligenz und die Kriege der Zukunft Autoren: Matthias Martin Becker und Gerhard Klas Redaktion: Wolfgang Schiller Produktion: SWR/Deutschlandfunk 2020 Erstsendung: Dienstag, 29.12.2020, 19.15 Uhr Wiederholung: Dienstag, 09.05.2023, 19.15 Uhr Es sprachen: Heiko Raulin und Marit Beyer Ton und Technik: Tanja Hiesch und Karl-Heinz Runde Urheberrechtlicher Hinweis Dieses Manuskript ist urheberrechtlich geschützt und darf vom Empfänger ausschließlich zu rein privaten Zwecken genutzt werden. Die Vervielfältigung, Verbreitung oder sonstige Nutzung, die über den in §§ 44a bis 63a Urheberrechtsgesetz geregelten Umfang hinausgeht, ist unzulässig. (c) - unkorrigiertes Exemplar - Sprecherin (Zitat "Künstliche Intelligenz in den Landstreitkräften - Ein Positionspapier des Amts für Heeresentwicklung) Seit Tagen ist das Bataillon von Oberstleutnant Fuchs zum Schutz eines wichtigen Umspannungswerks im Einsatz. [..] Noch können die gegnerischen Drohnenangriffe durch die eigenen Laser- und Luftabwehrwaffen erfolgreich abgewehrt werden. Dennoch muss Fuchs mit ansehen, wie im laufenden Verteidigungsgefecht die eigenen Kräfte zunehmend gebunden werden. Im Brigadegefechtsstand fällt deshalb die Entscheidung, die Verteidigung mit [..] taktischen unbemannten Flugsystemen zu unterstützen. OT01 Wolfgang Kubiki, FDP Tagesordnungspunkt 25 d. Abstimmung über die Beschlussempfehlung des Verteidigungsausschusses zu dem Antrag der Fraktion Die Linke mit dem Titel "Deutsches Moratorium für autonome Waffensysteme erklären und völkerrechtliches Verbot auf den Weg bringen". Erzähler Anfang des Jahres 2020 debattiert der Deutsche Bundestag über die Kriegsführung der Zukunft. OT02 Gisela Manderla, CDU Selbst wenn wir der möglichen Anwendung bestimmter bereits vorhandener oder künftiger Technologien kritisch gegenüberstehen, so müssen wir doch in der Lage sein, diese zu beherrschen. Dies betrifft sowohl den Bereich der künstlichen Intelligenz als auch den der autonomen Waffensysteme. Erzähler Gisela Manderla, CDU-Bundestag und Vizepräsidentin der Deutschen Gesellschaft für Wehrtechnik. OT03 Kathrin Vogler, Die Linke Heute werden Killerroboter entwickelt, deren eigentlicher Zweck es ist, menschlichen Wesen Schaden zuzufügen: [..] Der Rüstungswettlauf dabei ist schon in vollem Gange. Da müssen wir doch handeln. (Beifall bei der LINKEN) Erzähler Kathrin Vogler, Partei die Linke, Bundestag Ansage "Kampf-Maschinen: Künstliche Intelligenz und die Kriege der Zukunft" Ein Feature von Matthias Becker und Gerhard Klas Sprecherin (Zitat "Künstliche Intelligenz in den Landstreitkräften" - Ein Positionspapier des Amts für Heeresentwicklung) Kompaniechef Major Wolf unterstellt sind insgesamt vier Züge mit jeweils 5000 Taktischen Unbemannten Flugkörpersystemen - kurz UAS, die größten mit einer Spannweite von über einem Meter, die kleinsten kleiner als ein Tennisball. [..] Erzähler Während der Bundestag diskutiert, sind die Planungen in vollem Gange: Das Amt für Heeresentwicklung hat ein Zukunftsszenario entworfen und als Positionspapier mit dem Titel "Künstliche Intelligenz in den Landstreitkräften" veröffentlicht. Sprecherin (Zitat "Künstliche Intelligenz in den Landstreitkräften" - Ein Positionspapier des Amts für Heeresentwicklung) Der erste UAS-Zug geht in zwei alten und leerstehenden Industriegebäuden in Stellung. Die Luken der Transportfahrzeuge öffnen sich und die UAS fliegen aus den Fahrzeugen. Bereits nach wenigen Minuten haben alle 5000 [..] die Transportfahrzeuge verlassen und sind mit bloßem Auge nicht mehr wahrzunehmen. Nur die entfernte und leise summende Geräuschkulisse lässt erahnen, was hier gerade im bodennahen Luftraum geschieht. (o.c. OT04 Katja Keul, Grüne Wenn die Entscheidung über Leben und Tod aber nicht mehr durch einen Menschen, sondern durch einen Algorithmus getroffen wird, wirft das unter anderem die Frage auf, wer künftig verantwortlich im Sinne des humanitären Völkerrechts ist. Erzähler Katja Keul, Grüne, Bundestag) OT05 Marcus Faber, FDP Autonomie in Waffensystemen, die gibt es seit den 80er-Jahren, beispielsweise bei der Luftverteidigung mit dem System Patriot. Dieses ist in der Lage, einfliegende Raketen autonom abzuschießen. Es schützt damit unser Land, es schützt auch unsere Soldaten im Einsatz. Das möchte ich nicht ächten, das möchte ich auch nicht verbieten. Erzähler Marcus Faber, FDP-Bundestag Sprecherin (Zitat "Künstliche Intelligenz in den Landstreitkräften" - Ein Positionspapier des Amts für Heeresentwicklung) Major Wolf hat in der Zwischenzeit Verbindung mit Oberstleutnant Fuchs aufgenommen. Bedingt durch die verfügbare Sensordatenfusion können beide auf ein gemeinsames Lagebild in ihren Battle Management Systemen zurückgreifen. [..] Aufgeklärte gegnerische Kräfte werden hoch automatisiert klassifiziert und in Bezug auf die gegnerische Gefechtsgliederung zugeordnet. Die vermutete Feindabsicht wird permanent aktualisiert. OT06 Karl Heinz Brunner, SPD [..] letale autonome Waffensysteme - wir sagen zu Deutsch "Killerroboter"[..] - Ja, sie sind keine Science-Fiction mehr, sondern so gut wie Realität. Erzähler Karl Heinz Brunner, SPD, im Bundestag OT07 Gisela Manderla, CDU-Bundestagsfraktion Zudem übersehen die Antragsteller einen wichtigen Punkt. Eine Definition des Begriffs "autonome Waffensysteme" existiert bislang nicht. Von daher geht die erhobene Forderung, diesen Waffensystemen die Förderung zu versagen, mangels Bestimmung ins Leere. Erzähler Gisela Manderla, CDU-Bundestagsabgeordnete, Vizepräsidentin der Deutschen Gesellschaft für Wehrtechnik. OT08 Altmann (2:02) Es gibt eigentlich eine relativ stringente Definition des US-Verteidigungsministeriums: Erzähler Jürgen Altmann ist Physiker und Friedensforscher. Er lehrt an der Technischen Universität Dortmund und ist einer der Gründer des "International Committee for Robot Arms Control". Das "Internationale Komitee zur Kontrolle bewaffneter Roboter" dokumentiert seit 2009 die Entwicklung autonomer militärischer Systeme. OT09 Altmann weiter [..] ein autonomes Waffensystem ist ein System, das, nachdem es einmal aktiviert worden ist, ohne weitere Steuerung oder Einflussnahme durch einen Menschen Ziele selbständig auswählt und angreift. Diese Definition ist ganz ähnlich zu der, die das Internationale Komitee vom Roten Kreuz, das ja mit der Überwachung von [..] Kriegsrechts-Regeln beauftragt ist, [..] benutzt. Und das ist eigentlich auch die, die sich in der Wissenschaft im Wesentlichen durchgesetzt hat. Erzähler Jürgen Altmann will autonome Waffen verbieten lassen. Ihre Entwicklung sei verantwortungslos und gefährlich. Angeblich will das auch die Bundesregierung. Aber sie benutzt einen so weitgehenden Begriff von Autonomie, dass in absehbarer Zukunft kein Waffensystem darunterfallen würde. Eine offizielle Stellungnahme der Bundesregierung nennt folgende Voraussetzungen: Sprecherin Fähigkeit zur Wahrnehmung der Umgebung; Evaluierung der Umstände einer sich verändernden Situation ohne Bezug auf vorab festgelegte Zielsetzungen; Beurteilung und Entscheidung darüber, welches Vorgehen sich am besten zur Realisierung dieser Zielsetzung eignet; Initiierung der Aktionen basierend auf diesen Schlussfolgerungen, ohne jegliche menschliche Beteiligung. OT10 Altmann 4 [0:05:15]: Die deutsche Definition verschiebt das Problem und lenkt eigentlich ab von den großen Fragen, die sich in den nächsten Jahren stellen. Ein autonomes Waffensystem zu bauen, das ohne weiteres menschliches [..] Zutun Ziele auswählt und angreift, ist ja auch technisch [..] nicht so schwierig. Wenn man so will, ist eine primitive Vorform eine Mine, eine Antipersonenmine, die da einfach liegt. [..] das ist [..] die primitivste Form eines möglichen autonomen Waffensystems. OT11 Wolfgang Koch 15 [0:22:02]: Also wir kommen an der KI, und wir kommen an der Automation nicht vorbei. [...] Andere Länder bauen das. Erzähler Professor Dr. Wolfgang Koch. Er ist Leiter der Abteilung Sensordaten- und Informationsfusion des Fraunhofer-Instituts für Kommunikation, Informationsverarbeitung und Ergonomie, kurz FKIE. OT12 Wolfgang Koch weiter Es geht auch darum, dass wir Ziele, also das heißt auch Waffenwirkung erreichen, aber so, dass wir es verantworten können mit minimalem - übles Wort - Kollateralschaden. [...] (o.c. Na ja, der ethisch akzeptable Gebrauch von Technologien, die andere möglicherweise unverantwortlich, unethisch gebrauchen.) Musik oder anderer akustischer Trenner AT13 DWT Erzähler Die Konferenzen der Deutschen Gesellschaft für Wehrtechnik, DWT, im Bonner Maritim-Hotel sind ein Stelldichein der Größen aus Militärforschung und Rüstungsindustrie. Die DWT ist ein mit Steuermitteln geförderter Verein, der als gemeinnützig anerkannt ist. Der Verein bezeichnet sich als eine, Zitat, "neutrale Dialog- und Informationsplattform". Kritiker sprechen von einer Lobbyorganisation der Rüstungsindustrie. OT14 DWT-Rede Koch 3 [0:00:45] Sehr geehrte Herren Generale, sehr geehrte Damen und Herren ... AT DWT hochziehen Erzähler Am Eröffnungstag der DWT-Frühjahrskonferenz 2020 spricht Wolfgang Koch vom Fraunhofer Institut über Künstliche Intelligenz und Ethik. Es war eine der letzten Großkonferenzen mit mehreren hundert Teilnehmern, die kurz vor dem Corona-Lockdown noch stattfinden konnte. Fast alle Besucher sind männlich. Die Soldaten tragen meist Uniform, die Forscher sind eher leger gekleidet. Die Vertreter von Rüstungskonzernen sind im feinen Anzug gekommen. OT15 DWT-Rede Koch 6 [0:01:27]: Hyperwar. Fighting at Machine Speed. Ein digitalisiertes Gefechtsfeld. Sensor to Shooter loops. Das sind ja die Dinge, die nicht nur unsere Community in Atem halten, sondern die auch in der Öffentlichkeit einen weiten Widerhall finden. Erzähler Schießpulver, Atombombe, Künstliche Intelligenz - die digitale Automatisierung auf dem Schlachtfeld gilt in der wehrtechnischen Forschung und der Rüstungsindustrie als dritte Revolution der Kriegstechnik. Ein epochaler Umbruch. Die Experten sprechen vom "Hyperwar" - einem räumlich entgrenzten Krieg, der gleichzeitig in der Luft, am Boden und im Cyberraum geführt wird. OT16 Koch DWT 14 [0:33:59] Ja, ... die Bundeswehr wird Gefechtssituationen im Hyperwar ausgesetzt sein. (...) Es wird so sein, dass der Mensch nicht immer unmittelbar entscheidet. Umso wichtiger ist es, dass Systeme nach [..] Verantwortungsprinzipien designt werden. AT17 DWT Erzähler "Künstliche Intelligenz" und "Autonomie" stehen ganz oben auf der Tagesordnung bei der DWT-Tagung. Einige Dienststellen der Bundeswehr haben einen Stand im Foyer aufgebaut, ebenso einige Rüstungskonzerne und der Bundesverband der deutschen Sicherheits- und Verteidigungsindustrie. AT hochziehen Erzähler Den meisten Raum aber nimmt die Wissenschaft ein. Der Fraunhofer-Verbund Verteidigungs- und Sicherheitsforschung hat mit 300 Quadratmetern die größte Ausstellungsfläche angemietet. An solchen Ständen können sich die Besucher informieren. Und selbst testen, was es bereits gibt. Sie greifen zu Joysticks, mit denen sie die neueste Technik in virtuellen Welten bedienen können, zum Beispiel unbemannte Drohnen, aber auch KI-Waffensysteme für den Häuserkampf. Viele Anwendungen muten wie Computerspiele an. (o.c. OT18 Werbung Systematic SiTaWare (unterlegt mit Musik wie in einem Baumarkt): Der Kommandeur erhält die Feindmeldung. Er entwickelt sofort mit Command-Layer and SitaWare Frontline seinen taktischen Plan und spart so wertvolle Zeit bei dem Befehligen seiner Fahrzeuge. Die Kommandoebene wird auf der Stelle an sämtliche Einheiten der Mission und jeden vom Kommandeur ausgewählten Empfänger gesendet. Die Fahrzeuge fahren nun in dem die angeordneten Positionen und beobachten die feindlichen Handlungen. Der Kommandeur identifiziert mit dem Laser Range Finder die feindlichen Ziele. SitaWare Frontline wurde in die Fahrzeugsensoren und Waffensysteme integriert ... Ausblenden Erzähler Mit diesem Szenario bewirbt der dänische Konzern Systematic sein Battle Management System, ein Gefechtsführungssystem. Das Unternehmen stellt nicht nur IT-Lösungen für das Militär her, sondern auch für medizinische Anwendungen, Bibliotheken und erneuerbare Energien.) AT19 DWT Erzähler Ralf Schnur, Ministerialdirigent des Bundesministeriums für Verteidigung, eröffnet die Tagung mit einem Versprechen. OT20 Ministerialdirigent Ralf Schnur, BMVg Lassen Sie mich mit dem wichtigsten Einflussfaktor beginnen, dem Geld oder ein bisschen präziser ausgedrückt [0:09:58] im Beamtendeutsch den Haushaltsmitteln. An dieser Front steht die Ampel seit Beginn dieser laufenden Legislaturperiode auf Grün. Erzähler Für wehrtechnische Forschung und Technologie hatte das Verteidigungsministerium 2019 440 Millionen Euro angesetzt, real ausgegeben wurden 533 Millionen Euro. Es ist einer der Haushaltsposten, der Jahr für Jahr überzogen wird - mit öffentlicher Ankündigung. OT21 Ralf Schnur Es ist uns [..] regelmäßig gelungen, mehr als die so genannte, immer wünschenswerte "Vollausgabe" zu erreichen. Und für das Jahr 2020 stehen uns für [..] die wehrtechnische Forschung und Technologie im Haushaltsgesetz 500 Millionen Euro zur Verfügung. Und ich habe die mehr als berechtigte Hoffnung, dass die Ausgaben auch in diesem Jahr wieder erheblich darüber liegen [..] werden. Musik /Akustischer Trenner/weißes Rauschen Erzähler Ein Video ohne Ton aus der Vogelperspektive: Ein LKW-Konvoi auf einer unbefestigten Straße; eine andere Einstellung zeigt einen rollenden Panzer, eine weitere Soldaten, die sich offensichtlich außerhalb einer Gefechtssituation wähnen. In aller Ruhe beladen sie einen Lastwagen. Der Sucher bewegt sich, sie geraten ins Fadenkreuz, dann die Explosion: Maschinen- und Körperteile fliegen durch die Luft. Musik hochziehen Erzähler Herbst 2020: Diese Aufnahmen hat das Verteidigungsministerium von Aserbaidschan ins Netz gestellt, sie zeigen Drohnenangriffe gegen armenische Stellungen in Berg-Karabach. Vor allem Aserbaidjan kauft technisch hochwertige Kampfdrohnen aus Israel und der Türkei. In keinem Krieg zuvor war der Einsatz von unbemannten, bewaffneten Fluggeräten so kriegsentscheidend. Ein fliegendes Minenfeld. Musik hochziehen, darüber Erzähler Nur wer über die besten und schnellsten Algorithmen verfügt, kann militärisch bestehen. So wenigstens die verbreitete Überzeugung bei Generälen und Waffenentwicklern. Sie denken dabei an Lenkraketen, die im Flug die Richtung ändern können, an fliegende Sensorplattformen, die gegnerische Soldaten und mobile Abschussvorrichtungen aufspüren und verfolgen. In der Sprache der Militärs geht es um "Lagebeurteilung", "Zielerfassung" "Feuerverteilung" und "Luftraumkoordination" - digitaltechnisch betrachtet "Klassifizierung", "Optimierung" und "Vernetzung". Kann Europa da mithalten? OT22 Atzpodien BDSV 4 [0:13:15]: ... wir begrüßen auch, dass sich die Bundesregierung mit dem Thema der künstlichen Intelligenz, was ja ein sehr breites Thema ist, beschäftigt. Erzähler Hans Christoph Atzpodien, ehemals Thyssen-Krupp, heute Hauptgeschäftsführer des Bundesverbandes der Deutschen Sicherheits- und Verteidigungsindustrie. OT23 Atzpodien BDSV 4 [0:13:15]: Wir wissen, dass eben die USA und China insbesondere sehr viel investieren in die Entwicklung ihrer künstlichen Intelligenz-Kapazitäten. Dazu gehört auch die Verarbeitung großer Datenmengen. Da sind wir in Europa eher schlechter aufgestellt, aber jeder Euro, der dort investiert wird, in diesem Bereich, denke ich mal, ist gut angelegt. (o.c. Erzähler Seit 2020 stuft die Bundesregierung "Künstliche Intelligenz" und "Vernetzte Operationsführung / Kryptographie" als nationale Schlüsseltechnologien ein. OT 24 Atzpodien 4 [0:04:10]: [..] die Leistungsfähigkeit besteht im Verbund, weil man davon ausgeht, dass auch der Angreifer eben seine Leistungsfähigkeit in einem entsprechenden Verbund entwickelt.) Erzähler Der Bundesverband spricht von "digitaler Konvergenz". IT- und Rüstungsindustrie müssten zusammenwachsen. Die Argumentation: ohne Vernetzung und Automatisierung auf dem Schlachtfeld ist ein Schiff, ein Panzer oder Kampfjet gegen die neuesten Angriffsformen wehrlos. OT 25 Atzpodien 4 [0:05:14] man muss sich weiterhin vorstellen, dass bestimmte Abwehrmechanismen zum Beispiel gegen Überschallraketen heute gar nicht mehr möglich sind auf Basis eines Flugzeuges, sondern nur noch auf Basis einer begleitenden Drohne, weil allein der Rückstoß dieser Abwehrraketen so groß ist, dass ein Mensch sie vom Druck her gar nicht bestehen würde. Das heißt, wir brauchen diesen Verbund, Drohnen um das Flugzeug herum, damit wir überhaupt den modernen Gefahren, die durch [..] heutige Waffensysteme, die Aggressoren haben, damit wir das bewältigen können. Erzähler Überschallraketen fliegen mit mehreren Kilometern in der Sekunde. In Zukunft könnten auch Kamikaze-Drohnen koordiniert Gebäude, Fahrzeuge oder Armeeeinheiten angreifen. "fighting at maschine speed" lautet das Schlagwort bei Militär und Rüstungsindustrie: Gefechte im Maschinentempo OT 26 Atzpodien 4 [0:07:45]: So, und darauf müssen wir uns, und das sage ich auch ganz bewusst aus der Sicht der Sicherheits- und Verteidigungsindustrie, darauf müssen wir uns einlassen. Wir müssen in der Lage sein, solche Technologien auch zu entwickeln für Abwehr, Abschreckungs- und Verteidigungszwecke, weil wir ansonsten möglicherweise nicht mehr als adäquat verteidigungsfähig angesehen werden würden. OT27 Werbung Hensoldt: Der Luftraum ist voller unterschiedlicher Signale: Telekommunikation, zivile und militärische Signalquellen sind allzeit präsent und überlagern sich im gesamten Spektrum, darunter aber auch chiffrierte Signale, die sich bewusst tarnen, um unentdeckt zu bleiben. Piloten sind vor allem hier auf unterstützende und zuverlässige Systeme angewiesen. Dem Radar-Warnsystem bleibt eine Sekunde, um die korrekte Klassifizierung vorzunehmen. Eine Sekunde, die alles entscheidet. Erzähler "Innovationen für eine sicherere Welt", lautet das Firmenmotto von Hensoldt. Und ohne Geschwindigkeit gibt es keine Sicherheit, meint der deutsche Waffenhersteller. Künstliche Intelligenz ist der Treibstoff. Das sieht auch Wolfgang Koch vom Fraunhofer Institut so. OT28 Koch DWT (S2) Die Verwissenschaftlichung und Technisierung des militärischen Handwerks führt zur Entgrenzung. Entgrenzung und Beschleunigung des militärischen Handelns. Das ist Hyperwar. Erzähler Der internationale Konkurrenzdruck ist groß. Die deutsche Rüstungsindustrie will den Anschluss an die technische Entwicklung nicht verlieren, in der Künstliche Intelligenz eine Schlüsselrolle spielen wird. Große Hoffnungen liegen auf einem Leuchtturmprojekt - dem Future Combat Air System, kurz FCAS. Bruno Fichefeux ist Manager bei Airbus Defence and Space und leitet das Projekt. OT29 Fichefeux 1 [0:01:58]: Das ist ein rein europäisches Projekt, weil der Hauptziel ist auch die europäische Souveränität. [..] Und wir brauchen diese Fähigkeit, die in Europa, um unabhängig dann unsere Sicherheit zu halten und auch uns verteidigen zu können. Erzähler Bei dem Future Combat Air System handelt es sich um ein gemeinsames Projekt von Deutschland, Frankreich und Spanien. Die EU-Länder wollen einen Jagdbomber der sechsten Generation entwickeln. Sechste Generation, das bedeutet unter anderem, dass dieses Flugzeug bemannt oder ohne Pilot eingesetzt werden kann. Aber es geht keineswegs nur um ein einzelnes Flugzeug. Das Luftschlachtsystem FCAS ist geplant als ein Verbund aus Flugzeug, bewaffneten Drohnen und einem Sensor- und Kommunikationsnetzwerk aus Satelliten- und Laserverbindungen. Möglich ist all das nur auf Grundlage von KI: Schwarm- und Planungsalgorithmen, maschinelle Mustererkennung. (o.c. Tom Grohs ist der leitende Ingenieur von FCAS Airbus. OT30 Grohs 6 [0:09:17]: Also wir haben ein Flugzeug, das eine Aufgabe erledigen kann, das unterstützt wird von einem unbemannten Flugzeug, das zum Beispiel sehr gute Bilder aufnehmen kann. Und dann letztendlich diese Informationen aus einer vorgelagerten Perspektive [dann] zurück an das bemannte Kampfflugzeug schickt, [...] Also es gibt verschiedenste Einsatzszenarien dieser unbemannten Systeme, in welchem sie spezialisiert sind. Das eine ist sicher die Informationsgewinnung, das andere wäre zum Beispiel elektronische Kampfführung, Störung von entsprechenden elektromagnetischen Wellen, Funkverbindungen et cetera, aber natürlich auch im Bedarfsfall einer entsprechenden Effektorik, um entsprechende Effekte zu generieren. Erzähler "Effektorik"- das heißt im Militärsprech: Explosionen, Brand, Einschlag; also Zerstörung, Verletzte und - in letzter Konsequenz - Tote. Mit FCAS will sich Europa an die Spitze der militärtechnischen Entwicklung setzen. Laut Handelsblatt könnte die Entwicklung bis zu 100 Milliarden Euro kosten. Airbus-Manager Bruno Fichefeux. OT31 Fichefeux 1 [0:01:03]: FCAS von seiner Dimension ist ein großes Programm, was kein Land allein stemmen kann. Wir sind angewiesen auf Partnerschaften, sowohl Deutschland als auch Frankreich und Spanien [und] müssen da zusammenarbeiten. Es steht sehr viel im Spiel. Erzähler Die Künstliche Intelligenz wird mit Erwartungen überfrachtet. Sie gilt als Motor des zukünftigen Wirtschaftswachstums und gleichzeitig als Schlüssel zur militärischen Überlegenheit. Rüstung und Industriepolitik vermischen sich.) OT32 Fichefeux 2 [0:04:50]: Im Bereich Technologie und Technologieforschung, was ich ganz interessant an dem FCAS-Programm finde, ist eine Initiative, die wir gegründet haben, dass wir zusammen mit Forschungsinstituten, Universitäten und Start-up gemeinsam arbeiten, die nicht in der militärischen Welt normalerweise tätig sind. Wir nennen die non-traditional players. Und da sehen wir, dass die die Grenzen zwischen militärische Forschung und zivile Forschung langsam aufgelöst wird. (o.c. Wir lernen von Technologie, die dann auch im zivilen Bereich entwickelt werden, und umgekehrt lernt der zivile Bereich aus dem militärischen.) Erzähler Hyperwar, das bedeutet "Industrie 4.0 auf dem Schlachtfeld". Militärische Maschinerie und Soldaten sind miteinander vernetzt, Daten fließen hin und her. Sensoren und Geschosse sind auf unterschiedliche Geräte verteilt und wirken dennoch zusammen. Diese Strategie verspricht mehr Effizienz und höheres Tempo. Die Kehrseite: die Vernetzung wird selbst zum Angriffsziel. Der Gegner versucht Datenverbindungen zu stören, zu hacken oder ganz zu unterbinden. Wenn das gelingt, sind die vermeintlich schlauen Maschinen nur noch hochgefährlicher Elektroschrott. Das wollen Militärs und Waffenentwickler vermeiden, und setzen deshalb auf selbsttätige, autonome Systeme, erklärt der Physiker und Friedensforscher Jürgen Altmann. OT33 Altmann [1:13:42] Ein starkes Motiv für die Einführung von Autonomie in Waffensystemen ist auch, dass man verzichten möchte auf die Funkkommunikation. Das eine ist die Verzögerungszeit, die sich dadurch ergibt. Das können eben viele Sekunden werden, selbst wenn man das unheimlich schnell auslegt. Das andere ist aber, wer zu einem System hinfunkt [..] der gibt sich eben durch seine [..] Kommunikationssignale [..] bekannt: ich bin da und funke und sende. Und der dritte Punkt ist, man hat dann auch eine Funkverbindung, die gestört werden kann. [...] Ein System, das [..] nicht auf eine Funkverbindung angewiesen ist, wäre militärisch sehr viel sinnvoller. Es kann viel schlechter geortet werden, und es kann viel schlechter bekämpft werden. Erzähler Daher sollen Kampfmaschinen möglichst komplexe Aufträge unabhängig ausführen können, bis sie ihr Ziel vernichtet haben oder später wieder erreichbar sind. Das Problem dabei: die Künstliche Intelligenz in ihrer heutigen Form ist zu echtem Denken keineswegs in der Lage. Gerade viel gelobte Methoden wie die sogenannten Künstlichen Neuronalen Netze können oft mühelos überlistet werden. Dennoch wirbt die Rüstungsindustrie bereits mit Führungssystemen und sogenannter Battle Management-Software für die digitale Gefechtsführung, die mit Hilfe von Mustererkennung Aktionen des Feindes erkennen und voraussagen sollen. Sprecherin (Zitat Rheinmetall) Bedrohungserkennung, zum einen durch Erkennen von Personen oder Objekttypen, aber auch durch Erkennen von potentiell gefährlichem Verhalten, könnte durch die KI-Verfahren automatisiert erfolgen. Weiter könnte das System (...) automatisiert Entscheidungsvorschläge generieren, so dass der Nutzer schnell das Richtige und Beste entscheiden kann. Erzähler So beschreiben Mitarbeiter von Rheinmetall Electronics in einer Branchenzeitschrift die "Integration Digitaler Technologien". Noch nehmen solche Computersysteme den Soldaten die Entscheidungen nicht völlig ab. Aber der Druck steigt, sich immer mehr auf automatisch erzeugte Klassifizierungen und Lagebeurteilungen zu verlassen, warnt Jürgen Altmann. OT34 Altmann Es gibt so etwas wie eine Vorannahme [..]: der Automat wird schon das Richtige vorschlagen. Also selbst wenn die Entscheidung noch beim Menschen ist, aber zum Beispiel mehrere Möglichkeiten zu agieren, vorgeschlagen werden und vielleicht noch eine Rangfolge [..] welche die eigentlich militärisch wichtigste oder effektivste wäre. Dann gibt es zunächst [..] eine gewisse Tendenz, dem Computer und dem Algorithmus da zu vertrauen, weil man irgendwie ja auch weiß oder denkt, da ist vielmehr Informationen drin, der hat viel mehr Optionen durchgespielt und so weiter. [..] also nicke ich das erstmal ab, [..] klicke auf "Ja" oder Angriff. OT35 Koch 19 [0:27:18]: [0:54:25] Dass natürlich eine KI anfangen kann zu spinnen, das ist schon so. Also KI schafft ein Abbild der Wirklichkeit. Und da kann es passieren, dass die KI mir etwas zeigt, was in Wirklichkeit nicht da ist, ein Artefakt. Es kann passieren, dass die KI aber auch blinde Flecken hat. Das heißt, sie zeigt mir nicht, was eigentlich da ist. Wer Systeme designt, muss sich darüber im Klaren sein, dass jedes künstlich intelligente System auch eine gewisse Fähigkeit zur Selbstkritik haben muss. Das Systemdesign muss berücksichtigen, dass diese Fehler passieren. Und wir brauchen einen Nutzer, der das weiß. AT36 USS Vincennes (BBC, The Other Lockerbie) (Geräusche auf der Kommandobrücke, Stimmen und Funksprüche) unter Sprecher Sprecherin (Szenario Abschuss der Iranian Air 655) Mit Maschinengewehren und Granatwerfern greifen Schnellboote einen Kriegskreuzer an. Mit diesen Leichtwaffen können sie dem schwer gepanzerten Schiff zwar nichts anhaben. Aber die Besatzung ist nach tagelangen Scharmützeln zermürbt, nervös und aufgebracht. Der Kapitän nimmt die Verfolgung auf und steuert den Kreuzer hinein in die Hoheitsgewässer der angreifenden Boote. Da meldet das Warnsystem einen anfliegenden Kampfjet. Die Besatzung setzt mehrere Funksprüche zur Warnung ab, aber das Flugzeug reagiert nicht. Der Kapitän befiehlt den Abschuss. Später stellt sich heraus: der vermeintliche Kampfjet war ein Linienflieger. Zu spät: Die Rakete hatte alle 290 Insassen getötet. Erzähler So geschehen im Juli 1988. Die USS Vincennes schoss in der Straße von Hormus ein iranisches Passagierflugzeug ab. Trotz zahlreicher Untersuchungen und Studien ist der genaue Ablauf bis heute nicht völlig geklärt. Klar ist, dass das automatische Radarwarnsystem der amerikanischen Marine das Flugzeug fälschlicherweise als Kampfjet einstufte. Widersprechende Informationen ignorierte die Besatzung. Systeme von heute verarbeiten noch viel mehr Sensordaten und andere Informationen als damals. Gerade dadurch, glaubt Wolfgang Koch, Experte für Sensordatenfusion, können die Militärs in Zukunft tödliche Fehlentscheidungen vermeiden. OT37 Koch 33 [0:48:55]: Wichtig ist Informationsüberlegenheit [..] Letztlich kann man nur verantworten, [..] wenn man auch wirklich weiß, was man tut. Erzähler Je mehr Informationen einem militärischen Befehlshaber zur Verfügung stehen, umso besser kann er seine Verantwortung wahrnehmen, argumentiert Wolfgang Koch. Auch Mustererkennung könne dazu taugen. Jürgen Altmann sieht das anders: OT38 Altmann Ist das jetzt ein Kombattanten-System, ein System des militärischen Gegners, oder aber: es ist vielleicht ein eigenes? Oder ist es vielleicht ein ziviles System, was gerade nicht angegriffen werden darf? Und da fangen eben die großen Schwierigkeiten an. Diese Klassifikation, die ist auf absehbare Zeit durch solche Algorithmen zuverlässig nicht hinzukriegen. Es gibt ja viele Möglichkeiten, was dazwischen kommen kann. Es gibt einen Staubsturm oder einen starken Regen. Oder es gibt Blätter, die im Weg sind. Und dann kann man sehr schnell Fehlklassifizierung haben, oder der Panzer wird eben nicht von einer der Seiten gerade gesehen, von der aus die Muster eingelesen worden sind. Oder es ist ein Tarnnetz da drüber oder aber eben ein größerer Bus. Ein ziviler Bus erzeugt zufällig genau dieselben, ähnliche Infrarotsignale, wie man das von einem feindlichen Lkw-Transporter erwarten würde. Erzähler Vom "Nebel des Krieges" sprach der preußische Generalmajor Carl von Clausewitz schon im 19. Jahrhundert: "Verzögerungen, Fehler und Missverständnisse", Täuschung und Gegen-Täuschung. Seitdem finden Militärstrategen immer neue Methoden, um diesen Nebel zu lichten. AT39 Video Rafael einspielen (https://www.rafael.co.il/worlds/land/multi-service-network-centric-warfare/) gute Akzente: 0:12 "fighting in complex urban areas"; 0:20 "the biggest challenge is to close the sensor to shooter loop in a very short time"; 0:38 "the most revolutionary solution: fire weaver"; 1:1:10 "different shooters simultaneously neutralize targets within seconds. This can only be achieved by fire weaver" Sprecherin (RAFAEL FIRE WEAVER) Häuser soweit das Auge reicht. Ein Soldat, der von einer Anhöhe aus mit einem digitalen Fernglas gegnerische Stellungen ausspäht. Die Bilder werden automatisch klassifiziert und mit einem Symbol versehen: "Scharfschütze", "Fahrzeug", "Drohne", "Radarstation". Sogar ein icon für Moscheen ist vorgesehen. Die Informationen werden an sämtliche Mitkämpfer weitergeleitet. Das Programm schlägt vor, ob das klassifizierte Objekt mit einem Hubschrauber, einer Drohne oder vom Boden aus angegriffen werden soll. Innerhalb von Sekunden errechnet das Gefechtssystem, welche Waffe am besten geeignet ist. Die schnelle Kommunikation von den Sensoren zu den Schützen ist das besondere Merkmal dieses Waffensystems: Dutzende Stellungen des Gegners werden innerhalb von Sekunden attackiert. Erzähler Diese Werbung der israelischen staatlichen Rüstungsfirma Rafael Advanced Defense Systems für ihr Sensor to shooter - System "Fire Weaver", erinnert an Computerspiele wie World of Warcraft: ein Feldherrenblick, ein Spielfeld, um seine Figuren zu verschieben. Zusätzlich zu dieser kartenähnlichen Ansicht für das Hauptquartier bietet Fire Weaver die Perspektive des jeweiligen Schützen, wie bei einem Egoshooter-Spiel. Immer mehr Sensoren und die allseitige Vernetzung versprechen den entscheidenden Informationsvorsprung im unübersichtlichen und chaotischen Häuserkampf - ein gläsernes Gefechtsfeld. AT Werbung hochziehen (akzent 1:30 as we see all the forces are connected through a radio-network) Erzähler Seit Anfang 2020 nutzt die israelische Armee das System Fire Weaver in Einsätzen. Auch die Bundeswehr scheint beeindruckt zu sein. Im Rahmen der Studie "Erzeugung eines gläsernen Gefechtsfeldes zur Unterstützung dynamischer Operationen" soll die IT-Firma Atos zusammen mit Rafael ein solches Sensor-to-Shooter-System für die Bundeswehr entwickeln. Vermarktet wird das Programm auch mit dem Argument, es werde Kollateralschäden und Eigenbeschuss verhindern: AT Rafael (Akzent 3:12) The targets are neutralized simultaneously in a short time, minimizing damage and avoiding friendly fire. Erzähler Können KI-gesteuerte Waffensysteme tatsächlich und zuverlässig Freund und Feind unterscheiden? Bedrohungen realistisch einschätzen, zivile Opfer minimieren? OT40 Jörg Hoffmann Also die bisher bestehenden Systeme [0:13:32], ich kann wirklich nur beten, dass da niemand auf die Idee kommt, die an den Abzugshebel zu setzen. Erzähler Dies ist nicht die Meinung eines friedensbewegten Aktivisten. Jörg Hoffmann ist Professor an der Universität des Saarlandes für Grundlagen der Künstlichen Intelligenz. Sein eigentliches Forschungsgebiet sind Planungsalgorithmen. Vor fünf Jahren hat er, wie viertausend andere Wissenschaftler aus dem Bereich KI und Robotik, einen offenen Brief gegen autonome Waffen unterzeichnet. Sprecherin (Zitat Offener Brief von KI- und Robotik-Forscherinnen und Forschern) Ob ein weltweites KI-Wettrüsten begonnen wird, ist eine Schlüsselfrage für die Menschheit. Wenn irgendeine der großen Militärmächte die KI-Waffenentwicklung fortführt, ist ein globaler Rüstungswettlauf letztlich unvermeidlich, und der Schlusspunkt dieses technischen Pfades ist klar: autonome Waffen werden die Kalaschnikows von morgen sein. Anders als Nuklearwaffen benötigen sie keine teuren oder schwer zu erlangenden Materialien. Daher werden sie allgegenwärtig und für alle bedeutenden Militärmächte in der Massenproduktion kostengünstig sein. OT41 Hoffmann 9 [0:11:10]: also es gibt sehr viele Anwendungen von KI-Methoden, die sehr positiv für die Menschheit sein können. Aber es gibt eben auch welche, die extrem gefährlich sind, [..] Albert Einstein wollte auch nicht die Atombombe, denke ich. Erzähler Dual Use, zweifache Verwendung lautet der Fachbegriff für Technik, die zu militärischen oder auch zivilen Zwecken eingesetzt werden kann. Und nicht nur Militärs könnten Zugang zu den neuen Waffen bekommen, warnt der Offene Brief. Sprecherin (Zitat Offener Brief von KI- und Robotik-Forscherinnen und Forschern) Es wird nur eine Frage der Zeit sein, bis sie auf den Schwarzmarkt und in die Hände von Terroristen gelangen, für Diktatoren, die ihre Bevölkerungen besser kontrollieren wollen, oder Warlords mit dem Ziel von ethnischen Säuberungen. AT42 Slaughterbots (akzente: 0:38 "That's all AI. It flies itself." 0:47 "It can react a hundred times faster than a human" 0:55 "just as any mobile device these days, it has cameras and sensors. And just like your phones and social media apps it does facial recognition." 1:10 "Inside here there is three grams of shaped explosive." Sprecherin Ein smarter, junger Mann im Anzug. Eloquent und überzeugend steht er auf einer Bühne und stellt die neueste Errungenschaft der digitalen Technik vor: eine kleine Drohne, nicht einmal handtellergroß. Ebenso wie moderne Mobiltelefone verfügt sie über eingebaute Kameras und andere Sensoren, kann Gesichter erkennen. Der Unterschied: im Inneren trägt sie drei Gramm Sprengstoff. Die Drohne ist komplett unabhängig von Funksignalen. Einmal auf den Weg gebracht verfolgt sie ihr Ziel, bis sie es gefunden hat. Erzähler Dieses Video mit dem Titel "Slaughterbots" - frei übersetzt "Killerroboter" - wurde Ende 2017 ins Netz gestellt und seitdem mehr als drei Millionen mal angesehen. In Auftrag gegeben hat es Stuart Russell, Computerwissenschaftler an der University of California, Berkeley. Seine Bücher über Künstliche Intelligenz gelten als Standardwerke. Und er ist der Initiator des offenen Briefs gegen autonome Waffen. Sprecherin (Zitat) Autonome Waffen sind ideal geeignet für Aufgaben wie Ermordungen, das Destabilisieren von Nationen, die Unterdrückung von Bevölkerungen und das selektive Töten bestimmter ethnischer Gruppen. AT Slaugtherbots (Akzente 1:13 This is how it works - Summen - Knall - Beifall 1:25 Did you see that? This little bang is enough to penetrate the scull and destroy the contents. ) Sprecherin Der Moderator wirft die Drohne hoch in die Luft. Sie fliegt über die Köpfe des Publikums und steuert dann zielgerichtet den Kopf einer lebensgroßen Puppe an, die am anderen Ende der Bühne steht. Ein Knall ertönt. Das Geschoss zerschmettert die Schädeldecke. OT43 Altmann (S16) Stewart Russell [..], der das Video konzipiert hat, hat erhofft, und ich denke auch in vielen Fällen erreicht, dass Leute einen Schreck bekommen haben über die Möglichkeiten, die sich da entwickelt haben, Erzähler Friedensforscher Jürgen Altmann OT43 weiter [..] insbesondere in der Gemeinschaft der KI Forscherinnen und Forscher und der Entwickler, die auch in Firmen sitzen, gerade auch im Silicon Valley, in diesen Riesenfirmen Facebook, Amazon, Google oder in Seattle, Washington bei Microsoft, großen Eindruck gemacht und es gibt dort ja auch eine gewisse Bewegung, dass Programmierer*innen und sonstige Forscher sich dagegen aussprechen, autonome Waffensysteme zu entwickeln und [..] die eigene Regierung [..] aufgefordert haben, sich für ein internationales Verbot einzusetzen. Erzähler Auch der deutsche Wissenschaftler Jörg Hoffmann hat den offenen Brief unterzeichnet. Er beschäftigt sich mit automatischer Planung. In Verbindung mit dem sogenannten Maschinenlernen könnten Planungsalgorithmen vielleicht Maschinen mit einer größeren Autonomie ausstatten. Dann würden sie flexibler auf neue Situationen reagieren und wären weniger fehleranfällig. Dieser Ansatz ist auch für das Militär interessant. Ein Forschungsprojekt von Jörg Hoffmann beschäftigt sich genau damit, nämlich mit der Erklärbarkeit von KI-Entscheidungen. Finanziell gefördert wird es vom Air Force Office for Scientific Research, einer Einrichtung der amerikanischen Luftwaffe. OT44 Hoffmann 9 [0:05:28]: Ich gebe ganz offen zu, ich habe auch mich damit anfangs nicht wohlgefühlt. Ich habe länger gezögert, aber bei genauer Prüfung ist es eben in diesem Projekt so, dass die Bedingungen exakt dieselben sind wie bei der DFG. Erzähler DFG - Die deutsche Forschungsgesellschaft OT44 Hoffmann weiter Es geht ausschließlich um Grundlagenforschung. Es gibt keinerlei Vorgaben, was irgendeine Anwendungsorientierung angeht. Das Ziel ist ausschließlich die Publikation. Erzähler Trotz des oft behaupteten Vorsprungs der USA bei der KI fördern Einrichtungen des US-Militärs wie die Defense Advanced Research Projects Agency DARPA durchaus zahlreiche Forschungsprojekte in Deutschland. Ihr militärischer Nutzen ist nicht immer klar ersichtlich. OT45 Hoffmann 5 [0:07:23]: Planen kann heißen Schachspielen. Das kann heißen, eine Fabrik zu steuern. Es kann heißen, automatisch Sicherheitsprüfung durchzuführen. Es kann sein, einen Roboter auf dem Mars zu kontrollieren. Und ja, es kann eben auch sein, in irgendeiner Form militärisch geartete Pläne zu erstellen. [0:20:54] Also die Grundproblematik aus meiner Sicht ist, dass diese Methoden auch militärisch eingesetzt werden können, auch wenn dies nicht explizit in der Absicht der Forschung ist, und das Problem, dass man dem ziemlich machtlos gegenübersteht. Erzähler Der Wissenschaftler Jörg Hoffmann befürchtet ein KI-Wettrüsten habe längst begonnen. OT46 Hoffmann [0:07:23] Also es gibt zwei Möglichkeiten, entweder wir hören auf, an KI zu forschen, oder die Politik entscheidet sich, das nicht militärisch zu verwenden. Ansonsten sehe ich keine Möglichkeit. Und leider sind beide Möglichkeiten nicht sonderlich plausibel. AT47 Video Man-Unmanned Teaming (Universität der Bundeswehr, München: https://www.youtube.com/watch?v=cMRakinpY2w) Sprecherin Im Cockpit sitzt ein Kampfpilot und behält mehrere Bildschirme und Skalen gleichzeitig im Blick: Navigation, Kommunikation, Radarsignale. Nicht nur die seines eigenen Kampfjets, auch die Sensoren der unbemannten Drohnen, die wie ein Schwarm sein Flugzeug begleiten und vor angreifenden Raketen abschirmen oder vorausfliegen. OT48 Video Bundeswehr-Uni München [0:02:09]: Zur Verbesserung des Zusammenspiels von Mensch und Automation ist die Blick-Bewegungsmessung eines der wichtigsten Werkzeuge. Der Fokus liegt auf der Zuweisung der Inhalte auf dem Display zu den Blickbewegungen des Piloten. [..] Aus diesen Informationen können dann Rückschlüsse auf das mentale Geschehen des Piloten getroffen werden. Erzähler Daran forscht die Universität der Bundeswehr in München. Eine Videopräsentation erklärt die Vorzüge der automatischen Datenverarbeitung: Künstliche Intelligenz und Algorithmen werden zum digitalen Co-Piloten. Dazu Axel Schulte, Professor für Flugmechanik und Flugführung an der Bundeswehrhochschule. OT49 1:00 Axel Schulte, Universität der Bundeswehr, München Deutschland und Frankreich planen ja derzeit die Neuentwicklung eines Kampfflugzeugs Systems, das sogenannte FCAS Future Combat Air System. In diesem Zusammenhang entwickeln wir hier Konzepte und Technologien zur hochautomatisierten Missionsführung und Piloten- Unterstützung. Erzähler "Kognitive Assistenten" sollen die Aufmerksamkeit und Belastung der Piloten erfassen und bei einer Überlastung die Informationen filtern. Sie messen den Puls, die Pupillenbewegungen und bewerten die Interaktionen des Piloten mit dem Computersystem. Wirkt der Pilot überfordert, beispielsweise in einer Kampfsituation, übernimmt der Computer die Steuerung. OT 50 Grohs 10 [0:16:59] Auf der einen Seite ist es natürlich ein Segen, so ein vernetztes System zu haben. Erzähler Tom Grohs, oberster Ingenieur bei Airbus für das FCAS-Projekt. OT51 Grohs weiter Auf der anderen Seite natürlich auch ein gewisser Fluch aufgrund der Informationsflut, die man natürlich entsprechend aufbereiten muss, sodass [..] sie für einen Menschen, wo auch immer er zu dem Zeitpunkt ist, sei es in einem Cockpit, sei es in einem eher zurück gelagerten System, die Entscheidung zu treffen, wie er jetzt weiter vorzugehen hat. Erzähler "Manned-Unmanned-Teaming"" ist der Fachbegriff für diese Art der Zusammenarbeit von Mensch und Automat. Bei dem geplanten Airbus-System sollen beispielsweise Drohnen die Zielaufklärung übernehmen, entsprechend des jeweiligen Auftrags: "Finde gegnerische Fahrzeuge", "Radaranlagen" oder "Soldaten". Einhellig versichern Vertreter von Bundeswehr und Bundesregierung, man lehne tödliche autonome Waffen ab. Aber die Pläne für das Future Combat Air System sehen eine weitgehende Automatisierung vor - einen bewaffneten Drohnenschwarm, digitale Kopiloten, KI-gestützte Aufklärung der Lage. Ist im Krieg der Zukunft überhaupt noch Platz und Zeit für einen "Man in the loop", einen vernunftbegabten Menschen in der Entscheidungsschleife? OT52 Koch Jetzt haben wir den Kapitän, der für ein Schiff verantwortlich ist. Und jetzt fliegt eine Rakete mit hoher Geschwindigkeit so knapp über den Wellen. Ja, der kann jetzt nicht erst einmal anfangen zu überlegen, was mache ich jetzt eigentlich? Sondern das muss hoch automatisiert ablaufen. In dem Augenblick, in dem man weiß, ja, das ist das, dann geht sofort die Gegenmaßnahme los. Man in the loop geht dann nicht mehr. Erzähler Zusammen mit Airbus hat Wolfgang Koch vom Fraunhofer Institut die "AG Technikverantwortung" für das Future Combat Air System ins Leben gerufen. Sie soll herausfinden, wie das Luftkampf-System trotz Automatisierung ethisch gestaltet werden kann. Das sei möglich, betonte Wolfgang Koch bei der DWT-Tagung im März: OT53 DWT-Rede Koch 14 [0:31:52] Es ist wie beim Räuber und Gendarm spielen, wenn Sie so wollen. Der Räuber, der darf jede Sauerei machen. Aber der Gendarm darf es nicht. Trotzdem muss der Gendarm technisch auf Augenhöhe seines Gegners sein, des Räubers sein. [..] die Mittel, die er einsetzt, müssen so sein, müssen so konzipiert sein, dass er sie einsetzen darf und auch guten Gewissens einsetzen kann. Erzähler Das Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie von Wolfgang Koch arbeitet zu diesem Zweck an Computerprogrammen, die sozusagen als digitaler Rechtsberater sicherstellen sollen, dass die Regeln des Völkerrechts eingehalten werden. Die Kampf-Maschinen sollen beispielsweise zwischen Zivilisten und gegnerischen Soldaten unterscheiden und dann bei entsprechender Einordnung gemäß der Einsatzregeln ihre Waffen nutzen. OT54 [0:33:59] Koch: Ist der Mensch beteiligt? Jawohl, nämlich bei dem Design eines solchen Systems, bei der Auslegung der Parameter, bei der Formulierung der Rules of Engagement. OT55 Altmann Programmierbarkeit rechtliche Regeln (S32) Da sind sehr viele Unwägbarkeiten da, die man nicht so ohne Weiteres auf "wenn-dann" und "ja-nein" Entscheidungen runterbrechen kann. Erzähler Das Völkerrecht ist weitaus komplexer, sagt Jürgen Altmann. Etwa wenn es um das Gebot der Verhältnismäßigkeit geht. OT56 Altmann (S33) Wie will man das jetzt in Computeralgorithmen fassen? Sagt man: ein Schulkind, ein totes, zählt zehn Punkte, und eine zerstörte Geschützbatterie um die Ecke, zählt 20 Punkte? OT57 DWT-Rede Koch 14 [0:31:52] Es ist möglich, eine KI-Technik zu Systemen zu bauen, die den verantwortungslosen Einsatz ermöglichen, nahelegen und begünstigen. Jawohl, das ist möglich. Deswegen müssen wir die Bundeswehr mit Instrumenten ausstatten, auch dann (sich) zu bewähren. [..]. Aber nicht so, dass wir da uns auf das Niveau des Räubers begeben, sondern wir sind die Gendarmen. Hört sich arrogant an - aber wir sind einfach die Guten, oder? (lacht) Trenner Erzähler Die Spannungen zwischen den Machtblöcken USA, China, Russland und Europa wachsen. Konfliktforscher wie Jürgen Altmann machen sich Sorgen, KI-gestützte Waffen könnten die prekäre internationale Lage weiter destabilisieren und sogar das ohnehin fragile nukleare Gleichgewicht. So könnte eine Armee versuchen, mit überlegener Sensorik und autonomen Robotern einen Gegner zu entwaffnen und so seine Vergeltung zu vermeiden. (o.c. Drohnen-Schwärme könnten beispielsweise die mobilen Raketenabschussrampen an Land oder auf U-Booten aufspüren und ausschalten und dadurch den Weg für eigene Überschallraketen mit konventionellen oder nuklearen Sprengköpfen frei machen.) Jürgen Altmann engagierte sich bereits in den 80er Jahren gegen die Stationierung von Atomwaffen in Deutschland. Hinweis: Diese Kürzung ist auch in der SWR-Fassung. OT58 Altmann Nuklearwaffen (s13) es fängt auch schon an, dass manche Stimmen sagen ja, aber zur Sicherheit der Abschreckung ist es besser für den Fall, dass die menschlichen Befehlshaber zerstört würden oder angegriffen würden und nicht mehr entscheidungsfähig wären, dass es dann gut wäre, ein autonomes System zu haben, was dann die Nuklearwaffen dennoch startet. Erzähler Selbst wenn die sogenannten Enthauptungsschläge technisch noch nicht durchführbar sind - die Nervosität der Nuklearmächte wächst. In den "Grundprinzipien der Russischen Föderation für die nukleare Abschreckung" wird folgende Bedingung für den Atomwaffen-Einsatz aufgelistet: "Ein Angriff eines Gegners auf kritische Regierungs- und Militäreinrichtungen, der die Fähigkeiten der atomaren Vergeltung untergraben würde". OT59 Altmann Eskalationsgefahr Länder (s12) von daher muss man also befürchten, wenn man autonome Waffensysteme nicht grundsätzlich verbieten kann oder verbieten wird, dass dann solche Eskalationsgeschichten passieren können in allen möglichen Krisen-Bereichen. Das muss nicht zwischen USA und Russland oder zwischen USA und China sein. Das kann auch zwischen Indien und Pakistan sein. Oder zwischen anderen Konfliktparteien. Sagen wir [..] Nordkorea, Südkorea[..], Japan. Sprecherin Ein militärisches Kontrollzentrum. Soldaten in Uniform sitzen im Halbdunkel vor ihren Bildschirmen und verfolgen blinkende Radar- und Satellitensignale. Plötzlich leuchtet eine rote Lampe, ein lauter Warnton erschallt. Der Radar meldet eine anfliegende Atomrakete. Dann eine zweite, dritte, vierte. Die Soldaten springen von ihren Stühlen auf. OT60 Petrow (https://www.youtube.com/watch?v=nI-MpJMg738 ZDF History 1983 - Die Welt am Abgrund, ausgestrahlt bei Phoenix am 22.7.2013 bei 6:00, russisch mit dt. Overvoice) Overvoice Doku In einem solchen Fall sollte eigentlich der Computer die Regie übernehmen. So war das vorgesehen in unserer Ausbildung. Und so lauteten auch unsere Befehle. Man hat mehr auf Maschinen vertraut als auf das Urteil von Menschen. Erzähler Stanislaw Petrow zögerte damals, am 26.September 1983: Bei einem tatsächlichen Atomschlag hätten deutlich mehr US-Raketen auf dem Radarschirm auftauchen müssen. Er meldete den Vorfall nicht - und hatte Recht: Das Frühwarnsystem hatte einen Fehlalarm ausgelöst, verursacht durch reflektierende Sonnenstrahlen. Weil der russische Offizier - und nicht die Maschine - die letzte Entscheidung traf, verhinderte er den 3.Weltkrieg und rettete Millionen Menschenleben. Trenner / Musik Erzähler Auf welche konkreten Einsatzszenarien bereitet sich die Bundeswehr vor? Wie soll echte menschliche Kontrolle trotz Automation sichergestellt werden? Trotz zahlreicher Anfragen seit Juni 2020 waren weder Bundeswehr noch Verteidigungsministerium willens oder in der Lage, Fragen dazu in einem Interview zu beantworten. OT 61 Gisela Manderla Nicht jede Kriegspartei beachtet Regeln, Gesetze und völkerrechtliche Grundsätze. Auch das gehört zur Wahrheit, liebe Kollegen und Kolleginnen. Erzähler Zurück in den Bundestag, zur Debatte über tödliche autonome Systeme. Gisela Manderla, CDU-Bundestagsabgeordnete und Vizepräsidentin der Deutschen Gesellschaft für Wehrtechnik, argumentiert mit den äußeren Bedrohungen. Skrupellose Gegner werden sie so oder so einsetzen, sagt sie. Andere Bundestagsabgeordnete widersprechen und berufen sich auf die Expertise der Fachwelt. OT62 Kathrin Vogler, Die Linke. (Beifall bei der LINKEN) Diese unheilvolle Entwicklung kann nur gestoppt werden durch ein Verbot. Das ist die Meinung von 160 internationalen Nichtregierungsorganisationen in der Kampagne für ein Verbot von Killerrobotern. [..] Mehr als 4 500 KI-Experten unterstützen ein völkerrechtlich bindendes Verbot. Erzähler Eigentlich klingt das ganz ähnlich wie die Position der Regierungsparteien, wie sie im Koalitionsvertrag steht. Sprecherin (Zitat Koalitionsvertrag) Die Bundesregierung setzt sich aktiv für eine Ächtung letaler vollautonomer Waffensysteme ein, die außerhalb der Kontrolle des Menschen tätig werden. OT63 Kubiki, FDP (Leiter der Anhörung im Plenum) Der Ausschuss empfiehlt den Antrag der Fraktion Die Linke auf Drucksache 19/9342 abzulehnen. Wer stimmt für diese Beschlussempfehlung? - Wer stimmt dagegen? - Wer enthält sich?... unter Erzähler ausblenden Erzähler Die Fraktion von Bündnis 90/Die Grünen, die einen eigenen Verbotsantrag vorgelegt hatte, enthält sich. Alle anderen Fraktionen - CDU, SPD, FDP und AfD - stimmen gegen den Antrag für ein internationales Verbot autonomer Waffensysteme. Absage: "Kampf-Maschinen: Künstliche Intelligenz und die Kriege der Zukunft" Ein Feature von Matthias Becker und Gerhard Klas Es sprachen: Heiko Raulin und Marit Beyer Ton und Technik: Tanja Hiesch und Karl-Heinz Runde Regie: Felicitas Ott Redaktion: Wolfram Wessels Eine Produktion des Südwestrundfunks mit dem Deutschlandfunk 2020 2 2