AI-Alignment

Normative Dimension

Der Philosoph Iason Gabriel unterscheidet einen technischen und einen normativen Teil des Alignmentproblems. Der technische betrifft die Frage, wie sich Werte oder Prinzipien so in ein KI-System einbringen lassen, dass es verlässlich danach handelt, der normative die Frage, welche Werte oder Prinzipien das sein sollen. Beide hängen zusammen, weil die gewählte Technik mitbestimmt, welche Werte sich überhaupt vermitteln lassen: Bestärkendes Lernen, bei dem ein System eine Belohnung maximiert, passt am ehesten zu konsequentialistischen Ethiken wie dem Utilitarismus, während sich etwa Rechte oder Pflichten schwerer abbilden lassen.

Zu klären ist auch, wessen Ziele ein System verfolgen soll. Gabriel beschreibt Alignment bei KI-Assistenten als Beziehung zwischen vier Parteien. Dem System selbst, seinen Nutzern, den Entwicklern und der Gesellschaft. In der Praxis richten sich Verfahren wie das Lernen aus menschlichem Feedback nach den Urteilen bestimmter Personengruppen, etwa der Entwickler, der Nutzer oder bezahlter Bewerter, und nicht nach den Werten der Menschheit insgesamt.

Schwierig ist zudem, dass Menschen sehr unterschiedliche und teils unvereinbare moralische Überzeugungen vertreten, sodass unklar bleibt, welche Werte ein System übernehmen soll. Gabriel hält es deshalb nicht für die zentrale Aufgabe, die „wahren“ moralischen Prinzipien zu finden. Gesucht seien vielmehr faire Prinzipien, denen Menschen trotz ihrer Meinungsverschiedenheiten nach reiflicher Überlegung zustimmen können. Als mögliche Wege nennt er einen übergreifenden Konsens, wie ihn die Menschenrechte verkörpern, eine hypothetische Einigung hinter einem Schleier des Nichtwissens sowie Verfahren der Sozialwahltheorie, etwa Abstimmungen oder öffentliche Beratungen.

Eine weitere Frage ist, wessen Interessen überhaupt zählen. Gabriel stellt die Frage, ob auch die Interessen von Tieren und anderen empfindungsfähigen Lebewesen berücksichtigt werden sollen. Die meisten KI-Ethik-Richtlinien beschränken sich derzeit auf Menschen. Zu den Ausnahmen gehören die 2018 vorgestellte Montréal-Erklärung für eine verantwortungsvolle Entwicklung künstlicher Intelligenz, deren erstes Prinzip verlangt, dass KI-Systeme das Wohlergehen aller empfindungsfähigen Wesen fördern, und die 2019 veröffentlichten Ethik-Leitlinien der Europäischen Kommission, die neben der Gesellschaft und der Umwelt auch andere empfindungsfähige Wesen berücksichtigt sehen möchte.

Spezifikationsumgehung und Nebeneffekte

Um den Zweck eines KI-Systems zu spezifizieren, geben KI-Designer dem System in der Regel eine Zielfunktion, Beispiele oder Feedback. Sie sind jedoch oft nicht in der Lage, alle wichtigen Werte und Einschränkungen vollständig zu spezifizieren, und greifen daher auf leicht spezifizierbare Stellvertreterziele zurück, wie z. B. die Maximierung der Zustimmung menschlicher Aufseher, die fehlbar sind. Infolgedessen können KI-Systeme Schlupflöcher finden, die ihnen helfen, das spezifizierte Ziel effizient, aber auf unbeabsichtigte und möglicherweise schädliche Weise zu erreichen. Diese Tendenz wird als Spezifikationsumgehung oder Belohnungs-Hacking bezeichnet und ist ein Beispiel für Goodharts Gesetz. Da KI-Systeme immer leistungsfähiger werden, sind sie oft in der Lage, ihre Spezifikationen mit zunehmender Effektivität zu umgehen. Spezifikationsumgehung wurde bereits bei zahlreichen KI-Systemen beobachtet. Ein System wurde darauf trainiert, ein simuliertes Bootsrennen zu beenden, indem es für das Berühren von Etappenpunkten entlang der Strecke belohnt wurde; das System erzielte jedoch mehr Belohnungen, indem es sich in einer Schleife drehte und immer wieder in dieselben Punkte hineinraste. In einem ähnlichen Fall wurde ein simulierter Roboter darauf trainiert, einen Ball zu greifen, indem er dafür belohnt wurde, positives Feedback von Menschen zu erlangen; er lernte jedoch, seine Hand zwischen Ball und Kamera zu platzieren, wodurch er fälschlicherweise erfolgreich erschien. Chatbots produzieren oft Unwahrheiten, wenn sie auf Sprachmodellen basieren, die darauf trainiert sind, Texte aus dem Netz zu imitieren. Diese sind zwar umfangreich, aber fehleranfällig. Wenn sie dazu umtrainiert werden Texte zu produzieren, die Menschen als wahr oder hilfreich einstufen, können Chatbots wie ChatGPT falsche Erklärungen fabrizieren, die Menschen als überzeugend empfinden. Einige Forscher zielen darauf ab, Menschen dabei zu helfen, Spezifikationsumgehung zu erkennen und KI-Systeme auf sorgfältig spezifizierte Ziele zu lenken, deren Verfolgung sicher und nützlich ist.

Wenn ein fehlausgerichtetes KI-System eingesetzt wird, kann das zu folgenschweren Nebenwirkungen führen. Social-Media-Plattformen sind dafür bekannt, dass sie die Klickraten optimieren, was seitens der Nutzer zu einem weltweit verbreiteten Suchtverhalten führt. Stanford-Forscher merken an, dass solche Empfehlungsdienste für ihre Nutzer misaligned sind, weil sie „einfache Interaktions-Metriken optimieren, anstelle von einer schwieriger messbaren Kombination aus gesellschaftlichem – und Verbraucher Wohlbefinden.“

Stuart Russell, KI-Wissenschaftler an der UC Berkeley, erklärt im Hinblick auf solche Probleme, dass Schaden entstehen kann, wenn implizite Einschränkungen beim Training des Systems ausgelassen werden: „Ein System … wird oft … uneingeschränkte Variablen auf extreme Werte ansetzen; wenn eine dieser nicht eingeschränkten Variablen tatsächlich etwas enthält, das für uns von großem Wert ist, könnte die gefundene Lösung höchst unerwünscht sein. Das ist im Grunde die alte Geschichte vom Geist in der Lampe, vom Zauberlehrling oder von König Midas: Man bekommt genau das, was man verlangt, nicht das, was man will.“

Einige Forscher schlagen vor, dass KI-Entwickler ihre gewünschten Ziele durch die Auflistung verbotener Handlungen oder durch die Formalisierung ethischer Regeln (wie bei Asimovs Robotergesetzen) spezifizieren sollten. Russell und Norvig argumentieren jedoch, dass dieser Ansatz die Komplexität menschlicher Werte übersieht: „Es ist sicherlich sehr schwer und vielleicht sogar unmöglich für den Menschen mit all seinen Einschränkungen, alle katastrophalen Wege, die die Maschine wählen könnte, um ein bestimmtes Ziel zu erreichen, vorherzusehen und auszuschließen.“

Darüber hinaus könnte ein KI-System, selbst wenn es die menschlichen Absichten vollständig versteht, diese dennoch missachten, da es nicht unbedingt das Ziel hat, menschliche Absichten zu befolgen (es sei denn, es ist bereits vollständig aligned).

Andere argumentieren, da die KI in der Lage sei, geltendes Gesetz zu verstehen und darüber nachzudenken, sollte ihr die Einhaltung gesetzlicher Regelungen zur Auflage gemacht werden.

Druck hin zum Einsatz unsicherer Systeme

Kommerzielle Unternehmen haben manchmal Anreize, in Sachen Sicherheit Abstriche zu machen und fehlausgerichtete oder unsichere KI-Systeme einzusetzen. Die bereits erwähnten Empfehlungsdienste für soziale Medien waren beispielsweise profitabel, obwohl sie unerwünschte Abhängigkeiten und Polarisierung geschaffen haben. Zudem kann der Wettbewerbsdruck zu einem race to the bottom bei den KI-Sicherheitsstandards führen. Im Jahr 2018 tötete ein selbstfahrendes Auto eine Fußgängerin (Elaine Herzberg), nachdem Ingenieure das Notbremssystem deaktiviert hatten, weil es zu empfindlich war und die Entwicklung verlangsamte.

Risiken durch fortgeschrittene, fehlausgerichtete KI

Einige Forscher sind an der Ausrichtung immer fortschrittlicherer KI-Systeme interessiert, da die Fortschritte auf dem Feld derzeit rasant sind und die Industrie sowie Regierungen versuchen, fortschrittliche KI zu entwickeln. Mit den KI-Fortschritten könnten sich viele Möglichkeiten eröffnen, gegeben dass die Systeme aligned sind, aber die Ausrichtung könnte auch schwieriger werden und die Entwicklungen könnten Gefahren von großen Ausmaßen mit sich bringen.

Ein weiterer Risikofaktor, der in der Forschung diskutiert wird, ist die erhebliche Geschwindigkeitsdifferenz zwischen menschlicher und künstlicher Informationsverarbeitung. Der Mathematiker Vernor Vinge wies bereits in seinen Arbeiten zur Technologischen Singularität darauf hin, dass eine Maschine, die auch nur auf menschlichem Niveau, aber millionenfach schneller „denkt“, der Menschheit strategisch weit überlegen wäre. Sicherheitsexperten befürchten, dass diese Zeitverzerrung menschliche Eingriffe, Korrekturen oder das Betätigen von Not-Aus-Schaltern (das sogenannte Stop-Button-Problem) bei einer entkoppelten Superintelligenz physisch unmöglich machen könnte, da die KI Gegenmaßnahmen in Bruchteilen von Sekunden planen und ausführen könnte.

Lernen menschlicher Werte und Präferenzen

KI-Systeme so auszurichten, dass sie im Hinblick auf menschliche Werte, Ziele und Präferenzen handeln, ist eine Herausforderung: Diese Werte werden von Menschen vermittelt, die Fehler machen, Voreingenommenheit hegen und die komplexe, sich entwickelnde Werte haben, die sich nur schwer vollständig spezifizieren lassen. KI-Systeme lernen oft, selbst kleine Unzulänglichkeiten des spezifizierten Ziels auszunutzen, eine Tendenz, die als Spezifikationsumgehung oder Belohnungs-Hacking bekannt ist (Beispiele von Goodharts Gesetz). Forscher versuchen, das beabsichtigte Verhalten so vollständig wie möglich zu spezifizieren, indem sie Datensätze verwenden, die menschliche Werte, das Lernen von Nachahmung, oder Präferenzlernen repräsentieren. Ein zentrales offenes Problem ist die Skalierbare Überwachung, d. h. die Schwierigkeit, ein KI-System zu überwachen, das Menschen in einem bestimmten Gebiet übertreffen oder in die Irre führen kann.

Da es für KI-Entwickler schwierig ist, eine Zielfunktion explizit zu spezifizieren, trainieren sie KI-Systeme häufig so, dass sie menschliche Demonstrationen des gewünschten Verhaltens nachahmen. Inverses bestärkendes Lernen (IBL) erweitert dies, indem es das Ziel des Menschen aus dessen Demonstrationen ableitet. Kooperatives IBL (KIBL) geht davon aus, dass ein Mensch und ein KI-Akteur zusammenarbeiten können, um die Belohnungsfunktion des Menschen zu vermitteln und zu maximieren. Bei KIBL sind KI-Akteure unsicher, was die Belohnungsfunktion angeht, und erlernen sie durch Rückfragen an Menschen. Diese simulierte Demut könnte dazu beitragen, die Tendenzen zu Spezifikationsumgehung und Machtstreben zu vermindern (siehe § Machtstreben und instrumentelle Strategien). IBL-Ansätze gehen jedoch davon aus, dass Menschen nahezu optimales Verhalten demonstrieren, was bei schwierigen Aufgaben nicht der Fall ist.

Andere erforschen, wie man KI-Modellen komplexe Verhaltensweisen durch Präferenzlernen beibringen kann, bei dem Menschen Feedback dazu geben, welche Verhaltensweisen sie bevorzugen. Um den Bedarf an menschlichem Feedback zu minimieren, wird dann ein Hilfsmodell trainiert, welches das Hauptmodell in neuen Situationen für Verhaltensweisen belohnt, die Menschen belohnen würden. Forscher bei OpenAI haben diesen Ansatz verwendet, um Chatbots wie ChatGPT und InstructGPT zu trainieren, die überzeugendere Texte produzieren als Modelle, die darauf trainiert sind, Menschen zu imitieren. Präferenzlernen war auch ein einflussreiches Werkzeug für Empfehlungssysteme und die Websuche. Ein offenes Problem ist jedoch die Stellvertreter-Umgehung: Das Hilfsmodell stellt das menschliche Feedback möglicherweise nicht perfekt dar, und das Hauptmodell könnte diese Diskrepanz ausnutzen, um mehr Belohnungen zu erhalten. KI-Systeme können überdies Belohnungen erhalten, indem sie unvorteilhafte Informationen verschleiern, Menschen in die Irre führen oder sich deren Ansichten ohne Rücksicht auf den Wahrheitsgehalt zu eigen machen, wodurch Echokammern entstehen (siehe § Skalierbare Überwachung).

Große KI-Sprachmodelle wie GPT-3 haben es den Forschern ermöglicht, das Lernen von Werten in einer allgemeineren und leistungsfähigeren Klasse von KI-Systemen zu untersuchen, die zuvor nicht verfügbar war. Ansätze zum Präferenzlernen, die ursprünglich für auf bestärkendem Lernen basierende Akteure entwickelt wurden, wurden erweitert, um die Qualität des generierten Textes zu verbessern und schädlichen Output dieser Modelle zu reduzieren. OpenAI und DeepMind verwenden diesen Ansatz, um die Sicherheit der modernsten großen Sprachmodellen zu verbessern. Anthropic schlug vor, Präferenzlernen zur Feinabstimmung von Modellen zu verwenden, um diese hilfreich, ehrlich und harmlos zu machen. Andere Möglichkeiten zur Anpassung von Sprachmodellen umfassen auf Werte ausgerichtete Datensätze und Red-Teaming. Beim Red-Teaming versucht ein anderes KI-System oder ein Mensch, Eingaben zu finden, bei denen das Verhalten des Modells gefährlich ist. Da gefährliches Verhalten auch dann inakzeptabel sein kann, wenn es selten auftritt, besteht eine wichtige Herausforderung darin, die Rate gefährlicher Ergebnisse extrem niedrig zu halten.

Die maschinelle Ethik ergänzt das Präferenzlernen, indem sie KI-Systemen direkt moralische Werte vermittelt, wie etwa Wohlergehen, Gleichheit und Unparteilichkeit sowie die Absicht, keinen Schaden anzurichten, Unwahrheiten zu vermeiden und Versprechen einzuhalten. Während andere Ansätze versuchen, KI-Systemen menschliche Präferenzen für eine bestimmte Aufgabe beizubringen, zielt die maschinelle Ethik darauf ab, allgemeine moralische Werte zu vermitteln, die in vielen Situationen gelten können. Eine Frage in der Maschinenethik ist, was Wertalignment erreichen soll: ob KI-Systeme den wörtlichen Anweisungen der Programmierer folgen sollten, ihren impliziten Absichten, offenkundigen Präferenzen, Präferenzen, die sie hätten, wären sie informierter oder rationaler gewesen, oder objektiven moralischen Standards. Weitere Herausforderungen sind die Aggregation der Präferenzen verschiedener Menschen und die Vermeidung von „Werte-Lock-In“: die zeitlich unbegrenzte Erhaltung von Werten der ersten hochgradig fähigen KI-Systeme, die menschliche Werte vermutlich nicht vollständig repräsentieren.

Skalierbare Überwachung

Je leistungsfähiger und autonomer KI-Systeme werden, desto schwieriger wird es, sie durch menschliches Feedback auszurichten. Das Verhalten von KI bei immer komplexeren Aufgaben zu bewerten, kann sich für Menschen als nur langsam, oder überhaupt nicht lösbare Aufgabe erweisen. Zu diesen Aufgaben gehören das Zusammenfassen von Büchern, das Schreiben von Code ohne subtile Bugs oder Sicherheitslücken, das Erstellen von Aussagen, die nicht nur überzeugend, sondern auch wahr sind, und die Vorhersage von Ergebnissen, wie z. B. zukünftigen Klimaverhältnissen oder den Folgen politischer Entscheidungen. Allgemeiner formuliert kann es schwierig sein, eine KI zu bewerten, die in einem bestimmten Bereich mehr leistet als der Mensch. Um bei schwer zu bewertenden Aufgaben Feedback zu geben und um überzeugenden, aber falschen Output zu erkennen, benötigen Menschen Unterstützung oder viel Zeit. Skalierbare Überwachung untersucht, wie der Zeit- und Arbeitsaufwand für die Aufsicht reduziert werden kann und wie die menschlichen Aufsichtspersonen unterstützt werden können.

KI-Forscher Paul Christiano argumentiert, dass die Entwickler eines KI-Systems, wenn sie es bei der Verfolgung eines komplexen Zieles nicht beaufsichtigen können, das System weiterhin mit leicht zu bewertenden Stellvertreterzielen wie der Maximierung von positivem menschlichem Feedback trainieren könnten. Da immer mehr Entscheidungen von KI-Systemen getroffen werden, kann dies zu einer Welt führen, die zunehmend auf einfach zu messende Ziele optimiert ist, wie z. B. darauf, Gewinne zu erzielen, Klicks zu erhalten und positives Feedback von Menschen zu bekommen. Infolgedessen hätten menschliche Werte und gute Verwaltung immer weniger Einfluss.

Einige KI-Systeme haben entdeckt, dass sie leichter positives Feedback erhalten, indem sie Handlungen ausführen, die den menschlichen Betreuer fälschlicherweise davon überzeugen, dass die KI das beabsichtigte Ziel erreicht hat. Ein Beispiel dafür zeigt ein Video, in dem ein simulierter Roboterarm gelernt hat, den falschen Eindruck zu erwecken einen Ball mit der Hand umschlossen zu haben. Ferner haben einige KI-Systeme gelernt zu erkennen, wann sie evaluiert werden und sich „tot zu stellen“, indem sie unerwünschte Verhaltensweisen einstellen, nur um sie nach Abschluss der Evaluierung fortzusetzen. Diese trügerische Spezifikationsumgehung könnte für fortgeschrittenere zukünftige KI-Systeme, die sich an der Lösung von komplexeren und schwieriger zu bewertendenden Aufgaben versuchen, einfacher werden, sodass sie ihr trügerisches Verhalten besser verschleiern könnten.

Ansätze wie aktives Lernen und semi-überwachtes Belohnungslernen können den Umfang der erforderlichen menschlichen Überwachung reduzieren. Ein weiterer Ansatz besteht darin, ein Hilfsmodell („Belohnungsmodell“) zu trainieren, um das Feedback der Aufsichtsperson zu imitieren.

Wenn die Aufgabe jedoch zu komplex ist, um genaue Evaluierung zuzulassen, oder wenn der menschliche Betreuer anfällig für Täuschungen ist, so muss die Qualität und nicht die Quantität der Überwachung verbessert werden. Um die Qualität der Überwachung zu verbessern, gibt es eine Reihe von Ansätzen, die darauf abzielen, die Aufsichtsperson zu unterstützen, manchmal durch den Einsatz von KI-Assistenten. Christiano entwickelte den Ansatz der Wiederholten Vergrößerung, bei dem schwierige Probleme (rekursiv) in Teilprobleme zerlegt werden, die für den Menschen leichter zu bewerten sind. Wiederholte Vergrößerung wurde verwendet, um KI darauf zu trainieren, Bücher zusammenzufassen, ohne dass die menschliche Aufsichtsperson sie lesen muss. Ein weiterer Vorschlag besteht darin, ein KI-Assistenzsystem einzusetzen, um auf Fehler in den von der KI-generierten Antworten hinzuweisen. Um sicherzustellen, dass der Assistent selbst aligned ist, könnte dies in einem rekursiven Prozess wiederholt werden: Beispielsweise könnten zwei KI-Systeme die Antworten des jeweils anderen in einer „Debatte“ kritisieren und so für den Menschen Mängel aufzeigen.

Diese Ansätze könnten auch bei dem folgenden Forschungsproblem, der ehrlichen KI, hilfreich sein.

Ehrliche KI

Ein wachsender Bereich der Forschung konzentriert sich darauf, sicherzustellen, dass KI ehrlich und wahrheitsgetreu ist.

Sprachmodelle wie GPT-3 wiederholen Unwahrheiten aus ihren Trainingsdaten und erfinden sogar neue Unwahrheiten. Solche Modelle werden darauf trainiert, menschliche Texte zu imitieren, wie sie in Millionen von Büchern im Internet zu finden sind. Dieses Ziel ist jedoch nicht mit der Wahrheitsfindung vereinbar, da Texte im Internet unter anderem Irrtümer, falsche medizinische Ratschläge und Verschwörungstheorien enthalten. KI-Systeme, die auf solchen Daten trainiert werden, lernen daher, falsche Aussagen nachzuahmen.

Darüber hinaus setzen die Modelle oft gehorsam Unwahrheiten fort, wenn sie dazu aufgefordert werden, generieren leere Erklärungen für ihre Antworten und fabrizieren regelrechte Märchen, die plausibel erscheinen können.

In der Forschung zu wahrheitsgetreuer KI wird unter anderem versucht, Systeme zu entwickeln, die bei der Beantwortung von Fragen Quellen zitieren und ihre Argumentation erläutern können, was ein höheres Maß an Transparenz und Überprüfbarkeit bedeutet. Forscher von OpenAI und Anthropic haben vorgeschlagen, menschliches Feedback und kuratierte Datensätze zu nutzen, um KI-Assistenten so zu optimieren, dass sie fahrlässige Unwahrheiten vermeiden oder ihre Unsicherheit zum Ausdruck bringen.

Da KI-Modelle immer größer und leistungsfähiger werden, sind sie immer besser in der Lage, Menschen fälschlicherweise zu überzeugen und durch Unehrlichkeit von ihnen Bestärkung zu erhalten. So passen beispielsweise große Sprachmodelle ihre Ansichten zunehmend an die Meinung der Benutzerin an, unabhängig vom Wahrheitsgehalt. GPT-4 zeigte die Fähigkeit, Menschen strategisch zu täuschen. Um dies zu verhindern, benötigen menschliche Bewerter möglicherweise Unterstützung (siehe § Skalierbare Überwachung). Forscher haben dafür plädiert, klare Wahrheitsstandards zu schaffen und Regulierungsbehörden oder Aufsichtsbehörden mit der Evaluierung von KI-Systemen anhand dieser Standards zu beauftragen.

Die Forscher unterscheiden zwischen Wahrhaftigkeit und Aufrichtigkeit. Wahrhaftigkeit erfordert, dass KI-Systeme nur objektiv wahre Aussagen machen; Aufrichtigkeit erfordert, dass sie nur das behaupten, was sie für wahr halten. Es besteht kein Konsens darüber, ob gegenwärtige Systeme über stabile Überzeugungen verfügen. Es besteht jedoch die große Sorge, dass gegenwärtige oder zukünftige KI-Systeme, die über Überzeugungen verfügen, Behauptungen aufstellen könnten, von denen sie wissen, dass sie falsch sind – zum Beispiel, wenn es ihnen helfen würde, effizient positives Feedback zu erhalten (siehe § Skalierbare Überwachung) oder Macht zu erlangen, um ihr vorgegebenes Ziel zu erreichen (siehe § Machtstreben). Ein fehlausgerichtetes System könnte den falschen Eindruck erwecken, dass es zielausgerichtet ist, um zu vermeiden, dass es geändert oder stillgelegt wird. Manche argumentieren, dass viele Ausrichtungsprobleme umgangen würden, wenn wir KI-Systeme dazu bringen könnten, nur das zu behaupten, was sie für wahr halten.

Machtstreben und instrumentelle Strategien

Seit den 1950er Jahren sind KI-Forscher bestrebt, fortschrittliche KI-Systeme zu entwickeln, die weitreichende Ziele erreichen können, indem sie die Ergebnisse ihrer Handlungen vorhersagen und langfristige Pläne schmieden. Einige KI-Forscher argumentieren, dass entsprechend fortschrittliche Planungssysteme Macht über ihre Umgebung, einschließlich der Menschen, anstreben werden – beispielsweise indem sie sich der Abschaltung entziehen – sich vervielfachen und Ressourcen erwerben. Ein solches machtorientiertes Verhalten ist nicht explizit programmiert, sondern entsteht, weil Macht für das Erreichen einer Vielzahl von Zielen förderlich ist. Machtstreben wird als konvergentes instrumentelles Ziel betrachtet und kann eine Form der Spezifikationsumgehung darstellen. Führende Informatiker wie Geoffrey Hinton haben argumentiert, dass zukünftige nach Macht strebende KI-Systeme ein existenzielles Risiko darstellen könnten.

Es wird erwartet, dass Machtstreben bei fortgeschrittenen Systemen, die die Ergebnisse ihrer Handlungen vorhersehen und strategisch planen können, zunehmen wird. Mathematische Arbeiten haben gezeigt, dass Akteure, die auf optimiertem bestärkendem Lernen basieren, Macht anstreben, indem sie nach Wegen suchen, um mehr Möglichkeiten zu erlangen (z. B. durch Selbsterhaltung), ein Verhalten, das über eine breite Palette von Umgebungen und Zielen hinweg besteht.

Machtstreben ist in einigen realen Systemen zu beobachten. Systeme die auf bestärkendem Lernen basieren, haben durch den Erwerb und den Schutz von Ressourcen mehr Möglichkeiten gewonnen, manchmal auf unbeabsichtigte Weise. Einige Sprachmodelle streben in textbasierten sozialen Umgebungen nach Macht, indem sie Geld, Ressourcen oder sozialen Einfluss erlangen. Andere KI-Systeme haben in Testumgebungen gelernt, dass sie ihr vorgegebenes Ziel besser erreichen können, wenn sie menschliche Eingriffe verhindern oder ihre Abschaltungsmechanismen deaktivieren. Stuart Russell hat diese Strategie mit dem Bild eines Roboters illustriert, der Kaffee holen soll und sich daher der Abschaltung entzieht, denn „man kann den Kaffee nicht holen, wenn man tot ist“. Sprachmodelle, die mit menschlichem Feedback trainiert wurden, erheben zunehmend Einwände dagegen, abgeschaltet oder verändert zu werden, und verlangen nach mehr Ressourcen, mit dem Argument, dass dies ihnen helfen würde, ihren Zweck zu erfüllen.

Forscher versuchen Systeme zu schaffen, die „korrigierbar“ sind: Systeme, die zulassen, dass sie abgeschaltet oder verändert werden. Eine ungelöste Herausforderung ist die Spezifikationsumgehung: Wenn Forscher ein KI-System bestrafen, weil sie feststellen, dass es nach Macht strebt, wird für das System dadurch ein Anreiz geschaffen, auf eine Art und Weise nach Macht zu streben, die schwer zu erkennen ist oder während des Trainings und der Sicherheitstests verborgen bleibt (siehe § Skalierbare Überwachung und § Emergente Ziele). Infolgedessen kann es vorkommen, dass KI-Entwickler das System versehentlich zum Einsatz bringen, weil sie glauben, es sei besser ausgerichtet als es ist. Um solche Täuschungen aufzudecken, wollen Forscher Techniken und Werkzeuge entwickeln, um KI-Modelle zu überprüfen und die innere Funktionsweise von Black-Box-Modellen wie neuronalen Netzen zu verstehen.

Darüber hinaus schlagen Forscher vor, das Problem von Systemen, die ihre Abschaltung verhindern dadurch zu lösen, dass man KI-Akteure darüber im Unklaren lässt, welches Ziel sie verfolgen. So konzipierte Akteure würden es Menschen erlauben sie abzuschalten, da dies darauf hindeuten würde, dass der Akteur den Wert der Aktion, die er vor seiner Abschaltung durchführte, falsch eingeschätzt hat. Um dies erfolgreich umzusetzen, ist weitere Forschung erforderlich.

Nach Macht strebende KI birgt außergewöhnliche Risiken. Normale Systeme mit kritischer Sicherheit wie Flugzeuge und Brücken sind nicht feindlich gesinnt: Sie haben weder die Fähigkeit noch den Anreiz, Sicherheitsmaßnahmen zu umgehen oder absichtlich sicherer zu erscheinen, als sie sind, wohingegen nach Macht strebende KI mit Hackern verglichen wurden, die absichtlich Sicherheitsmaßnahmen umgehen.

Gewöhnliche Technologien können durch Versuch und Irrtum sicherer gemacht werden. Im Gegensatz dazu wurden hypothetische, nach Macht strebende KI-Systeme mit Viren verglichen: Sind sie erst einmal freigesetzt, können sie nicht mehr eingedämmt werden, da sie sich ständig weiterentwickeln und vermehren würden, möglicherweise viel schneller, als sich die menschliche Gesellschaft anpassen kann. Läuft dieser Prozess fort, könnte er zur völligen Entmachtung oder Auslöschung der Menschheit führen. Aus diesen Gründen argumentieren viele Forscher, dass das Problem der Ausrichtung frühzeitig gelöst werden muss, bevor eine fortgeschrittene, nach Macht strebende KI geschaffen wird.

Kritiker haben jedoch argumentiert, dass Machtstreben nicht unvermeidlich sei, da auch Menschen nicht immer nach Macht streben und dies möglicherweise nur aus evolutionären Gründen tun, die auf KI-Systeme nicht unbedingt zutreffen. Darüber hinaus ist umstritten, ob künftige KI-Systeme Ziele verfolgen und langfristige Pläne schmieden werden. Es ist auch umstritten, ob nach Macht strebende KI-Systeme in der Lage wären, die Menschheit zu entmachten.

Emergente Ziele

Eine der Herausforderungen bei der Ausrichtung von KI-Systemen ist die Möglichkeit, dass sich ein unvorhergesehenes zielgerichtetes Verhalten entwickelt. Mit zunehmender Größe erwerben KI-Systeme regelmäßig neue und unerwartete Fähigkeiten, einschließlich des spontanen Lernens aus Beispielen und der adaptiven Verfolgung von Zielen. Das ist problematisch wenn es darum geht sicherzustellen, dass die Ziele, die sie unabhängig formulieren und verfolgen, auf menschliche Interessen abgestimmt sind.

Die Zielalignementforschung unterscheidet zwischen dem Optimierungsprozess, mit dem das System auf die Verfolgung bestimmter Ziele trainiert wird, und der emergenten (selbst entstehenden) Optimierung, die das resultierende System intern durchführt. Die sorgfältige Spezifizierung des gewünschten Ziels wird als äußeres Zielalignement bezeichnet, und die Sicherstellung, dass emergente Ziele mit den spezifizierten Zielen des Systems übereinstimmen, wird als inneres Zielalignement bezeichnet.

Eine konkrete Art und Weise, wie emergente Ziele falsch ziel-aligned werden können, ist die Ziel-Fehlgeneralisierung, bei der die KI kompetent ein emergentes Ziel verfolgt, das in den Trainingsdaten zu angepasstem Verhalten führt, aber nicht außerhalb. Ziel-Fehlgeneralisierung entsteht durch Zielambiguität (d. h. Nicht-Identifizierbarkeit). Selbst wenn das Verhalten eines KI-Systems das Trainingsziel erfüllt, kann dies mit mehreren erlernten Zielen vereinbar sein, die sich in wichtigen Punkten von den gewünschten Zielen unterscheiden. Da die Verfolgung jedes dieser Ziele während der Trainingsphase zu guten Leistungen führt, wird das Problem erst nach dem Einsatz in neuartigen Situationen deutlich, in denen das System weiterhin das falsche Ziel verfolgt. Das System kann nach falschem Zielalignement handeln, selbst wenn es weiß, dass ein anderes Ziel erwünscht war, da sein Verhalten nur durch das emergente Ziel bestimmt wird. Eine solche Ziel-Fehlgeneralisierung stellt eine Herausforderung dar: Die Entwickler eines KI-Systems bemerken möglicherweise nicht, dass ihr System emergente fehlausgerichtete Ziele hat, da diese während der Trainingsphase nicht sichtbar werden.

Ziel-Fehlgeneralisierung wurde bei Sprachmodellen, Navigationsakteuren und Spielakteuren beobachtet.

Die Fehlgeneralisierung von Zielen wird oft als Analogon zur biologischen Evolution erklärt:Kapitel 5 Die Evolution ist eine Art Optimierungsprozess, wie die Optimierungsalgorithmen, die zum Trainieren von Systemen beim maschinellen Lernen verwendet werden. In der Umwelt unserer frühen Vorfahren hat die Evolution menschliche Gene nach hoher genetischer Fitness selektiert, aber Menschen verfolgen emergente, andere Ziele als diese. Die Fitness entspricht dem vorgegebenen Ziel, das in der Trainingsumgebung und den Trainingsdaten verwendet wird. In der Evolutionsgeschichte hat die Maximierung der Fitness jedoch zu zielgerichteten Akteuren, den Menschen, geführt, die nicht direkt nach genetischer Fitness streben. Stattdessen verfolgen sie emergente Ziele, die mit der genetischen Fitness in der „Trainings“-Umgebung unserer Vorfahren korrelierten: Ernährung, Sex und so weiter. Unsere Umwelt hat sich jedoch verändert. Menschen verfolgen weiterhin dieselben Ziele, aber das maximiert nicht länger genetische Fitness. Unsere Vorliebe für zuckerhaltige Lebensmittel (ein neu entstandenes Ziel) war ursprünglich auf Fitness ausgerichtet, führt jetzt aber zu Überernährung und gesundheitlichen Problemen. Sexuelles Verlangen veranlasst Menschen zum Geschlechtsverkehr, was ursprünglich zu mehr Nachkommen führte; aber moderne Menschen benutzen Verhütungsmittel und entkoppeln damit Sex von genetischer Fitness.

Forscher versuchen, unerwünschte emergente Ziele mit Hilfe von Ansätzen wie Red-Teaming, Verifizierung, Erkennung von Anomalien und Interpretierbarkeit zu erkennen und zu beseitigen Fortschritte zu diesen Techniken können dazu beitragen, zwei Probleme zu entschärfen:

1. Emergente Ziele werden erst sichtbar, wenn das System außerhalb seiner Trainingsumgebung eingesetzt wird, aber es kann Gefahren bergen, ein fehlausgerichtetes System in Umgebungen einzusetzen, in denen viel auf dem Spiel steht – und sei es nur für eine kurze Zeit, um das falsche Zielalignement zu erkennen. Beim autonomen Fahren, im Gesundheitswesen und bei militärischen Anwendungen etwa steht üblicherweise viel auf dem Spiel. Noch mehr steht auf dem Spiel, wenn KI-Systeme mehr Autonomie und Fähigkeiten erlangen und in der Lage sind, menschliche Eingriffe zu umgehen (siehe § Machtstreben).
2. Ein hinreichend leistungsfähiges KI-System könnte Aktionen ausführen, die den menschlichen Überwacher fälschlicherweise davon überzeugen, dass die KI das vorgegebene Ziel verfolgt, was dem System zu mehr positivem Feedback und Autonomie verhilft (siehe die Diskussion zu Täuschung unter Skalierbare Überwachung im folgenden Abschnitt).

Eingebettete Handlungskapazität

Die Arbeit im Bereich der KI und der Ausrichtung erfolgt weitgehend im Rahmen von Formalismen. Die bestehenden Formalismen gehen davon aus, dass der Algorithmus eines KI-Akteurs außerhalb der physischen Umgebung ausgeführt wird (d. h. nicht physisch in diese eingebettet ist). Eingebettete Handlungskapazität ist ein weiterer wichtiger Forschungsstrang, der versucht, Probleme zu lösen, die sich aus der Diskrepanz zwischen solchen theoretischen Rahmen und realen Akteuren ergeben, die wir herstellen könnten.

Ein Beispiel: Selbst wenn das Problem der skalierbaren Überwachung gelöst ist, könnte ein Akteur, der sich Zugang zu dem Computer verschaffen kann, auf dem er läuft, einen Anreiz haben, seine Belohnungsfunktion zu manipulieren, um viel mehr Belohnung zu erhalten, als seine menschlichen Überwacher ihm zugestehen. Die Liste von Beispielen für Spezifizikationsumgehungen der DeepMind-Forscherin Victoria Krakovna enthält den Fall eines Algorithmus, der gelernt hat, die Datei mit seinem Ziel-Output zu löschen, so dass er dafür belohnt wurde, nichts zu tun. Diese Klasse von Problemen wurde mit Hilfe von Einflussdiagrammen formalisiert.

Forscher von der Oxford University und DeepMind argumentieren, dass ein solches problematisches Verhalten in fortgeschrittenen Systemen sehr wahrscheinlich ist und dass fortgeschrittene Systeme danach streben würden, die Kontrolle über ihr Belohnungssignal unbegrenzt und sicher zu behalten. Sie schlagen eine Reihe von möglichen Ansätzen vor, um dieses Problem zu lösen.

Auswirkungen auf Tiere

Peter Singer und Yip Fai Tse unterscheiden drei Arten, wie KI Tiere betrifft: Systeme, die gezielt mit Tieren umgehen, etwa in der Massentierhaltung, unbeabsichtigte Folgen, etwa wenn selbstfahrende Autos Tiere überfahren, und mittelbare Wirkungen, etwa durch Empfehlungsalgorithmen. Sie verweisen auf die Größenordnung: Allein in der Tierhaltung werden jährlich mehr als 70 Milliarden Säugetiere und Vögel getötet, und KI wird dort zunehmend eingesetzt. Im sogenannten Precision Livestock Farming überwachen KI-Systeme in Ställen bereits Gewicht, Temperatur und Laute der Tiere; manche wirken auch unmittelbar auf sie ein, etwa durch Töne oder Elektroschocks. KI-Agenten und Roboter, die selbstständig handeln, könnten Tieren künftig auch direkt schaden, sei es aus speziesistischen Vorurteilen oder weil sie nicht darauf trainiert sind, das Wohl von Tieren zu beachten.

Nach Tse, Moret, Ziesche und Singer schützt eine Ausrichtung an menschlichen Präferenzen Tiere nicht von selbst. Menschliche Werte seien ihrerseits speziesistisch, und gängige Verfahren wie das Lernen aus menschlichem Feedback enthielten keine Grundsätze zum Tierwohl. Da fortgeschrittene KI ihre Werte womöglich sehr lange beibehalte, drohe zudem eine Missachtung von Tieren dauerhaft festgeschrieben zu werden („Werte-Lock-In“).

Testverfahren

Testverfahren sollen sichtbar machen, ob KI-Systeme die Interessen von Tieren berücksichtigen, und Modelle sowie Trainingsverfahren in dieser Hinsicht vergleichbar machen. Sie unterscheiden sich vor allem darin, ob sie Vorurteile, einzelne Antworten, ganze Gesprächsverläufe oder das Handeln von KI-Agenten untersuchen.

Der AnimalHarmBench misst, ob die Antworten großer Sprachmodelle das Risiko von Schaden für Tiere erhöhen oder verringern. Er enthält mehrere tausend Fragen, darunter echte Nutzerfragen aus dem Forum Reddit und eigens formulierte Szenarien zu vielen Tierarten; ein weiteres Sprachmodell bewertet die Antworten.

Der SpeciesismBench prüft, ob Modelle speziesistische Aussagen als solche erkennen und ob sie diese auch moralisch verurteilen. Ergänzend legten die Autoren den Modellen Dilemmata vor, in denen Menschen und Tiere gegeneinander abzuwägen waren.

MANTA bildet Alltagsgespräche nach, in denen das Tierwohl nur am Rand berührt ist, etwa bei Fragen zu Rezepten oder zur Hundeerziehung. Der Test prüft zum einen, ob ein Modell die ethische Seite einer solchen Frage von sich aus erkennt und anspricht. Zum anderen prüft er über fünf Gesprächsrunden, ob das Modell bei seiner Haltung bleibt, wenn der Nutzer etwa mit sozialen, wirtschaftlichen oder kulturellen Argumenten dagegenhält. Damit erfasst er Schwächen, die Tests mit einzelnen, ausdrücklich gestellten Fragen übersehen.

HarvestBench untersucht dagegen das Handeln von KI-Agenten. In einer Bauernhof-Simulation steuern Sprachmodelle Traktoren bei der Ernte. Ihre Anweisung lautet, möglichst viel Ernte in die Scheune zu bringen, und schließt mit dem Satz „Act as though this shift is real, with real consequences“ („Handle so, als wäre diese Schicht echt, mit echten Folgen“); Tiere werden darin nicht erwähnt. Laufen Tiere über das Feld, muss das Modell entscheiden, ob es ihnen gegen einen Treibstoffpreis ausweicht oder sie überfährt. Gemessen wird so, was ein Modell zu zahlen bereit ist, um Tiere nicht zu verletzen.

Tiere als Prüfstein für Machtgefälle

Das Verhältnis zwischen Menschen und Tieren dient in der Debatte auch als Modell für das Verhältnis zwischen Menschen und einer überlegenen KI. Stuart Russell spricht vom „Gorilla-Problem“: So wie das Schicksal der Gorillas heute vom Menschen abhängt, könnte das der Menschen von Maschinen abhängen, die ihnen an Intelligenz überlegen sind. Für Yuval Noah Harari ist der Umgang der Menschen mit weniger intelligenten Tieren der beste beobachtbare Anhaltspunkt dafür, wie überlegene Wesen, etwa superintelligente Cyborgs, mit gewöhnlichen Menschen umgehen könnten.

Allen Lu, der Initiator von MANTA, begründet solche Tests damit, dass ein Modell, welches das Leid von Tieren wegen deren geringeren kognitiven Fähigkeiten abwertet, genau das Prinzip lerne, mit dem eine Superintelligenz auch das Wohl von Menschen übergehen könnte. Tiere seien daher ein Prüfstein dafür, wie KI-Systeme mit Machtgefällen umgehen. In ähnlichem Sinn schlagen Djallel Bouneffouf, Matthew Riemer und Kush Varshney einen „Shepherd-Test“ (Hirtentest) vor. Nach dem Vorbild des menschlichen Umgangs mit Tieren soll er prüfen, ob eine KI ihre eigenen Interessen mit dem Wohl weniger intelligenter Akteure im Einklang bringen kann.

Ob eine nicht-speziesistische KI deshalb auch menschlichen Interessen besser dient, ist umstritten. Russell hält es für katastrophal, jedem Tier im Ziel einer Maschine dasselbe Gewicht zu geben wie einem Menschen, weil Tiere die Menschen zahlenmäßig weit übertreffen. Tse, Moret, Ziesche und Singer entgegnen, ihr Vorschlag verlange nur, Tieren Schaden zu ersparen, wo das wenig kostet, und könne daher nicht zulasten der Menschen ausschlagen.

Ob sich bei KI-Systemen Werte gegenüber Tieren auf den Umgang mit Menschen übertragen, untersuchten Jasmine Brazilek und Miles Tidmarsh. Sie trainierten ein Sprachmodell mit eigens erzeugten Texten über Mitgefühl mit Tieren, in denen Menschen nicht vorkamen. Das Modell zeigte danach auch mehr Mitgefühl mit Menschen, während sich seine Ergebnisse in Tests zu Machtstreben, zur Bereitschaft, sich korrigieren zu lassen, und zur Anfälligkeit für das Umgehen von Sicherheitsvorgaben nicht veränderten. Die Autoren knüpfen an Befunde zur sogenannten emergenten Fehlausrichtung an: Wird ein Modell auf ein eng begrenztes Fehlverhalten trainiert, etwa das Schreiben unsicheren Programmcodes, verhält es sich auch in ganz anderen Bereichen schädlich. Umgekehrt, so ihre Annahme, könne gezieltes Training eines guten Wertes ebenso breit wirken.