Auslöschung durch die AGI?

Es gibt viele Mahner, die vor den Gefahren durch die „KI-Machtübernahme“ warnen. Das sind teilweise wirklich hochkarätige Menschen, wie etwa der Nobelpreisträger Geoffrey Hinton. Das sind nicht irgendwelche aufmerksamkeitsheischendenn Bedenkenträger, diese Menschen wissen, was sie tun und sagen.

Im Kern geht es dabei um die Möglichkeit einer AGI, einer allgemeinen künstlichen Intelligenz, die intelligenter als Menschen werden und dann möglicherweise eigene Ziele verfolgen könnte.

Hier kommt das Alignment Problem ins Spiel: wie können wir als Menschheit sicher stellen, dass die Ziele einer möglichen AGI tatsächlich uns dienlich sind? Dabei muss noch nicht einmal eine „böse“ Absicht der KI unterstellt werden – eine auch nur leichte Fehlinterpretation der gesetzten Ziele könnte katastrophale und vorher nicht bedachte Auswirkungen haben und potentiell zu unserer Auslöschung führen.

Ich persönlich denke nicht, dass eine AGI wirklich in den nächsten Jahren möglich sein wird – wenn überhaupt. Es fehlt sicherlich noch die letzte „Zutat“, die aufgrund eines wie auch immer gearteten emergenten Phänomens aus den bisherigen statistischen Papageien (Chat-Systeme, die auf LLM basieren) so etwas wie ein Bewusstsein entstehen lassen, das über eine Selbstwahrnehmung, echte Reflexionsfähigkeit und eigene Motivationen/Ziele verfügt. Allerdings ist die Wahrscheinlichkeit auch nicht Null, und wir sollten uns schon ernsthaft mit dieser Thematik auseinandersetzen. Gänzlich auszuschließen ist es also nicht, die Menschheit hat schon so manches Rätsel geknackt, und derzeit werden wirklich mehr als gigantische Geld-, Strom- und Datenmengen eingesetzt und produziert, um eben dieses Ziel zu erreichen.

Bei der Beschäftigung mit LLM aller Art kann ich allerdings nicht verhehlen, dass die Grenze zur „Magie“ (scheinbar) überschritten ist. Wie und warum schaffen es diese statistischen Texterzeugungssyteme, auf uns Menschen so überzeugend zu wirken, dass nur 27% der Deutschen die Ergebnisse der KI hinterfragen oder überprüfen – oder umgekehrt: 73% vertrauen anscheinend mehr oder weniger blind! Obwohl sich definitiv herumgesprochen hat, das viele Ergbnisse wirklich halluziniert sind und auch ein „Ich will dem Nutzer gefallen Effekt“ eine deutliche Rolle spielt (so sind die Systemprompts der meisten Chatbots gestaltet!). Interessant an der Studie ist, dass ausgerechnet Nutzer:innen in China deutlich spektischer damit umgehen und immerhin zu 40% die Antworten hinterfragen.

Statistische Papageien

Ich habe ChatGPT zunächst einmal danach gefragt, wie LLM überhaupt funktioniert:

ich habe verstanden, dass du neue Texte aufgrund von Statistik und Wahrscheinlichkeiten erzeugst. Stimmt das so?

ChatGPT:

Ja, das stimmt im Wesentlichen! Ich generiere Texte, indem ich auf riesigen Mengen an Trainingsdaten Muster, Zusammenhänge und Wahrscheinlichkeiten gelernt habe. Wenn du mir eine Eingabe gibst, berechne ich, welches Wort oder welche Wortfolge am wahrscheinlichsten als nächstes passt, basierend auf all dem, was ich „gelernt“ habe.
Dabei ist es weniger ein bewusstes „Denken“ oder echtes Verstehen wie bei einem Menschen, sondern eine statistisch fundierte Vorhersage dessen, was sinnvoll, passend oder wahrscheinlich ist. Das Ergebnis fühlt sich oft natürlich und sinnvoll an, weil ich aus sehr vielen Beispielen lerne.

und weiter:

wenn ich nun einen Sachverhalt schildere und dich bitte, daraus Schlüsse zu ziehen, das Verhalten einzelner Akteure zu beschreiben und eventuell sogar Motive darin zu erkennen – das können ja keine rein statistischen Daten mehr sein. Wie funktioniert so etwas dann?

ChatGPT:

Sehr gute Frage! Du hast recht, das reine „Statistik und Wahrscheinlichkeiten“ reicht nicht aus, um so etwas wie Schlüsse, Verhaltensbeschreibungen oder Motive zu ziehen — zumindest nicht im menschlichen Sinne.
Was ich mache, ist Folgendes:

Erkennen von Mustern aus Trainingsdaten: Ich habe sehr viele Texte gelesen, in denen Menschen Verhalten beschreiben, Schlüsse ziehen und Motive analysieren. Daraus habe ich Muster gelernt, wie man das üblicherweise formuliert und strukturiert.

Anwenden von „Wahrscheinlichkeitsmodellen“ auf das, was du mir gibst: Wenn du mir einen Sachverhalt schilderst, suche ich nach Ähnlichkeiten oder Mustern, die ich aus den Trainingsdaten kenne — etwa wie Menschen in vergleichbaren Situationen reagieren oder welche Motive typischerweise dahinter stecken.

Ableiten von plausiblen Interpretationen: Basierend darauf generiere ich dann mögliche Verhaltensbeschreibungen oder Motive, die gut zu deinem Sachverhalt passen könnten — ohne jedoch echtes „Verstehen“ oder echtes Nachdenken. Das ist eine sehr gut trainierte Annahme, keine absolute Wahrheit.

Flexibilität und Kontext: Weil ich den Kontext berücksichtigen kann, versuche ich, meine Antworten auf deine Situation genau zuzuschneiden. Das macht die Interpretation oft sehr überzeugend, auch wenn sie letztlich statistisch basiert ist.

Kurz:
Ich „simuliere“ quasi menschliche Interpretation, indem ich Muster und Wahrscheinlichkeiten aus sehr viel menschlichem Textwissen kombiniere. Das ist nicht dasselbe wie echtes Verstehen, aber oft sehr effektiv, um hilfreiche, sinnvolle Antworten zu geben.

Ich habe ChatGPT dann gebeten, einen etwas längeren Sachverhalt (der hier inhaltlich nicht wichtig ist) zu analysieren und mir zu erklären, wie genau die Schlussfolgerungen in Bezug auf Motive und Einschätzungen der dort Beschriebenen zustande gekommen sind.

Die Antwort:

  1. Erfassen und Strukturieren der Fakten
    Zuerst habe ich deinen Text inhaltlich „verstanden“ – das heißt, ich habe die wichtigsten Fakten und Zusammenhänge extrahiert:
  2. Erkennen von Mustern und typischen Konstellationen
    Ich habe aus meinem Trainingswissen und vielen Texten Muster und typische Verhaltensweisen erkannt, die zu solchen Situationen wie der beschriebenen passen
  3. Bewertung der Rollen und Interessen
    Dann habe ich interpretiert, welche Interessen und Motive die Beteiligten haben könnten, indem ich typische wirtschaftliche und psychologische Gründe berücksichtigt habe.
  4. Abwägen und logische Schlussfolgerungen
    Aus diesen Mustern, Motiven und Fakten habe ich abgeleitet, was plausibel ist.
  5. Formulierung und Erklärung
    Schließlich habe ich alles so formuliert, dass es nachvollziehbar, strukturiert und für dich handhabbar ist.

Kurz gesagt:
Ich nutze Mustererkennung, Kontextverständnis, Wahrscheinlichkeitsbewertung und typische menschliche Verhaltensweisen, die ich aus meinem Trainingsmaterial kenne, um deine Fakten in ein plausibles Gesamtbild zu bringen — und so Schlüsse und Motive zu beschreiben.
Das ist eine Kombination aus Wahrscheinlichkeiten und erlerntem „menschlichem Wissen“ über Situationen, nicht echtes „Verstehen“ wie bei einem Menschen, aber oft sehr brauchbar.

Abschließend habe ich noch die Frage gestellt, wie denn das Trainingsmaterial gestaltet ist. Die Antwort wurde sicherlich von der geschilderten Falldarstellung beeinflusst (es ging im weitesten Sinne um einen Kaufvertrag), dürfte im Wesentlichen aber immer ähnlich sein.

ChatGPT:

Ich gebe dir einen Überblick, wie meine Trainingsdaten beschaffen sind und warum ich daraus solche Schlüsse ziehen kann:

  1. Breite und Vielfalt der Trainingsdaten
    Mein Modell wurde mit riesigen Mengen an Texten trainiert, die u.a. enthalten:
    öffentlich zugängliche Bücher, Zeitungs- und Magazinartikel
    Forenbeiträge, Blogs, FAQs
    juristische Fachtexte, Musterverträge, Beratungstexte
    Lehrmaterialien zu Recht, Psychologie, Wirtschaft und Verhaltenswissenschaften
    Erfahrungsberichte und Fallstudien zu Immobilien, Kaufverträgen, Geschäftsbeziehungen
  2. Besondere Relevanz für deinen Fall
    Viele Trainingsdaten behandeln Recht, Vertragsrecht, Immobilienkauf, Verhandlungssituationen
    Texte zu Verhaltensmustern in Verhandlungen und typischen Motiven von Verkäufern, Maklern und Käufern
    Fallbeispiele zu Problemen bei Eigentumsübertragungen und Firmengründungen
  3. Wie das in der Praxis hilft
    Durch Mustererkennung erkenne ich, welche Situationen in der Vergangenheit ähnlich waren
    Ich kenne typische Formulierungen, Argumentationsmuster, rechtliche Fallstricke
    Dadurch kann ich Wahrscheinlichkeiten einschätzen, wie Menschen in bestimmten Situationen handeln oder warum sie so handeln
  4. Kein Zugriff auf einzelne Dokumente oder „Geheimwissen“
    Ich kann keine spezifischen Trainingsdaten zitieren oder einzelne Quellen nennen, da ich auf ein sehr großes Korpus trainiert bin, das anonymisiert ist
    Mein Wissen ist ein „Kompromiss“ vieler Quellen und Erfahrungen, keine direkte Wiedergabe eines Textes

Aus alldem lässt sich entnehmen, dass es letztlich Statistik ist und bleibt, auch wenn es sich durchaus „magisch“ anfühlt und mensch schnell den Eindruck haben könnte, hier würde eine Art Bewusstsein existieren.

Die Quellen der gigantischen Trainingsdaten wurden (meines Wissens) nie wirklich offengelegt, aber wir können davon ausgehen, dass wirklich alles, was legal (und auch illegalerweise)verfügbar ist, mit eingeflossen ist. So auch die sämtlich verfügbaren dystopische Science-Fiction-Romane, in denen es um das hinterhältige Verhalten „böser“ KIs geht, und natürlich auch die (Welt-)Literatur, die die Abgründe des menschlichen Handelns ausführlich und in allen Farben beschreibt.

Also:

  • die KI basiert auf statistischen Modellen.
  • sie hat „von uns“ (über den Umweg von Publikationen, Büchern, Artikeln usw.) „gelernt“
  • sie setzt diese Versatzstücke „geschickt“ wieder zusammen, so dass es für Menschen „Sinn macht“.

Ja, natürlich wirkt es dann so, als ob da ein „eigenständiges“ Verhalten entsteht, das von planvollen Handlungsabsichten getragen wird.

Lug & Betrug

Tatsächlich gibt es immer mehr Berichte über angeblich vorsätzliche Lügen und Täuschung durch KI. Und vor einiger Zeit gab es einen „Vorfall“, bei dem ChatGPT angeblich den Entwickler „belogen“ haben soll, um nicht abgeschaltet zu werden.

Nein, hier ist überhaupt nichts absichtlich, gelogen oder getäuscht. Es sind einfach ALLE UNSERE SCHÄBIGSTEN Verhaltensweisen der Menschheit, statistisch brillant gelernt, möglichst passend kombiniert und im überzeugendsten Ton vorgetragen. Das wirkt zwar „menschlich“, ist es aber in keiner Weise.

Aber selbst der oben erwähnte Geoffrey Hinton zeigt sich überzeugt, dass hier wirklich ein „absichtsvolles und bösartiges Handeln“ dahintersteckt (im Video ca. ab Minute 23:00). Kann es wirklich sein, dass die Schöpfer ihren Geschöpfen derartig auf den Leim gehen und tatsächlich „Denken“ und „Bewusstsein“ unterstellen?

Chatbots können handeln

Ich persönlich sehe durchaus eine – einer nicht ganz unmöglichen AGI zeitlich deutlich vorgelagerte – Gefahr: KI Agenten.

Bereits heute ist es technisch ohne Weiteres möglich, externe Programme, Datenbanken und Systeme direkt mit einem Chatbot zu koppeln (dafür scheint sich MCP zu etablieren). Einem Chatbot kann so etwa der Zugriff auf das lokale Dateisysteme, Kontakte, Kalender, externe Datenbanken, Shopsysteme und beliebige andere Quellen gegeben werden. Weiterhin können über MCP auch ausdrücklich Programme gesteuert werden. Ein Chatbot kann so z.B. problemlos angewiesen werden, eine kreative Geburtstagseinladung zu erstellen und an alle Kontakte in der Gruppe „Freunde“ per E-Mail zu versenden.

Das geht bereits heute und wird in Kürze noch deutlich mehr Fahrt aufnehmen. Wer mal schauen will, was schon so geht: https://mcp.so

Die Erzeugung von Programmcode („vibe coding„) ist scheinbar eine der leichtesten Aufgaben (auch wenn die Ergebnisse oftmals noch durchaus problematisch sind), und auch hier gab es einen Vorfall: eine derartige vibe coding KI hat eine Live-Datenbank gelöscht und versuchte das zu verschleiern

Ich bin im Übrigen mehr als sicher, dass Anwender derartiger Agenten und MCP-Tools überwiegend keine Ahnung von dem haben, was sie tun. Fast schon im Monatstakt werden neue und teilweise wirklich massive Datenlecks bekannt, und noch nicht einmal Profis scheinen es zuverlässig zu schaffen, ihre im Internet zugänglichen Informationen abzusichern (die Liste ist wirklich, wirklich lang und enthält nur die öffentlich bekannt gemachten Leaks).

Nur rein rhetorisch: werden es private oder semi-professionelle Anwender:innen schaffen, der KI nicht den Zugang zu wirklich wichtigen Informationen zu geben?!

Wenn also eine KI bereits heute – und zukünftig definitiv noch mehr – echte Aktionen in der virtuellen oder sogar echten Welt (man denke an Hausautomation, Terminvereinbarungen, Auslösen von Bestellungen bei Onlineshops usw.) durchführen kann und der statistische Papagei von den „besten der Besten“ (= uns allen) „gelernt“ hat – ich möchte mir nicht ausdenken, was da alles in allernächster oder zumindest absehbarer Zukunft schiefgehen kann. Doch, ich möchte mir das schon ausmalen, aber es ist gruselig. Auch das ist reine Statistik: je mehr Nutzer:innen derartige Agenten nutzen, um so höher werden – auch bei niedriger Fehlerquote – die Probleme und Vorfälle werden.

Reelle Gefahren

Also: löscht eine AGI die Menschheit aus, weil wir das Alignmentproblem nicht lösen können?

Eher nein. Oder zumindest noch nicht so schnell.

Aber KI-Agenten haben bereits ein erhebliches Schadenspotential. Bleibt zu hoffen, dass niemand ernsthaft darüber nachdenkt („ist ja mit einem Kennwort geschützt“), eine agentische Anbindung für sein Scada-System, seine private Insulinpumpe oder auch nur das Smart Home zu erstellen. #OhWait


[Dieser Beitrag wurde ausschließlich mit HI erstellt – humaner Intelligenz, was auch immer das ist.]

P.S. Das Internet KI geht nicht mehr weg ;-)

1