Klein ist schön
Zip-Dateien scheinen allgegenwärtig zu sein. Wahrscheinlich haben Sie diese Woche eine verwendet, obwohl Sie vielleicht dachten, Sie würden ein Word-Dokument öffnen, ein E-Book lesen oder ein Konzert von Jimmy Buffet besuchen. Vielleicht wissen Sie, dass „zippen” ein Begriff für das Zusammenfassen und Verkleinern von Dateien auf Ihrem Computer ist, und vielleicht haben Sie kürzlich WinZip oder eines der Konkurrenzprodukte gestartet, um Bilder zu versenden oder eine Mixtape zu teilen. Aber ich wette, Sie haben noch nie einen Blick unter die Haube geworfen, um zu sehen, wie Daten verkleinert werden, und Sie haben mit ziemlicher Sicherheit nicht bemerkt, dass ChatGPT und seine Freunde nichts anderes als hochmoderne Komprimierungssysteme sind.
Das erste Gesetz der Verkleinerung, egal ob es sich um Ihre Kinder, einen Wolkenkratzer oder die gesamte Wikipedia handelt, lautet: Streben Sie nach perfekter Wiedergabetreue. Die „verlustbehaftete” Komprimierung, bei der Qualität gegen Größe eingetauscht wird, ist relativ einfach, aber nicht sehr gut. Wenn Sie alt genug sind, erinnern Sie sich vielleicht noch an die körnigen, ruckeligen Videos aus den Anfängen des Internets, die massiv komprimiert wurden, um durch die damals noch schmalen Audiokanäle zu passen. Im Gegensatz dazu ist der Goldstandard die verlustfreie Komprimierung, bei der jedes Byte und jedes Pixel perfekt erhalten bleibt und gleichzeitig die gesamte Datei verkleinert wird. Dies ist nur möglich, wenn Ihre Daten viele Redundanzen und Wiederholungen enthalten, was glücklicherweise meist der Fall ist: Wir können
10000000000000000000000000000000000000000000000000000000000000
000000000000000000000000000000000000000
als „1 gefolgt von hundert Nullen” oder 10¹⁰⁰ oder ein Googol (nein, nicht das) komprimieren, was alles viel kürzer ist als die Zahl in Dezimalschreibweise. (Die Dezimalform ist selbst komprimiert – eine Googol-Strichliste würde viel mehr Platz beanspruchen! Laute oder zufällige Daten lassen sich viel schwerer komprimieren als diese schönen sich wiederholenden Beispiele, weshalb Twitch-Streamer Schnee hassen.
Und wenn man darüber nachdenkt, wird klar, warum es eine harte Grenze dafür gibt, wie klein man etwas machen kann, ohne es zu zerstören. Es mag möglich erscheinen, mit einem Datensee in Zettabyte-Größe zu beginnen und ihn um das 1000-fache auf ein Exabyte zu verkleinern, aber was wäre, wenn man mit der gleichen Geschwindigkeit weitermachen und ihn erneut um das 1000-fache auf ein Petabyte, dann auf ein Pterobyte, dann auf ein Terabyte usw. komprimieren würde (ja, ich denke mir das gerade aus)? Am Ende hätten Sie die gesamten Daten der Welt in acht Einsen und Nullen gespeichert, und das ist absurd. Um sich davon zu überzeugen, versuchen Sie einmal, eine Zip-Datei zu komprimieren und dann das Ergebnis erneut zu komprimieren. Sie werden schnell feststellen, dass die Datei umso größer wird, je stärker Sie sie komprimieren – eine Sisyphusarbeit, die eher dem zehnmaligen Falten von Papier ähnelt.
Versuche, immer effizientere Komprimierungsverfahren zu entwickeln, trugen dazu bei, die Erforschung der Informationstheorie anzuregen. Forscher haben theoretische Grenzen dafür ermittelt, wie viel Reduzierung möglich ist: Je weniger komprimierbar Ihr Text ist, desto mehr „Informationsgehalt” hat er. Politiker und Influencer lassen sich also relativ leicht komprimieren, Joyce oder Hawking hingegen viel weniger. Ein kluger sowjetischer Mathematiker namens Kolmogorov erfand die führende „Informations”-Metrik, wobei er als Maßstab die Länge des kürzesten Computerprogramms nahm, das den zu messenden Text erzeugt. Wenn man es einmal so betrachtet, wird klar, dass eine clevere Komprimierung tatsächlich ein gewisses Maß an Intelligenz erfordert.
Beachten Sie in unserem obigen „Googol”-Beispiel, dass die Darstellungen umso kürzer werden, je komplexer sie sind: „Hundert Nullen” erfordert nur Zählen, während „10¹⁰⁰” Rekursion und Potenzierung erfordert. Das Gleiche geschieht auch bei der realen ZIP-Komprimierung, bei der Programmierer kleinere Dateien mit raffinierten Methoden wie der adaptiven Huffman-Kodierung erzeugen, die anhand einer Analyse der eingehenden Daten in Echtzeit bestimmen, wie die Komprimierungsmethode angepasst werden muss. In unserem Alltag verwenden und erfinden wir ständig neue, komprimierte Darstellungen der Welt um uns herum, wie beispielsweise die Maxwellschen Gleichungen, die „Ladder of Inference“ oder sogar „Make America Great Again“.
Und wenn man seinen Lieblings-Chatbot genau betrachtet, sieht er plötzlich wie ein Komprimierungs-Supercomputer aus, der einen Großteil der Komplexität der Datenmengen erfasst, die er während des Trainings mit „nur“ ein paar Billionen Parametern aufgenommen hat. Ich würde nicht sagen, dass ChatGPT und Claude „denken“, aber sie scheinen auf jeden Fall komplexe interne Modelle der Welt aufzubauen, von denen wir einige gerade in ihren „Gehirnen“ zu entdecken beginnen.
Ja, es stimmt, dass KI nichts Ausgefalleneres tut, als das nächste Wort vorherzusagen, und aus diesem Grund kann man sie als bloße Papageien abtun, wenn man möchte. Tatsächlich ist es jedoch genau das, was man braucht, um komprimierte Daten verständlich zu machen: auf der Grundlage der begrenzten Informationen, die bereits vorliegen, vorauszusagen, was als Nächstes kommt. Es gibt gute Belege dafür, dass diese Fähigkeit in hohem Maße mit „intelligenter” Leistung korreliert. Ein Forscher glaubt so fest an diesen Zusammenhang, dass er Ihnen bis zu 500.000 Euro zahlt, wenn Sie einen Durchbruch bei der „intelligenten” Komprimierung erzielen. Persönlich bin ich trotz der unvermeidlichen Marktkorrektur so überzeugt von der langfristigen Nützlichkeit der heutigen clever komprimierenden Chatbots, dass ich ein neues Buch darüber schreiben werde, wie man sie ohne Chatten nutzen kann. Warten Sie nicht mit angehaltenem Atem auf die Singularität, aber Sie wären verrückt, wenn Sie Ihre Produktivität und Ihre Gewinne nicht mit einer Armee von adäquaten Assistenten steigern würden.