Hutter-Preis

Der Hutter-Preis (englisch Hutter Prize, auf der Website 500'000€ Prize for Compressing Human Knowledge) ist ein von dem deutschen Informatiker Marcus Hutter gestifteter Preis für verlustfreie Datenkompression. Hutter schrieb ihn am 6. August 2006 aus, um die Forschung zur künstlichen Intelligenz zu fördern. Ausgezeichnet wird, wer einen festgelegten Auszug aus der englischsprachigen Wikipedia um mindestens ein Prozent stärker komprimiert als der bisherige Rekordhalter.

Aufgabe

Zu komprimieren ist ein festes Textkorpus, die Datei „enwik9“. Sie enthält die erste Milliarde Bytes (1 GB) eines Abbilds der englischsprachigen Wikipedia vom 3. März 2006. Bis 2020 waren es nur die ersten 100 Millionen Bytes („enwik8“). Beide Dateien sind zugleich die Testdateien des Large Text Compression Benchmark von Matt Mahoney. „enwik9“ besteht zu etwa 75 % aus Fließtext und zu 25 % aus Tabellen, Links, XML-Auszeichnungen und anderen Daten.

Hintergrund

Die Organisatoren gehen davon aus, dass gute Kompression und Intelligenz eng zusammenhängen. Wer Daten besser komprimieren kann, kann sie auch besser vorhersagen, und gute Vorhersagen sind die Voraussetzung für zielgerichtetes Handeln. Hutter hat dazu eine mathematische Theorie universeller künstlicher Intelligenz entwickelt. Danach handelt ein Software-Agent in einer unbekannten, aber berechenbaren Umgebung optimal, wenn er bei jedem Schritt annimmt, dass die Umgebung wahrscheinlich von einem der kürzesten Programme gesteuert wird, die mit allen bisherigen Beobachtungen vereinbar sind. Weil die Kolmogorow-Komplexität nicht berechenbar ist, lässt sich dieses Ideal nur näherungsweise umsetzen.

Nach Matt Mahoney erfordert das Vorhersagen von Text Sprachregeln und umfangreiches Weltwissen. Ein Kompressionsprogramm steht vor derselben Aufgabe, denn es kann wahrscheinlichen Zeichenfolgen nur dann kurze Codes zuweisen, wenn es sie als wahrscheinlich erkennt.

Regeln

• Einzureichen ist ein Kompressionsprogramm, das aus „enwik9“ ein selbstextrahierendes Archiv erzeugt. Ohne Eingabe gestartet, muss das Archiv eine Datei erzeugen, die mit „enwik9“ identisch ist. Gewertet wird die Gesamtgröße S von Kompressionsprogramm und Archiv. Für getrennte Kompressions- und Dekompressionsprogramme und für Einreichungen als Quellcode gibt es Sonderregeln. Nötige Befehlszeilenoptionen werden zu S hinzugezählt.
• Die Programme müssen unter Windows oder Linux auf x86-Prozessoren (32 oder 64 Bit) laufen und dürfen keine Informationen aus anderen Quellen beziehen, etwa aus weiteren Dateien oder Rechnernetzen.
• Jedes Programm muss in weniger als 70.000/T Stunden laufen, wobei T der Geekbench-5-Wert des Rechners ist. Es darf höchstens 10 GB Arbeitsspeicher und 100 GB Festplattenplatz für temporäre Dateien verwenden, nur einen Prozessorkern und keinen Grafikprozessor.
• Der dokumentierte Quellcode muss unter einer von der Open Source Initiative anerkannten Lizenz veröffentlicht werden, bevor das Preisgeld ausgezahlt wird. Bis 2017 wurde der Quellcode nicht verlangt, nach Angabe der Organisatoren waren die damaligen Einreichungen deshalb für andere nutzlos.

Ein Preis wird vergeben, wenn der bisherige Rekord L um mindestens ein Prozent unterboten wird. Das Preisgeld beträgt 500.000 Euro × (L − S)/L, also 5000 Euro je Prozent Verbesserung. Der Preisfonds von 500.000 Euro wird durch Auszahlungen nicht kleiner. Einreichungen werden in der Reihenfolge ihres Eingangs bearbeitet und mindestens 30 Tage lang öffentlich zur Diskussion gestellt, bevor ein Preis vergeben wird. Über Rekord, Preis und Höhe entscheidet Hutter. Die Regeln können sich jederzeit ändern, maßgeblich ist die jeweils auf der Website veröffentlichte Fassung.

Organisation

Dem Preiskomitee gehören Marcus Hutter, Matt Mahoney und Jim Bowery an. Hutter ist Schiedsrichter, Geldgeber und Verwalter des Preisfonds, Mahoney führt den Wettbewerb durch, und Bowery prüft die Einreichungen und ist für die Öffentlichkeitsarbeit zuständig. Der Wettbewerb hat keinen Endtermin. Hutter will den Preis nach eigener Aussage auch über seinen Tod hinaus finanzieren.

Geschichte

2005 schlug Jim Bowery einen größeren Kompressionswettbewerb auf Grundlage der Wikipedia vor. 2006 verglich Matt Mahoney zahlreiche Kompressionsprogramme an Wikipedia-Daten, im selben Jahr schrieb Hutter den Preis mit 50.000 Euro aus. Die Startlinie markierte Mahoneys Programm paq8f aus der PAQ-Familie mit einem Kompressionsfaktor von 5,46 auf „enwik8“. Es benötigte zur Dekompression etwa fünf Stunden. Zwischen 2006 und 2017 gewann Alexander Rhatushnyak den Preis viermal.

2020 wurden die Datei, der Preisfonds, die erlaubte Rechenzeit sowie Arbeitsspeicher und Festplattenplatz jeweils verzehnfacht. Aus „enwik8“ wurde „enwik9“, aus 50.000 Euro wurden 500.000 Euro. Als Ausgangswert diente Rhatushnyaks Programm phda9v1.8. Um die Teilnahme zu erleichtern, gewährte Hutter ab dem 1. Januar 2021 vorübergehend einen Nachlass von 5000 Bytes pro Tag auf den Rekordwert. Dieser wurde beim Preisgeld des ersten enwik9-Preisträgers Artemiy Margaritov (2021) berücksichtigt.

Der derzeitige Rekord wurde am 24. Juli 2026 von Vladimir Ivanov aufgestellt. Sein Programm „fx2-cmix-T“ komprimiert „enwik9“ auf eine Gesamtgröße von 100.424.672 Bytes, was einem Kompressionsfaktor von 9,96 entspricht, und wurde mit 37.300 Euro prämiert. Bis Oktober 2026 wurden insgesamt 85.485 Euro Preisgeld ausgezahlt.

Preisträger

Die Tabellen geben die Rekorde wieder, die auf der Website des Preises aufgeführt sind. Die Verbesserung bezieht sich jeweils auf den vorherigen Rekord.

Weblinks

• Website des Hutter-Preises (englisch)
• Large Text Compression Benchmark von Matt Mahoney (englisch)

Einzelnachweise

1. 1 2 3 4 5 Marcus Hutter: 500'000€ Prize for Compressing Human Knowledge. Abgerufen am 31. Oktober 2026 (englisch). 
2. ↑ Matt Mahoney: About the Test Data. 1. September 2011, abgerufen am 31. Oktober 2026 (englisch). 
3. ↑ Marcus Hutter: There are lots of non-human language pieces in the file. In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
4. ↑ Marcus Hutter: What does compression has to do with (artificial) intelligence? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
5. ↑ Marcus Hutter: Universal Artificial Intelligence. Sequential Decisions Based on Algorithmic Probability. Springer, Berlin 2005, ISBN 3-540-22139-5, doi:10.1007/b138233. 
6. ↑ Matt Mahoney: Rationale for a Large Text Compression Benchmark. 23. Juli 2009, abgerufen am 31. Oktober 2026 (englisch). 
7. ↑ Marcus Hutter: Why do you restrict to a single CPU core and exclude GPUs? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
8. ↑ Marcus Hutter: Why do you require submission of documented source code? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
9. ↑ Marcus Hutter: Human Knowledge Compression Contest: Detailed Rules for Participation. Abgerufen am 31. Oktober 2026 (englisch). 
10. ↑ Marcus Hutter: Is the compression contest still ongoing? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
11. ↑ Marcus Hutter: Why did you go BIG in 2020? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch). 
12. ↑ Marcus Hutter: Why did you grant a temporary relaxation in 2021 of 5'000 Byte per day? In: Human Knowledge Compression Contest Frequently Asked Questions & Answers. Abgerufen am 31. Oktober 2026 (englisch).