Was wirklich gemessen wurde
Eine Studie von 2017 zeichnete 3.213 Ganztagsaufnahmen in 329 Familien auf: rund 12.300 Erwachsenenwörter pro 12-Stunden-Tag. Gemessen wurden Kinder von 2 bis 48 Monaten.
Was daraus zitiert wird
„Unter 100 Millionen Wörter bis zum Alter von 13.“ Der Messbereich endete bei vier Jahren — die restlichen neun Jahre sind eine Annahme: die Rate bleibe gleich.
Zwei Altersgrenzen, eine Arbeit
Dasselbe Papier schreibt im einen Abschnitt „bis 13“ und rechnet im nächsten mit 12: 2 bis 7 Millionen pro Jahr × 12 Jahre = 24 bis 84 Millionen, aufgerundet auf 100.
Woher die 30 Millionen stammen
Nicht aus einem Durchschnitt, sondern aus dem Abstand zwischen den Extremen: rund 20.500 Wörter Unterschied an einem Tag zwischen obersten und untersten 2 %, über vier Jahre hochgerechnet 29,95 Millionen.
Die zweite berühmte Studie
42 Familien, beobachtet je eine Stunde im Monat, hochgerechnet auf ein 5.200-Stunden-Jahr. Ergebnis: 13, 26 oder 45 Millionen Wörter bis zum vierten Geburtstag, je nach sozialer Schicht.
Was als gehört zählt
Gezählt wurde alle Sprache in der Umgebung, auch nebenbei mitgehörte Gespräche. Der Vergleich stellt also alles Hörbare im Kinderzimmer neben alles Lesbare im Internet.
Wörter sind keine Token
Für dasselbe Korpus weist eine Quelle beides aus: 2.318 Milliarden Wörter = 3.059 Milliarden Token. Ein Wort sind rund 1,32 Token — bei Prosa 1,5, bei Lexikontexten 1,16.
Der Fehler auf der Fachseite
Dort steht, ein bekanntes Modell sehe „1,4 Billionen Wörter“. Im Originalpapier steht Token. Den Einheitenfehler, den man Zeitungen vorwirft, macht die Fachseite selbst.
Wie viel die Modelle sehen
GPT-3: 300 Milliarden Token. Chinchilla: 1,4 Billionen. Llama 3: rund 15 Billionen. Qwen3: 36 Billionen. In fünf Jahren das Hundertzwanzigfache — und zwei Papiere desselben Unternehmens nennen für Llama 2 zwei verschiedene Zahlen.
Wie groß der Abstand wirklich ist
Sauber umgerechnet: gegen GPT-3 rund 2.300-fach, gegen Llama 3 rund 114.000-fach. Die Fachquellen selbst nennen alles zwischen tausend- und millionenfach — drei Größenordnungen Spielraum.
Es liegt nicht am Futter
Ein Team trainierte Modelle auf 29 Millionen Wörtern echter Kindersprache. Ergebnis: Als Trainingstext ist sie nicht besonders wertvoll. Kinder bekommen keine besseren Daten — sie lernen wirksamer.
Die Kamera auf dem Kopf
Ein Kind trug von 6 bis 25 Monaten eine Kamera: 61 Stunden, 600.000 Videobilder, 37.500 Äußerungen — rund 1 % seiner Wachzeit. Das Modell traf 61,6 %. Ohne die zeitliche Kopplung von Bild und Ton fiel es auf Zufallsniveau.
Die Daten gehen aus
Der Bestand an hochwertigem, von Menschen geschriebenem Text wird auf rund 300 Billionen Token geschätzt und dürfte zwischen 2026 und 2032 aufgebraucht sein.
Der Ausweg mit Nebenwirkung
Anbieter kaufen Lizenzen und erzeugen synthetische Daten — Text von KI für KI. Trainiert ein Modell wiederholt auf den eigenen Ausgaben, verschlechtert es sich: Model Collapse.