Prompt und Antwort

„Wir setzen KI ein" ist ungefähr so konkret wie „Wir machen die Buchhaltung mit Zahlen". Alle sprechen über Agenten, und jeder meint etwas anderes. Deshalb räumen wir in dieser Folge bei den Wörtern auf — mit einem Bild: Ein Sprachmodell ist ein Gehirn in einem Glas. Es hat mehr gelesen als jeder Mensch und kann denken. Aber es hat keine Augen, keine Hände und kein Gedächtnis. Alles andere ist Software drumherum, und die hat einen Namen: Harness. Der Auftakt unserer Freitagsfolgen zum Agentenbau.
Die Agenten-Leiter: vom PDF-Zusammenfasser über Custom GPTs und Support-Agenten bis zu OpenClaw, Hermes und dem neuen DeepSeek-Agenten — dasselbe Gehirn, jedes Mal eine Schicht mehr drumherum
Ab wann wir wirklich Agent sagen: die vier Stufen aus Aufruf, Gesprächsverlauf, Anweisung — und der Schleife mit Ziel und Werkzeugen
Das Kontextfenster, wörtlich ein Fenster im Glas: Was der Harness nicht davorhält, existiert für das Modell nicht
Die Halluzination des Werkzeugaufrufs: Das Gehirn glaubt, es hätte gegriffen — und die Hand hat sich nicht bewegt
Warum ein mittleres Gehirn mit gutem Körper ein brillantes ohne Hände schlägt, und wieso 85 Prozent Erfolgsquote für den produktiven Einsatz nicht reichen
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Eigentlich war für heute ein fachliches Thema geplant. Aber wer die letzten Folgen gehört hat, hat es gemerkt — und ihr habt es uns über WhatsApp, Mail und die Spotify-Kommentare auch gesagt: Bei zwei Folgen sind die Stimmen abgedriftet, in Tonhöhe und Klangfarbe, bis es kaum noch hörbar war. Deshalb heute ein Erfahrungsbericht aus der eigenen Werkstatt: was da passiert ist, was wir seitdem ausprobiert haben, und womit ihr in diesem Moment zuhört.
Das Bild dazu: Sitzen die beiden Sprecher an einem Tisch — oder sitzt jeder allein in seiner Kabine?
Text zu Sprache gegen Dialogmodell: warum das eine vorliest und das andere ein Gespräch erzeugt — und warum unsere Folgen so lebendig waren, solange es funktioniert hat
Der Tisch, an dem die Stimmen heimlich die Plätze tauschen: was beim lokalen Dialogmodell schiefgeht und was wir wochenlang dagegen gebaut haben
Notebook LM hinter der Glasscheibe: saubere Stimmen, aber kein Skript hineinreichbar — und zehnmal „Video Random Access Memory" in einer Folge
Eleven Labs über die Schnittstelle: warum die ältere Modellgeneration, was Tempo 1,1 mit einem Hörbuch zu tun hat, und wie der Schnitt aus Kabinen wieder einen Tisch macht
Warum wir den Podcast trotzdem nicht selbst einsprechen — und wie es weitergeht
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten.
FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.
Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht
Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät
Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind
Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft
Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm bei jeder einzelnen Anfrage denselben System-Prompt mit — Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über 25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit mehreren Nutzern, löst er sich bei Platzmangel aber einfach in Luft auf.
Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum das so ist — und wie man den Cache trotzdem dauerhaft warm hält.
Warum der Cache nach einem Rotationsprinzip arbeitet und wer dabei zuerst rausfliegt: der Türsteher im vollen Club
Wie viel Speicher 25.000 Token wirklich belegen — deutlich weniger, als die meisten schätzen
Der pragmatische Weg auf dem DGX Spark: Speicherpool überdimensionieren und den Cache mit einem Heartbeat aus einem einzigen Token am Leben halten
Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen normalisiert und damit die Hashkette bricht
Warum das Auslagern auf den Hauptprozessor bei geteiltem Arbeitsspeicher exakt nichts bringt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Alibaba hat Qwen 3.8 veröffentlicht, und wir haben es durch unsere eigenen Tests geschickt — nicht Token pro Sekunde, sondern echte Aufträge aus dem Betrieb, zum Beispiel einen Termin für drei Leute mit vollen Kalendern finden. Das Ergebnis: derselbe Bauplan wie der Vorgänger, aber messbar mehr Aufgaben, die wirklich zu Ende gebracht werden. Und ein Preis, den man kennen sollte, bevor man umsteigt.
Ein Modell ist ein Motor, kein Auto. In dieser Folge geht es darum, wie man einen Motor misst — und warum Drehzahl nicht Ankommen ist.
Warum wir nicht Token zählen, sondern ob der Auftrag ganz fertig wird — und was „fast fertig" in der Praxis wert ist
Gleiche Architektur, andere Gewichte: woher die Verbesserung wirklich kommt, und wie wir das sauber gemessen haben (dicht gegen dicht, nicht gegen das Experten-Modell)
Was uns bei keinem Modell dieser Größe vorher aufgefallen ist: ein Befehl statt vierzehn
27 statt 69 Token pro Sekunde, Nachdenken auf mittlerer Stufe — was das kostet und für wen das trotzdem passt
RTX 4090 gegen DGX Spark: warum 60.000 Token Kontext für einen Agenten knapp werden, und welche Messung wir noch schuldig sind
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.