Prompt und Antwort

Eine Markdown-Datei pro Erinnerung und ein Inhaltsverzeichnis darüber: Mehr steckt hinter dem Gedächtnis unseres Coding-Agenten nicht. Im zweiten Teil unserer Memory-Reihe geht es um die Fragen drumherum. Wann liest der Agent aus seinem Notizbuch, wie findet er das Richtige, wann schreibt er hinein, und wer entscheidet das eigentlich: das Modell, der Harness oder beide? Grundlage sind unsere Code-Analyse von neun Gedächtnissystemen für die DeepSeek Harness und das Notizbuch, das unser eigener Coding-Agent seit August führt.
Die Mechanik: ein Index, der zu Sitzungsbeginn geladen wird, und Dateien, die das Modell selbst öffnet, ganz ohne Suche und Embeddings
Wer schreibt: das Modell nach einer Anleitung im System-Prompt, der Harness als Anstoß oder der Harness allein
Was der Prompt-Cache damit zu tun hat und warum ein Index im System-Prompt in langen Sitzungen teuer wird
Sub-Agenten im Notizbuch: lesen ja, schreiben nein, und warum das Gedächtnis auch ein Sicherheitsthema ist
Ein ehrlicher Blick in unser eigenes Notizbuch: eine Indexzeile mit über dreitausend Zeichen, Widersprüche, veraltete Einträge, und wie man es besser pflegt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Was ist ein Knowledge Graph eigentlich, und ist das überhaupt neu? Wir erklären, woraus so ein Graph besteht, worin er sich von einer relationalen Datenbank und einer Vektordatenbank unterscheidet und warum die Idee gut sechzig Jahre alt ist. Dann geht es um die Fragen, an denen die meisten Projekte hängen bleiben: Woher weiß man, welche Arten von Knoten man braucht, und wer entscheidet, welches Wissen hineinkommt?
Knoten, benannte Kanten und das Tripel aus Subjekt, Prädikat und Objekt, dazu was eine Ontologie ist
Von semantischen Netzen und Cyc über Googles „Dinge statt Zeichenketten“ bis GraphRAG: was die Sprachmodelle wirklich verändert haben
Kompetenzfragen als Bauplan: aus Substantiven werden Knotentypen, aus Verben Kanten, und die typischen Fehler beim Modellieren
Was hineinkommt: Rang der Quellen, Stammdaten als Rückgrat, Zusammenführen, Herkunft an jeder Kante und zwei Zeiten je Fakt
Technik: RDF gegen Property Graph, wie die Frage in den Graphen kommt, GraphRAG, LazyGraphRAG, LightRAG und Graphiti, und wann sich ein Graph überhaupt lohnt
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Ein Embedding-Modell macht aus einem Foto 768 Zahlen und kann diese Zahlen nicht wieder in Worte zurückübersetzen. Wir wollten trotzdem wissen, was in so einem Bild-Vektor steckt. Mit EmbeddingGemma 2 von Google, einem Foto aus einem öffentlichen Datensatz und einer Methode, die nur misst und nie zurückrechnet, haben wir versucht, die Bedeutung des Bildes wieder herauszulesen. Das klappt erstaunlich gut, aber nicht überall.
Warum ein Embedding-Modell keinen Rückweg kennt und wie man mit Raten und Prüfen trotzdem Wörter aus einem Vektor gewinnt
Beam-Suche über 30.000 Wörter und ein kleines Sprachmodell, das das Bild nie sieht, aber für die Grammatik sorgt
Die Modalitätslücke: Warum fast jeder Text einem Bild schon „nah“ ist und weshalb wir jeden Wert gegen eine Grundlinie lesen
Ein Vektor als Mischung: Zutaten zerlegen und einzelne Dinge herausrechnen
Wie aus Kacheln und Tokens am Ende ein einziger Vektor wird, und was beim Mitteln verloren geht
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Was du einem Agenten heute beibringst, weiß er morgen nicht mehr. In unserer Agentenreihe beginnt das Thema Gedächtnis, und wir fangen mit dem Überblick an: Warum braucht ein Agent überhaupt ein eigenes Memory-System, und warum gibt es dafür so verschiedene Lösungen? Grundlage sind neun Gedächtnissysteme aus der Community, die wir uns für die DeepSeek Harness direkt im Quellcode angesehen haben.
Warum Verlauf und Regeldateien nicht reichen, und woran du merkst, dass deinem Agenten ein Gedächtnis fehlt
Fünf Schichten von Gedächtnis: Regeln, Nutzerprofil, Projektwissen, Episoden und Wissenssammlung – und wie viel davon immer im Kontext liegen sollte
Die Muster im Vergleich: das Notizbuch, das das Modell selbst führt, die automatische Destillation mit Dream, Honcho als externer Beobachter, der Suchindex über alte Gespräche und das LLM-Wiki nach Andrej Karpathy
Drei Fragen, nach denen sich jedes System sortieren lässt: Verhalten oder Wissen? Wer schreibt? Und läuft es mitten in der Sitzung oder parallel daneben?
Was ein Gedächtnis im Kontext kostet und warum es eine Rolle spielt, ob Erinnerungen im System-Prompt oder als eigene Nachricht landen
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

RAG, GraphRAG, LightRAG, OpenRAG, LoRA, QLoRA – und wie bringe ich eigene Dokumente in die KI? Diese Frage kam als Hörerwunsch bei uns an. Wir spielen sie an einem Maschinenbauer durch, dessen Servicetechniker einen Assistenten bekommen sollen, der aus Handbüchern und Serviceberichten antwortet. Am Ende kannst du jeden dieser Begriffe einordnen.
Warum „alle Dokumente ins Chatfenster“ scheitert: begrenztes Kontextfenster, Kosten und Tempo, Lost in the Middle, Rechte und Aktualität
Wie RAG in vier Schritten funktioniert: Chunking, Embeddings und Vektordatenbank, Retrieval, Antwort mit Quellenangabe – und warum die meisten Fehler bei der Suche entstehen
Die Begriffe auf vier Ebenen: das Prinzip, Varianten wie Hybrid Search, Reranking, GraphRAG, LightRAG und Agentic RAG, fertige Produkte wie OpenRAG – und was gar kein RAG ist
Fine-Tuning mit LoRA und QLoRA gegen RAG: Das eine gibt dem Modell Verhalten, das andere Wissen
Wann Long Context mit Zwischenspeicher (CAG) die einfachere Lösung ist
Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.