Mit Kontextfenstern von Hunderttausenden Tokens liegt eine Frage nahe: Warum noch eine aufwendige Retrieval-Pipeline bauen, wenn man dem Modell einfach alle Dokumente mitgeben kann? Ein Beitrag des Anthropic-Engineering-Teams zum Thema Context Engineering vom September 2025 liefert dafür eine differenzierte Antwort.
Kontext ist ein knappes Gut
Anthropic beschreibt ein Phänomen, das sich bei allen Modellen beobachten lässt, wenn auch unterschiedlich stark: Context Rot. Je mehr Tokens im Kontext stehen, desto schlechter kann das Modell einzelne Informationen daraus zuverlässig abrufen. Jeder zusätzliche Token verbraucht einen Teil des Aufmerksamkeitsbudgets. Das Ziel ist deshalb nicht möglichst viel Kontext, sondern die kleinste Menge an Informationen mit möglichst hoher Relevanz.
Vorab abrufen oder bei Bedarf nachladen
Der Beitrag unterscheidet zwei Strategien:
- Vorab-Retrieval: Klassisches RAG. Relevante Textabschnitte werden etwa über Embeddings gesucht und vor der eigentlichen Anfrage in den Kontext gelegt. Das ist schnell, setzt aber voraus, dass die Suche das Richtige findet.
- Just-in-time: Der Agent kennt nur Verweise wie Dateipfade, Links oder gespeicherte Abfragen und lädt Inhalte erst dann über Werkzeuge nach, wenn er sie braucht. Das ist langsamer, erlaubt aber schrittweises Erkunden.
In der Praxis empfiehlt Anthropic häufig eine Mischung. Claude Code lädt beispielsweise zu Beginn eine Projektdatei mit Grundinformationen und sucht alles Weitere bei Bedarf über Dateisuche. Für weniger dynamische Bereiche wie Recht oder Finanzen kann eine hybride Strategie besonders gut passen.
Lange Aufgaben, begrenzter Kontext
Für Aufgaben, die über viele Schritte laufen, nennt der Beitrag drei Techniken: Kompaktierung, bei der ein langer Verlauf zusammengefasst und mit der Zusammenfassung neu begonnen wird; strukturierte Notizen, die der Agent außerhalb des Kontexts ablegt und später wieder einliest; und Subagenten, die in eigenem, sauberem Kontext arbeiten und nur kompakte Ergebnisse zurückgeben. Dazu kommt ein Grundsatz für Werkzeuge: wenige, klar abgegrenzte Tools, die knappe Ergebnisse liefern.
Was heißt das für Ihr Projekt?
Wenn Sie einen Assistenten für Ihre Dokumentation, Ihren Produktkatalog oder Ihre Website-Inhalte planen, ist die Frage nicht „RAG oder langer Kontext“, sondern wie das Modell zur richtigen Zeit an die richtigen Informationen kommt. Bei überschaubaren Datenmengen reicht oft eine gute Suche als Werkzeug. Bei großen Beständen lohnt sich ein Retrieval-Index. In beiden Fällen gilt: Saubere, strukturierte Inhalte im CMS sind die beste Grundlage. Wir helfen Ihnen, Ihre Daten so aufzubereiten, dass Mensch und Maschine damit arbeiten können.