Ingest: heise+ Prompt-Caching (KV-Cache-Wiederverwendung, bis 90% Token-Ersparnis)

- Raw: raw/blog/2026-07-07_heise-prompt-caching.md (heise+ Paywall, free preview)
- Wiki: concepts/prompt-caching.md — KV-Cache-Basis, Prompt-Struktur,
  Performance-Gewinne (10x lokal / 90% Cloud), Komplementarität zu
  Model-Routing (Token Level vs Model Level), Cross-Refs
- Update: tools/model-routing.md — Cross-Ref zu prompt-caching.md
- Update: index.md, log.md (68. Update)
This commit is contained in:
Hector 2026-07-07 18:08:30 +02:00
parent 8f676acfa7
commit 37eebea188
5 changed files with 174 additions and 2 deletions

View file

@ -0,0 +1,68 @@
---
type: blog
source_url: https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html
retrieved: 2026-07-07
title: "KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann"
author: "heise online"
paywall: true
tags: [prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture]
---
# KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann
> **Quelle:** heise+ Ratgeber-Artikel — [heise.de/ratgeber/...](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html)
> **Paywall:** heise+ (nur Leseprobe verfügbar)
## Artikel-Zusammenfassung
Der heise-Plus-Ratgeber erklärt, wie Prompt-Caching die Kosten pro LLM-Anfrage senkt und die Antwortgeschwindigkeit erhöht. Der Mechanismus ist technisch simpel, wird aber oft übersehen oder durch ungeschickte Prompt-Strukturierung unwirksam gemacht.
### Funktionsweise
Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das Sprachmodell nur noch den neuen, abweichenden Teil verarbeiten.
Die technische Grundlage ist der **KV-Cache der Transformer-Architektur**: Die einmal berechneten Key- und Value-Vektoren der Prefill-Phase werden wiederverwendet. Statt bei jeder Anfrage den gesamten Prompt neu zu berechnen, wird nur der veränderte Suffix prozessiert.
### Performance-Gewinne
| Szenario | Verbesserung |
|----------|-------------|
| Lokal (z.B. Ollama) | Bis zu **10× schnellere** Inferenz |
| Cloud (z.B. Anthropic) | Bis zu **90 % Kostenreduktion** |
### Wichtige Prompt-Struktur
Entscheidend ist der Aufbau des Prompts:
- **Anfang:** Stabile Inhalte — Systemanweisungen, Dokumente, Tooldefinitionen, bisheriger Gesprächsverlauf
- **Ende:** Variable Daten — aktuelle Frage des Benutzers
Bei korrekter Strukturierung kann der stabile Präfix gecached und nur der variable Suffix neu berechnet werden.
### Wie ein LLM Text erzeugt
Ein LLM ist im Kern eine Textergänzungsmaschine. Die Eingabe (Prompt) besteht aus drei Schichten:
1. **System-Prompt** — Rollen- oder Verhaltensanweisung
2. **Kontext** — Dokumente, Tooldefinitionen, Gesprächsverlauf
3. **Aktuelle Frage** — Benutzereingabe
## Praktische Umsetzung
Der Artikel beschreibt eine lokale Demo mit Ollama (ohne Paywall-Details verfügbar). Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar.
## Relevanz für unser Setup
Prompt-Caching ist für Hector besonders relevant, da es den Gegenpart zu **Model-Routing** darstellt:
| Strategie | Ansatz | Hebel |
|-----------|--------|-------|
| **Model-Routing** | Task → günstigstes passendes Modell | Modellauswahl-Ebene |
| **Prompt-Caching** | Stabile Prompt-Präfixe cachen | Token-Ebene |
Beide Strategien sind komplementär und können kombiniert werden: Ein gerouteter Task (z.B. GLM 5.2 für Code-Execution) profitiert zusätzlich von einem gecachten System-Prompt-Präfix — insbesondere bei wiederholten Anfragen mit gleichem Kontext (z.B. Batch-Verarbeitung, Agenten-Loops mit stabilem System-Prompt).
## Externe Quellen
- [heise online Artikel (Paywall)](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html)
- [Anthropic Prompt Caching Dokumentation](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching)
- [Ollama](https://ollama.ai/)

View file

@ -0,0 +1,90 @@
---
created: 2026-07-07
updated: 2026-07-07
sources:
- blog/2026-07-07_heise-prompt-caching.md
tags: [concept, prompt-caching, kv-cache, transformer-architecture, token-optimization, cost-reduction, llm-inference, prompt-engineering, cache]
---
# Prompt-Caching — KV-Cache-Wiederverwendung zur Token- und Kostenreduktion
> **Stand:** 2026-07-07. Quelle: heise+ Ratgeber-Artikel. Siehe raw: `[[../../raw/blog/2026-07-07_heise-prompt-caching.md]]`
## Grundprinzip
Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das LLM nur noch den abweichenden Suffix verarbeiten. Das senkt sowohl Latenz als auch Token-Kosten.
## Technische Grundlage: KV-Cache
Die Basis ist der **KV-Cache der Transformer-Architektur**:
- Während der **Prefill-Phase** berechnet der Transformer für jedes Token Key- und Value-Vektoren (Self-Attention)
- Diese Vektoren werden im **KV-Cache** gespeichert
- Bei der nächsten Anfrage mit identischem Präfix werden die gecachten Vektoren **wiederverwendet**, statt neu berechnet
- Nur die neuen Tokens des Suffix durchlaufen die volle Prefill-Berechnung
### Prompt-Struktur ist entscheidend
Damit Prompt-Caching wirkt, muss der Prompt korrekt strukturiert sein:
| Position | Inhalt | Cache-Verhalten |
|----------|--------|----------------|
| **Anfang** (Präfix) | Systemanweisungen, Dokumente, Tooldefinitionen, Gesprächsverlauf | ✅ Wird gecached |
| **Ende** (Suffix) | Aktuelle Benutzerfrage, variable Parameter | 🔄 Neu berechnet |
Ein falscher Aufbau (z.B. variable Daten am Anfang) macht das Caching unwirksam.
## Performance-Gewinne
| Szenario | Verbesserung |
|----------|-------------|
| **Lokal** (Ollama, LM Studio) | Bis zu **10× schnellere** Inferenz |
| **Cloud** (Anthropic, OpenAI) | Bis zu **90 % Kostenreduktion** |
## Was ist kein Prompt-Caching?
Prompt-Caching ist **nicht**:
- **Context-Window-Effizienz** (das Reduzieren der Prompt-Länge durch bessere Formulierung)
- **Model-Routing** (Auswahl des günstigsten Modells für einen Task)
- **Semantisches Caching** (ähnliche Queries erkennen und gecachte Antworten ausliefern)
- **Batch-Processing** (mehrere Prompts parallel verarbeiten)
## Verbindung zu bestehendem Wiki
### Komplementär zu Model-Routing
Prompt-Caching und Model-Routing sind **komplementäre Kostenspar-Strategien** auf verschiedenen Ebenen:
| Strategie | Wiki-Seite | Ebene | Hebel |
|-----------|-----------|-------|-------|
| **Model-Routing** | `[[../tools/model-routing.md]]` | Modellauswahl | Task → günstigstes passendes Modell |
| **Prompt-Caching** | (diese Seite) | Token-Berechnung | Stabile Präfixe cachen → weniger Rechenaufwand |
**Kombination:** Ein über Model-Routing an GLM 5.2 gerouteter Code-Execution-Task profitiert zusätzlich von einem gecachten System-Prompt-Präfix. Besonders wirksam bei:
- **Batch-Verarbeitung** (gleicher System-Prompt, viele Varianten)
- **Agenten-Loops** (stabiler Instructions-Präfix, variierende Queries)
- **RAG-Pipelines** (Kontext-Dokumente am Anfang, Query am Ende)
### KV-Cache in der Transformer-Architektur
Siehe auch `[[../architecture/transformer-foundation.md]]` für die klassische Transformer-Architektur, auf der der KV-Cache basiert.
### Kostenspar-Patterns im OpenClaw-Stack
- `[[../tools/model-routing.md]]` — Routing-Patterns für 90% Kosteneinsparung
- `[[../concepts/llm/chinese-model-cost-routing.md]]` — DeRonin's 87% Cost-Cut-Playbook
- `[[../concepts/llm/glm-5.2-zai-coding-model.md]]` — GLM 5.2 als günstige Execution-Ebene
- `[[../architecture/model-routing.md]]` — OpenClaw's Two-Model-Pipeline
## Cloud-Anbieter mit Prompt-Caching
- **Anthropic Claude** — [Dokumentiertes Prompt Caching](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching), Cache-Read-Tokens werden günstiger abgerechnet
- **OpenAI** — Automatisches Caching langer Kontexte
- **Google Gemini** — Kontext-Caching über API
## Lokale Implementierung
Mit **Ollama** lässt sich Prompt-Caching lokal nachvollziehen:
- Ollama cacht KV-Cache automatisch bei wiederholten Prefixes
- Der Geschwindigkeitsgewinn (bis 10×) ist direkt messbar
- Erkenntnisse sind auf Cloud-Anbieter übertragbar

View file

@ -2,7 +2,7 @@
*Auto-generated: 2026-07-07* *Auto-generated: 2026-07-07*
*Letzte Aktualisierung: 2026-07-07 (67. Update — Matthew Berman Model Routing ingestiert. Raw: `raw/youtube/2026-07-07_berman-model-routing.md`. Wiki-Update: `tools/model-routing.md` neu erstellt — Kostenspar-Patterns für Modell-Routing, `architecture/model-routing.md` erweitert um Berman-Patterns, Coinbase-GLM 5.2-Einsatz, Planning-vs-Execution-Split.)* *Letzte Aktualisierung: 2026-07-07 (68. Update — heise Prompt-Caching ingestiert. Raw: `raw/blog/2026-07-07_heise-prompt-caching.md`. Wiki-Update: `concepts/prompt-caching.md` neu erstellt — KV-Cache-Wiederverwendung, Token-Kostenreduktion bis 90%, Promptstruktur (stabiler Präfix/variabler Suffix), komplementär zu Model-Routing. Cross-Ref in `tools/model-routing.md`.)*
## Architecture ## Architecture
@ -78,6 +78,7 @@
| [Fable 5 (Anthropic) — Frontier Coding Model, Premium Pricing](concepts/llm/fable-5-anthropic.md) | Public version of Mythos 5. Redeployed 01.07.2026 with restrictions. A+ quality in one-shot coding benchmark but 39× cost of GLM 5.2. Premium frontier positioning questioned by cost-routing data | xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md | | [Fable 5 (Anthropic) — Frontier Coding Model, Premium Pricing](concepts/llm/fable-5-anthropic.md) | Public version of Mythos 5. Redeployed 01.07.2026 with restrictions. A+ quality in one-shot coding benchmark but 39× cost of GLM 5.2. Premium frontier positioning questioned by cost-routing data | xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md |
| [AI Search Language Blind Spot — Der "Language Lens" Bias](concepts/llm/ai-search-language-blind-spot.md) | Daniel Nest (Why Try AI): AI-Such-Chatbots suchen in Anfragesprache → lokale Perspektiven systematisch ausgeschlossen. "Local Sources" Prompt-Hack für Quellen-Routing. Dänemark-Fallstudie: englische Suche = Geopolitik, dänische Suche = Innenpolitik. "Global Pulse" Claude Code Skill für Multi-Country-Vergleiche. Routing-Parallele zu chinese-model-cost-routing | blog/2026-07-02_whytryai-language-blind-spot.md | | [AI Search Language Blind Spot — Der "Language Lens" Bias](concepts/llm/ai-search-language-blind-spot.md) | Daniel Nest (Why Try AI): AI-Such-Chatbots suchen in Anfragesprache → lokale Perspektiven systematisch ausgeschlossen. "Local Sources" Prompt-Hack für Quellen-Routing. Dänemark-Fallstudie: englische Suche = Geopolitik, dänische Suche = Innenpolitik. "Global Pulse" Claude Code Skill für Multi-Country-Vergleiche. Routing-Parallele zu chinese-model-cost-routing | blog/2026-07-02_whytryai-language-blind-spot.md |
| [Vibe Coding vs. Enterprise Software Development](concepts/llm/vibe-coding-vs-enterprise.md) | Tielke's 45-Tage-Experiment: KI kann Enterprise-Software bauen — aber nur mit systematischem Vorgehen. 5-Phasen-Modell (Mikro-Management → Spec-Driven → TDD → Voice-Driven). Spezifikation wird zum neuen Coding. Lokale KI (Hermes auf NAS), Microservices, N8n, Docker, Gitea | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | | [Vibe Coding vs. Enterprise Software Development](concepts/llm/vibe-coding-vs-enterprise.md) | Tielke's 45-Tage-Experiment: KI kann Enterprise-Software bauen — aber nur mit systematischem Vorgehen. 5-Phasen-Modell (Mikro-Management → Spec-Driven → TDD → Voice-Driven). Spezifikation wird zum neuen Coding. Lokale KI (Hermes auf NAS), Microservices, N8n, Docker, Gitea | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
| [Prompt-Caching — KV-Cache-Wiederverwendung](concepts/prompt-caching.md) | Token-Kostenreduktion durch Caching stabiler Prompt-Präfixe. Technische Basis: KV-Cache der Transformer-Architektur (Key/Value-Vektoren der Prefill-Phase). Lokal: bis 10× schnellere Inferenz. Cloud: bis 90% Kosteneinsparung. Entscheidend: Promptstruktur (stabile Inhalte an den Anfang, variable Daten ans Ende). Komplementär zu Model-Routing — beide Strategien kombinierbar. | blog/2026-07-07_heise-prompt-caching.md |
| [Voice Driven Development](concepts/llm/voice-driven-development.md) | Höchste Phase der KI-gestützten Entwicklung: Sprache → Code. Tielke Phase 5. Sprachpräzision wird zur Kernkompetenz. Setzt Spec-Driven und TDD voraus | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | | [Voice Driven Development](concepts/llm/voice-driven-development.md) | Höchste Phase der KI-gestützten Entwicklung: Sprache → Code. Tielke Phase 5. Sprachpräzision wird zur Kernkompetenz. Setzt Spec-Driven und TDD voraus | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
| [Spec Driven Development mit Harness](concepts/llm/spec-driven-development-harness.md) | Tielke Phase 2-3: Spezifikation → KI-generierter Code → Test-Harness als Validierung. Strukturell verwandt mit Karpathy's LLM-Wiki-Pattern (raw → LLM → Q&A) | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | | [Spec Driven Development mit Harness](concepts/llm/spec-driven-development-harness.md) | Tielke Phase 2-3: Spezifikation → KI-generierter Code → Test-Harness als Validierung. Strukturell verwandt mit Karpathy's LLM-Wiki-Pattern (raw → LLM → Q&A) | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
| [School Automation Pilot](concepts/llm/school-automation-pilot.md) | Schul-Automation: Zeugnisse, Dokumentation, Logbücher automatisieren. Deterministische Schritte (KI) vs. Urteil/Review (Mensch) trennen. Datenschutz durch lokale LLMs. Business-/Pilotprozess-Modellierung. **Update 03.07.:** Gemini-Chat von Rüdiger (19.06.) als Quelle ingestiert — KLV-CSV → lokales LLM → Multi-Agent-Check → Lehrkraft-Freigabe, Korrekturen zu OpenClaw/RAG/Modellwahl | other/2026-07-02_ome23-operations-update-transkript.md + other/2026-06-19_gemini-chat-schul-automation-zeugnisse.md | | [School Automation Pilot](concepts/llm/school-automation-pilot.md) | Schul-Automation: Zeugnisse, Dokumentation, Logbücher automatisieren. Deterministische Schritte (KI) vs. Urteil/Review (Mensch) trennen. Datenschutz durch lokale LLMs. Business-/Pilotprozess-Modellierung. **Update 03.07.:** Gemini-Chat von Rüdiger (19.06.) als Quelle ingestiert — KLV-CSV → lokales LLM → Multi-Agent-Check → Lehrkraft-Freigabe, Korrekturen zu OpenClaw/RAG/Modellwahl | other/2026-07-02_ome23-operations-update-transkript.md + other/2026-06-19_gemini-chat-schul-automation-zeugnisse.md |

View file

@ -2,6 +2,18 @@
*Append-only changelog. Start: 2026-06-05* *Append-only changelog. Start: 2026-06-05*
## [2026-07-07] Ingest | heise+ — Prompt-Caching: Token sparen durch KV-Cache-Wiederverwendung
**Type:** ingest | **Scope:** raw/blog, wiki/concepts (new), wiki/tools (update), wiki/index, wiki/log
**Source:** heise+ Ratgeber — https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html (heise online, 2026-07-07, paywall)
**Trigger:** Subagent task.
**Actions:**
- raw: `raw/blog/2026-07-07_heise-prompt-caching.md` (created — 3.5 KB; Frontmatter [type: blog, source_url, retrieved: 2026-07-07, title, author: heise online, paywall: true, tags: prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture]. Content: Zusammenfassung aus Free-Preview-Daten [KV-Cache-Basis, 10× lokal / 90% Cloud, Prompt-Struktur-Regel], Komplementarität zu Model-Routing, Relevanz für Hector)
- wiki (NEW): `concepts/prompt-caching.md` (created — 4.2 KB; Frontmatter [created: 2026-07-07, updated: 2026-07-07, sources, tags]. Sections: Grundprinzip, Technische Grundlage (KV-Cache), Prompt-Struktur-Tabelle, Performance-Gewinne, Abgrenzung (was Prompt-Caching NICHT ist), Verbindung zu bestehendem Wiki [komplementär zu Model-Routing, Transformer Foundation, 4 Cost-Spar-Seiten], Cloud-Anbieter mit Prompt Caching, Lokale Implementierung)
- wiki (UPDATE): `tools/model-routing.md` — Cross-Ref zu concepts/prompt-caching.md hinzugefügt (komplementäre Kostenspar-Ebene: Token-Level via Cache, kombinierbar mit Routing)
- wiki: `index.md` (updated — Header auf "68. Update", neuer LLM-Konzept-Eintrag für Prompt-Caching mit KV-Cache-Wiederverwendung)
- log: this entry
**Subagent-Modell:** openrouter/deepseek/deepseek-v4-flash
## [2026-07-07] Ingest | Matthew Berman — 90% less AI costs via Model Routing ## [2026-07-07] Ingest | Matthew Berman — 90% less AI costs via Model Routing
**Type:** ingest | **Scope:** raw/youtube, wiki/tools (new), wiki/architecture (update), wiki/index, wiki/log **Type:** ingest | **Scope:** raw/youtube, wiki/tools (new), wiki/architecture (update), wiki/index, wiki/log
**Source:** YouTube — https://www.youtube.com/watch?v=1KKB_UiW6ls (Matthew Berman, 18:33, 2026-07-06, 7.734 views) **Source:** YouTube — https://www.youtube.com/watch?v=1KKB_UiW6ls (Matthew Berman, 18:33, 2026-07-06, 7.734 views)

View file

@ -66,3 +66,4 @@ Dedicated routing layer/API that classifies incoming requests and routes to the
- **[[../concepts/llm/fable-5-anthropic.md]]** — Fable 5 documentation (premium frontier) - **[[../concepts/llm/fable-5-anthropic.md]]** — Fable 5 documentation (premium frontier)
- **[[../concepts/agents/subconscious-agent.md]]** — OpenClaw's agent orchestration that could benefit from routing - **[[../concepts/agents/subconscious-agent.md]]** — OpenClaw's agent orchestration that could benefit from routing
- **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing - **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing
- **[[../concepts/prompt-caching.md]]** — Complementary cost-reduction on the *token* level: cache stable prompt prefixes instead of routing models. Both can be combined (routed model + cached prefix).