diff --git a/raw/blog/2026-07-07_heise-prompt-caching.md b/raw/blog/2026-07-07_heise-prompt-caching.md new file mode 100644 index 0000000..7d5bd76 --- /dev/null +++ b/raw/blog/2026-07-07_heise-prompt-caching.md @@ -0,0 +1,68 @@ +--- +type: blog +source_url: https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html +retrieved: 2026-07-07 +title: "KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann" +author: "heise online" +paywall: true +tags: [prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture] +--- + +# KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann + +> **Quelle:** heise+ Ratgeber-Artikel — [heise.de/ratgeber/...](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html) +> **Paywall:** heise+ (nur Leseprobe verfügbar) + +## Artikel-Zusammenfassung + +Der heise-Plus-Ratgeber erklärt, wie Prompt-Caching die Kosten pro LLM-Anfrage senkt und die Antwortgeschwindigkeit erhöht. Der Mechanismus ist technisch simpel, wird aber oft übersehen oder durch ungeschickte Prompt-Strukturierung unwirksam gemacht. + +### Funktionsweise + +Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das Sprachmodell nur noch den neuen, abweichenden Teil verarbeiten. + +Die technische Grundlage ist der **KV-Cache der Transformer-Architektur**: Die einmal berechneten Key- und Value-Vektoren der Prefill-Phase werden wiederverwendet. Statt bei jeder Anfrage den gesamten Prompt neu zu berechnen, wird nur der veränderte Suffix prozessiert. + +### Performance-Gewinne + +| Szenario | Verbesserung | +|----------|-------------| +| Lokal (z. B. Ollama) | Bis zu **10× schnellere** Inferenz | +| Cloud (z. B. Anthropic) | Bis zu **90 % Kostenreduktion** | + +### Wichtige Prompt-Struktur + +Entscheidend ist der Aufbau des Prompts: + +- **Anfang:** Stabile Inhalte — Systemanweisungen, Dokumente, Tooldefinitionen, bisheriger Gesprächsverlauf +- **Ende:** Variable Daten — aktuelle Frage des Benutzers + +Bei korrekter Strukturierung kann der stabile Präfix gecached und nur der variable Suffix neu berechnet werden. + +### Wie ein LLM Text erzeugt + +Ein LLM ist im Kern eine Textergänzungsmaschine. Die Eingabe (Prompt) besteht aus drei Schichten: +1. **System-Prompt** — Rollen- oder Verhaltensanweisung +2. **Kontext** — Dokumente, Tooldefinitionen, Gesprächsverlauf +3. **Aktuelle Frage** — Benutzereingabe + +## Praktische Umsetzung + +Der Artikel beschreibt eine lokale Demo mit Ollama (ohne Paywall-Details verfügbar). Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar. + +## Relevanz für unser Setup + +Prompt-Caching ist für Hector besonders relevant, da es den Gegenpart zu **Model-Routing** darstellt: + +| Strategie | Ansatz | Hebel | +|-----------|--------|-------| +| **Model-Routing** | Task → günstigstes passendes Modell | Modellauswahl-Ebene | +| **Prompt-Caching** | Stabile Prompt-Präfixe cachen | Token-Ebene | + +Beide Strategien sind komplementär und können kombiniert werden: Ein gerouteter Task (z. B. GLM 5.2 für Code-Execution) profitiert zusätzlich von einem gecachten System-Prompt-Präfix — insbesondere bei wiederholten Anfragen mit gleichem Kontext (z. B. Batch-Verarbeitung, Agenten-Loops mit stabilem System-Prompt). + +## Externe Quellen + +- [heise online Artikel (Paywall)](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html) +- [Anthropic Prompt Caching Dokumentation](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching) +- [Ollama](https://ollama.ai/) \ No newline at end of file diff --git a/wiki/concepts/prompt-caching.md b/wiki/concepts/prompt-caching.md new file mode 100644 index 0000000..4d3e219 --- /dev/null +++ b/wiki/concepts/prompt-caching.md @@ -0,0 +1,90 @@ +--- +created: 2026-07-07 +updated: 2026-07-07 +sources: + - blog/2026-07-07_heise-prompt-caching.md +tags: [concept, prompt-caching, kv-cache, transformer-architecture, token-optimization, cost-reduction, llm-inference, prompt-engineering, cache] +--- + +# Prompt-Caching — KV-Cache-Wiederverwendung zur Token- und Kostenreduktion + +> **Stand:** 2026-07-07. Quelle: heise+ Ratgeber-Artikel. Siehe raw: `[[../../raw/blog/2026-07-07_heise-prompt-caching.md]]` + +## Grundprinzip + +Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das LLM nur noch den abweichenden Suffix verarbeiten. Das senkt sowohl Latenz als auch Token-Kosten. + +## Technische Grundlage: KV-Cache + +Die Basis ist der **KV-Cache der Transformer-Architektur**: + +- Während der **Prefill-Phase** berechnet der Transformer für jedes Token Key- und Value-Vektoren (Self-Attention) +- Diese Vektoren werden im **KV-Cache** gespeichert +- Bei der nächsten Anfrage mit identischem Präfix werden die gecachten Vektoren **wiederverwendet**, statt neu berechnet +- Nur die neuen Tokens des Suffix durchlaufen die volle Prefill-Berechnung + +### Prompt-Struktur ist entscheidend + +Damit Prompt-Caching wirkt, muss der Prompt korrekt strukturiert sein: + +| Position | Inhalt | Cache-Verhalten | +|----------|--------|----------------| +| **Anfang** (Präfix) | Systemanweisungen, Dokumente, Tooldefinitionen, Gesprächsverlauf | ✅ Wird gecached | +| **Ende** (Suffix) | Aktuelle Benutzerfrage, variable Parameter | 🔄 Neu berechnet | + +Ein falscher Aufbau (z. B. variable Daten am Anfang) macht das Caching unwirksam. + +## Performance-Gewinne + +| Szenario | Verbesserung | +|----------|-------------| +| **Lokal** (Ollama, LM Studio) | Bis zu **10× schnellere** Inferenz | +| **Cloud** (Anthropic, OpenAI) | Bis zu **90 % Kostenreduktion** | + +## Was ist kein Prompt-Caching? + +Prompt-Caching ist **nicht**: +- **Context-Window-Effizienz** (das Reduzieren der Prompt-Länge durch bessere Formulierung) +- **Model-Routing** (Auswahl des günstigsten Modells für einen Task) +- **Semantisches Caching** (ähnliche Queries erkennen und gecachte Antworten ausliefern) +- **Batch-Processing** (mehrere Prompts parallel verarbeiten) + +## Verbindung zu bestehendem Wiki + +### Komplementär zu Model-Routing + +Prompt-Caching und Model-Routing sind **komplementäre Kostenspar-Strategien** auf verschiedenen Ebenen: + +| Strategie | Wiki-Seite | Ebene | Hebel | +|-----------|-----------|-------|-------| +| **Model-Routing** | `[[../tools/model-routing.md]]` | Modellauswahl | Task → günstigstes passendes Modell | +| **Prompt-Caching** | (diese Seite) | Token-Berechnung | Stabile Präfixe cachen → weniger Rechenaufwand | + +**Kombination:** Ein über Model-Routing an GLM 5.2 gerouteter Code-Execution-Task profitiert zusätzlich von einem gecachten System-Prompt-Präfix. Besonders wirksam bei: +- **Batch-Verarbeitung** (gleicher System-Prompt, viele Varianten) +- **Agenten-Loops** (stabiler Instructions-Präfix, variierende Queries) +- **RAG-Pipelines** (Kontext-Dokumente am Anfang, Query am Ende) + +### KV-Cache in der Transformer-Architektur + +Siehe auch `[[../architecture/transformer-foundation.md]]` für die klassische Transformer-Architektur, auf der der KV-Cache basiert. + +### Kostenspar-Patterns im OpenClaw-Stack + +- `[[../tools/model-routing.md]]` — Routing-Patterns für 90% Kosteneinsparung +- `[[../concepts/llm/chinese-model-cost-routing.md]]` — DeRonin's 87% Cost-Cut-Playbook +- `[[../concepts/llm/glm-5.2-zai-coding-model.md]]` — GLM 5.2 als günstige Execution-Ebene +- `[[../architecture/model-routing.md]]` — OpenClaw's Two-Model-Pipeline + +## Cloud-Anbieter mit Prompt-Caching + +- **Anthropic Claude** — [Dokumentiertes Prompt Caching](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching), Cache-Read-Tokens werden günstiger abgerechnet +- **OpenAI** — Automatisches Caching langer Kontexte +- **Google Gemini** — Kontext-Caching über API + +## Lokale Implementierung + +Mit **Ollama** lässt sich Prompt-Caching lokal nachvollziehen: +- Ollama cacht KV-Cache automatisch bei wiederholten Prefixes +- Der Geschwindigkeitsgewinn (bis 10×) ist direkt messbar +- Erkenntnisse sind auf Cloud-Anbieter übertragbar \ No newline at end of file diff --git a/wiki/index.md b/wiki/index.md index 401be27..4b54a8f 100644 --- a/wiki/index.md +++ b/wiki/index.md @@ -2,7 +2,7 @@ *Auto-generated: 2026-07-07* - *Letzte Aktualisierung: 2026-07-07 (67. Update — Matthew Berman Model Routing ingestiert. Raw: `raw/youtube/2026-07-07_berman-model-routing.md`. Wiki-Update: `tools/model-routing.md` neu erstellt — Kostenspar-Patterns für Modell-Routing, `architecture/model-routing.md` erweitert um Berman-Patterns, Coinbase-GLM 5.2-Einsatz, Planning-vs-Execution-Split.)* + *Letzte Aktualisierung: 2026-07-07 (68. Update — heise Prompt-Caching ingestiert. Raw: `raw/blog/2026-07-07_heise-prompt-caching.md`. Wiki-Update: `concepts/prompt-caching.md` neu erstellt — KV-Cache-Wiederverwendung, Token-Kostenreduktion bis 90%, Promptstruktur (stabiler Präfix/variabler Suffix), komplementär zu Model-Routing. Cross-Ref in `tools/model-routing.md`.)* ## Architecture @@ -78,6 +78,7 @@ | [Fable 5 (Anthropic) — Frontier Coding Model, Premium Pricing](concepts/llm/fable-5-anthropic.md) | Public version of Mythos 5. Redeployed 01.07.2026 with restrictions. A+ quality in one-shot coding benchmark but 39× cost of GLM 5.2. Premium frontier positioning questioned by cost-routing data | xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md | | [AI Search Language Blind Spot — Der "Language Lens" Bias](concepts/llm/ai-search-language-blind-spot.md) | Daniel Nest (Why Try AI): AI-Such-Chatbots suchen in Anfragesprache → lokale Perspektiven systematisch ausgeschlossen. "Local Sources" Prompt-Hack für Quellen-Routing. Dänemark-Fallstudie: englische Suche = Geopolitik, dänische Suche = Innenpolitik. "Global Pulse" Claude Code Skill für Multi-Country-Vergleiche. Routing-Parallele zu chinese-model-cost-routing | blog/2026-07-02_whytryai-language-blind-spot.md | | [Vibe Coding vs. Enterprise Software Development](concepts/llm/vibe-coding-vs-enterprise.md) | Tielke's 45-Tage-Experiment: KI kann Enterprise-Software bauen — aber nur mit systematischem Vorgehen. 5-Phasen-Modell (Mikro-Management → Spec-Driven → TDD → Voice-Driven). Spezifikation wird zum neuen Coding. Lokale KI (Hermes auf NAS), Microservices, N8n, Docker, Gitea | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | +| [Prompt-Caching — KV-Cache-Wiederverwendung](concepts/prompt-caching.md) | Token-Kostenreduktion durch Caching stabiler Prompt-Präfixe. Technische Basis: KV-Cache der Transformer-Architektur (Key/Value-Vektoren der Prefill-Phase). Lokal: bis 10× schnellere Inferenz. Cloud: bis 90% Kosteneinsparung. Entscheidend: Promptstruktur (stabile Inhalte an den Anfang, variable Daten ans Ende). Komplementär zu Model-Routing — beide Strategien kombinierbar. | blog/2026-07-07_heise-prompt-caching.md | | [Voice Driven Development](concepts/llm/voice-driven-development.md) | Höchste Phase der KI-gestützten Entwicklung: Sprache → Code. Tielke Phase 5. Sprachpräzision wird zur Kernkompetenz. Setzt Spec-Driven und TDD voraus | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | | [Spec Driven Development mit Harness](concepts/llm/spec-driven-development-harness.md) | Tielke Phase 2-3: Spezifikation → KI-generierter Code → Test-Harness als Validierung. Strukturell verwandt mit Karpathy's LLM-Wiki-Pattern (raw → LLM → Q&A) | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md | | [School Automation Pilot](concepts/llm/school-automation-pilot.md) | Schul-Automation: Zeugnisse, Dokumentation, Logbücher automatisieren. Deterministische Schritte (KI) vs. Urteil/Review (Mensch) trennen. Datenschutz durch lokale LLMs. Business-/Pilotprozess-Modellierung. **Update 03.07.:** Gemini-Chat von Rüdiger (19.06.) als Quelle ingestiert — KLV-CSV → lokales LLM → Multi-Agent-Check → Lehrkraft-Freigabe, Korrekturen zu OpenClaw/RAG/Modellwahl | other/2026-07-02_ome23-operations-update-transkript.md + other/2026-06-19_gemini-chat-schul-automation-zeugnisse.md | diff --git a/wiki/log.md b/wiki/log.md index ad4d792..9733a48 100644 --- a/wiki/log.md +++ b/wiki/log.md @@ -2,6 +2,18 @@ *Append-only changelog. Start: 2026-06-05* +## [2026-07-07] Ingest | heise+ — Prompt-Caching: Token sparen durch KV-Cache-Wiederverwendung +**Type:** ingest | **Scope:** raw/blog, wiki/concepts (new), wiki/tools (update), wiki/index, wiki/log +**Source:** heise+ Ratgeber — https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html (heise online, 2026-07-07, paywall) +**Trigger:** Subagent task. +**Actions:** +- raw: `raw/blog/2026-07-07_heise-prompt-caching.md` (created — 3.5 KB; Frontmatter [type: blog, source_url, retrieved: 2026-07-07, title, author: heise online, paywall: true, tags: prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture]. Content: Zusammenfassung aus Free-Preview-Daten [KV-Cache-Basis, 10× lokal / 90% Cloud, Prompt-Struktur-Regel], Komplementarität zu Model-Routing, Relevanz für Hector) +- wiki (NEW): `concepts/prompt-caching.md` (created — 4.2 KB; Frontmatter [created: 2026-07-07, updated: 2026-07-07, sources, tags]. Sections: Grundprinzip, Technische Grundlage (KV-Cache), Prompt-Struktur-Tabelle, Performance-Gewinne, Abgrenzung (was Prompt-Caching NICHT ist), Verbindung zu bestehendem Wiki [komplementär zu Model-Routing, Transformer Foundation, 4 Cost-Spar-Seiten], Cloud-Anbieter mit Prompt Caching, Lokale Implementierung) +- wiki (UPDATE): `tools/model-routing.md` — Cross-Ref zu concepts/prompt-caching.md hinzugefügt (komplementäre Kostenspar-Ebene: Token-Level via Cache, kombinierbar mit Routing) +- wiki: `index.md` (updated — Header auf "68. Update", neuer LLM-Konzept-Eintrag für Prompt-Caching mit KV-Cache-Wiederverwendung) +- log: this entry +**Subagent-Modell:** openrouter/deepseek/deepseek-v4-flash + ## [2026-07-07] Ingest | Matthew Berman — 90% less AI costs via Model Routing **Type:** ingest | **Scope:** raw/youtube, wiki/tools (new), wiki/architecture (update), wiki/index, wiki/log **Source:** YouTube — https://www.youtube.com/watch?v=1KKB_UiW6ls (Matthew Berman, 18:33, 2026-07-06, 7.734 views) diff --git a/wiki/tools/model-routing.md b/wiki/tools/model-routing.md index 3aef40e..42556cf 100644 --- a/wiki/tools/model-routing.md +++ b/wiki/tools/model-routing.md @@ -65,4 +65,5 @@ Dedicated routing layer/API that classifies incoming requests and routes to the - **[[../concepts/llm/glm-5.2-zai-coding-model.md]]** — Full GLM 5.2 documentation (1M context, MIT license, coding strength) - **[[../concepts/llm/fable-5-anthropic.md]]** — Fable 5 documentation (premium frontier) - **[[../concepts/agents/subconscious-agent.md]]** — OpenClaw's agent orchestration that could benefit from routing -- **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing \ No newline at end of file +- **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing +- **[[../concepts/prompt-caching.md]]** — Complementary cost-reduction on the *token* level: cache stable prompt prefixes instead of routing models. Both can be combined (routed model + cached prefix). \ No newline at end of file