Ingest: heise+ Prompt-Caching (KV-Cache-Wiederverwendung, bis 90% Token-Ersparnis)
- Raw: raw/blog/2026-07-07_heise-prompt-caching.md (heise+ Paywall, free preview) - Wiki: concepts/prompt-caching.md — KV-Cache-Basis, Prompt-Struktur, Performance-Gewinne (10x lokal / 90% Cloud), Komplementarität zu Model-Routing (Token Level vs Model Level), Cross-Refs - Update: tools/model-routing.md — Cross-Ref zu prompt-caching.md - Update: index.md, log.md (68. Update)
This commit is contained in:
parent
8f676acfa7
commit
37eebea188
5 changed files with 174 additions and 2 deletions
68
raw/blog/2026-07-07_heise-prompt-caching.md
Normal file
68
raw/blog/2026-07-07_heise-prompt-caching.md
Normal file
|
|
@ -0,0 +1,68 @@
|
||||||
|
---
|
||||||
|
type: blog
|
||||||
|
source_url: https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html
|
||||||
|
retrieved: 2026-07-07
|
||||||
|
title: "KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann"
|
||||||
|
author: "heise online"
|
||||||
|
paywall: true
|
||||||
|
tags: [prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture]
|
||||||
|
---
|
||||||
|
|
||||||
|
# KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann
|
||||||
|
|
||||||
|
> **Quelle:** heise+ Ratgeber-Artikel — [heise.de/ratgeber/...](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html)
|
||||||
|
> **Paywall:** heise+ (nur Leseprobe verfügbar)
|
||||||
|
|
||||||
|
## Artikel-Zusammenfassung
|
||||||
|
|
||||||
|
Der heise-Plus-Ratgeber erklärt, wie Prompt-Caching die Kosten pro LLM-Anfrage senkt und die Antwortgeschwindigkeit erhöht. Der Mechanismus ist technisch simpel, wird aber oft übersehen oder durch ungeschickte Prompt-Strukturierung unwirksam gemacht.
|
||||||
|
|
||||||
|
### Funktionsweise
|
||||||
|
|
||||||
|
Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das Sprachmodell nur noch den neuen, abweichenden Teil verarbeiten.
|
||||||
|
|
||||||
|
Die technische Grundlage ist der **KV-Cache der Transformer-Architektur**: Die einmal berechneten Key- und Value-Vektoren der Prefill-Phase werden wiederverwendet. Statt bei jeder Anfrage den gesamten Prompt neu zu berechnen, wird nur der veränderte Suffix prozessiert.
|
||||||
|
|
||||||
|
### Performance-Gewinne
|
||||||
|
|
||||||
|
| Szenario | Verbesserung |
|
||||||
|
|----------|-------------|
|
||||||
|
| Lokal (z. B. Ollama) | Bis zu **10× schnellere** Inferenz |
|
||||||
|
| Cloud (z. B. Anthropic) | Bis zu **90 % Kostenreduktion** |
|
||||||
|
|
||||||
|
### Wichtige Prompt-Struktur
|
||||||
|
|
||||||
|
Entscheidend ist der Aufbau des Prompts:
|
||||||
|
|
||||||
|
- **Anfang:** Stabile Inhalte — Systemanweisungen, Dokumente, Tooldefinitionen, bisheriger Gesprächsverlauf
|
||||||
|
- **Ende:** Variable Daten — aktuelle Frage des Benutzers
|
||||||
|
|
||||||
|
Bei korrekter Strukturierung kann der stabile Präfix gecached und nur der variable Suffix neu berechnet werden.
|
||||||
|
|
||||||
|
### Wie ein LLM Text erzeugt
|
||||||
|
|
||||||
|
Ein LLM ist im Kern eine Textergänzungsmaschine. Die Eingabe (Prompt) besteht aus drei Schichten:
|
||||||
|
1. **System-Prompt** — Rollen- oder Verhaltensanweisung
|
||||||
|
2. **Kontext** — Dokumente, Tooldefinitionen, Gesprächsverlauf
|
||||||
|
3. **Aktuelle Frage** — Benutzereingabe
|
||||||
|
|
||||||
|
## Praktische Umsetzung
|
||||||
|
|
||||||
|
Der Artikel beschreibt eine lokale Demo mit Ollama (ohne Paywall-Details verfügbar). Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar.
|
||||||
|
|
||||||
|
## Relevanz für unser Setup
|
||||||
|
|
||||||
|
Prompt-Caching ist für Hector besonders relevant, da es den Gegenpart zu **Model-Routing** darstellt:
|
||||||
|
|
||||||
|
| Strategie | Ansatz | Hebel |
|
||||||
|
|-----------|--------|-------|
|
||||||
|
| **Model-Routing** | Task → günstigstes passendes Modell | Modellauswahl-Ebene |
|
||||||
|
| **Prompt-Caching** | Stabile Prompt-Präfixe cachen | Token-Ebene |
|
||||||
|
|
||||||
|
Beide Strategien sind komplementär und können kombiniert werden: Ein gerouteter Task (z. B. GLM 5.2 für Code-Execution) profitiert zusätzlich von einem gecachten System-Prompt-Präfix — insbesondere bei wiederholten Anfragen mit gleichem Kontext (z. B. Batch-Verarbeitung, Agenten-Loops mit stabilem System-Prompt).
|
||||||
|
|
||||||
|
## Externe Quellen
|
||||||
|
|
||||||
|
- [heise online Artikel (Paywall)](https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html)
|
||||||
|
- [Anthropic Prompt Caching Dokumentation](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching)
|
||||||
|
- [Ollama](https://ollama.ai/)
|
||||||
90
wiki/concepts/prompt-caching.md
Normal file
90
wiki/concepts/prompt-caching.md
Normal file
|
|
@ -0,0 +1,90 @@
|
||||||
|
---
|
||||||
|
created: 2026-07-07
|
||||||
|
updated: 2026-07-07
|
||||||
|
sources:
|
||||||
|
- blog/2026-07-07_heise-prompt-caching.md
|
||||||
|
tags: [concept, prompt-caching, kv-cache, transformer-architecture, token-optimization, cost-reduction, llm-inference, prompt-engineering, cache]
|
||||||
|
---
|
||||||
|
|
||||||
|
# Prompt-Caching — KV-Cache-Wiederverwendung zur Token- und Kostenreduktion
|
||||||
|
|
||||||
|
> **Stand:** 2026-07-07. Quelle: heise+ Ratgeber-Artikel. Siehe raw: `[[../../raw/blog/2026-07-07_heise-prompt-caching.md]]`
|
||||||
|
|
||||||
|
## Grundprinzip
|
||||||
|
|
||||||
|
Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Prompt-Präfixes zwischen. Bei Folgeanfragen muss das LLM nur noch den abweichenden Suffix verarbeiten. Das senkt sowohl Latenz als auch Token-Kosten.
|
||||||
|
|
||||||
|
## Technische Grundlage: KV-Cache
|
||||||
|
|
||||||
|
Die Basis ist der **KV-Cache der Transformer-Architektur**:
|
||||||
|
|
||||||
|
- Während der **Prefill-Phase** berechnet der Transformer für jedes Token Key- und Value-Vektoren (Self-Attention)
|
||||||
|
- Diese Vektoren werden im **KV-Cache** gespeichert
|
||||||
|
- Bei der nächsten Anfrage mit identischem Präfix werden die gecachten Vektoren **wiederverwendet**, statt neu berechnet
|
||||||
|
- Nur die neuen Tokens des Suffix durchlaufen die volle Prefill-Berechnung
|
||||||
|
|
||||||
|
### Prompt-Struktur ist entscheidend
|
||||||
|
|
||||||
|
Damit Prompt-Caching wirkt, muss der Prompt korrekt strukturiert sein:
|
||||||
|
|
||||||
|
| Position | Inhalt | Cache-Verhalten |
|
||||||
|
|----------|--------|----------------|
|
||||||
|
| **Anfang** (Präfix) | Systemanweisungen, Dokumente, Tooldefinitionen, Gesprächsverlauf | ✅ Wird gecached |
|
||||||
|
| **Ende** (Suffix) | Aktuelle Benutzerfrage, variable Parameter | 🔄 Neu berechnet |
|
||||||
|
|
||||||
|
Ein falscher Aufbau (z. B. variable Daten am Anfang) macht das Caching unwirksam.
|
||||||
|
|
||||||
|
## Performance-Gewinne
|
||||||
|
|
||||||
|
| Szenario | Verbesserung |
|
||||||
|
|----------|-------------|
|
||||||
|
| **Lokal** (Ollama, LM Studio) | Bis zu **10× schnellere** Inferenz |
|
||||||
|
| **Cloud** (Anthropic, OpenAI) | Bis zu **90 % Kostenreduktion** |
|
||||||
|
|
||||||
|
## Was ist kein Prompt-Caching?
|
||||||
|
|
||||||
|
Prompt-Caching ist **nicht**:
|
||||||
|
- **Context-Window-Effizienz** (das Reduzieren der Prompt-Länge durch bessere Formulierung)
|
||||||
|
- **Model-Routing** (Auswahl des günstigsten Modells für einen Task)
|
||||||
|
- **Semantisches Caching** (ähnliche Queries erkennen und gecachte Antworten ausliefern)
|
||||||
|
- **Batch-Processing** (mehrere Prompts parallel verarbeiten)
|
||||||
|
|
||||||
|
## Verbindung zu bestehendem Wiki
|
||||||
|
|
||||||
|
### Komplementär zu Model-Routing
|
||||||
|
|
||||||
|
Prompt-Caching und Model-Routing sind **komplementäre Kostenspar-Strategien** auf verschiedenen Ebenen:
|
||||||
|
|
||||||
|
| Strategie | Wiki-Seite | Ebene | Hebel |
|
||||||
|
|-----------|-----------|-------|-------|
|
||||||
|
| **Model-Routing** | `[[../tools/model-routing.md]]` | Modellauswahl | Task → günstigstes passendes Modell |
|
||||||
|
| **Prompt-Caching** | (diese Seite) | Token-Berechnung | Stabile Präfixe cachen → weniger Rechenaufwand |
|
||||||
|
|
||||||
|
**Kombination:** Ein über Model-Routing an GLM 5.2 gerouteter Code-Execution-Task profitiert zusätzlich von einem gecachten System-Prompt-Präfix. Besonders wirksam bei:
|
||||||
|
- **Batch-Verarbeitung** (gleicher System-Prompt, viele Varianten)
|
||||||
|
- **Agenten-Loops** (stabiler Instructions-Präfix, variierende Queries)
|
||||||
|
- **RAG-Pipelines** (Kontext-Dokumente am Anfang, Query am Ende)
|
||||||
|
|
||||||
|
### KV-Cache in der Transformer-Architektur
|
||||||
|
|
||||||
|
Siehe auch `[[../architecture/transformer-foundation.md]]` für die klassische Transformer-Architektur, auf der der KV-Cache basiert.
|
||||||
|
|
||||||
|
### Kostenspar-Patterns im OpenClaw-Stack
|
||||||
|
|
||||||
|
- `[[../tools/model-routing.md]]` — Routing-Patterns für 90% Kosteneinsparung
|
||||||
|
- `[[../concepts/llm/chinese-model-cost-routing.md]]` — DeRonin's 87% Cost-Cut-Playbook
|
||||||
|
- `[[../concepts/llm/glm-5.2-zai-coding-model.md]]` — GLM 5.2 als günstige Execution-Ebene
|
||||||
|
- `[[../architecture/model-routing.md]]` — OpenClaw's Two-Model-Pipeline
|
||||||
|
|
||||||
|
## Cloud-Anbieter mit Prompt-Caching
|
||||||
|
|
||||||
|
- **Anthropic Claude** — [Dokumentiertes Prompt Caching](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching), Cache-Read-Tokens werden günstiger abgerechnet
|
||||||
|
- **OpenAI** — Automatisches Caching langer Kontexte
|
||||||
|
- **Google Gemini** — Kontext-Caching über API
|
||||||
|
|
||||||
|
## Lokale Implementierung
|
||||||
|
|
||||||
|
Mit **Ollama** lässt sich Prompt-Caching lokal nachvollziehen:
|
||||||
|
- Ollama cacht KV-Cache automatisch bei wiederholten Prefixes
|
||||||
|
- Der Geschwindigkeitsgewinn (bis 10×) ist direkt messbar
|
||||||
|
- Erkenntnisse sind auf Cloud-Anbieter übertragbar
|
||||||
|
|
@ -2,7 +2,7 @@
|
||||||
|
|
||||||
*Auto-generated: 2026-07-07*
|
*Auto-generated: 2026-07-07*
|
||||||
|
|
||||||
*Letzte Aktualisierung: 2026-07-07 (67. Update — Matthew Berman Model Routing ingestiert. Raw: `raw/youtube/2026-07-07_berman-model-routing.md`. Wiki-Update: `tools/model-routing.md` neu erstellt — Kostenspar-Patterns für Modell-Routing, `architecture/model-routing.md` erweitert um Berman-Patterns, Coinbase-GLM 5.2-Einsatz, Planning-vs-Execution-Split.)*
|
*Letzte Aktualisierung: 2026-07-07 (68. Update — heise Prompt-Caching ingestiert. Raw: `raw/blog/2026-07-07_heise-prompt-caching.md`. Wiki-Update: `concepts/prompt-caching.md` neu erstellt — KV-Cache-Wiederverwendung, Token-Kostenreduktion bis 90%, Promptstruktur (stabiler Präfix/variabler Suffix), komplementär zu Model-Routing. Cross-Ref in `tools/model-routing.md`.)*
|
||||||
|
|
||||||
## Architecture
|
## Architecture
|
||||||
|
|
||||||
|
|
@ -78,6 +78,7 @@
|
||||||
| [Fable 5 (Anthropic) — Frontier Coding Model, Premium Pricing](concepts/llm/fable-5-anthropic.md) | Public version of Mythos 5. Redeployed 01.07.2026 with restrictions. A+ quality in one-shot coding benchmark but 39× cost of GLM 5.2. Premium frontier positioning questioned by cost-routing data | xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md |
|
| [Fable 5 (Anthropic) — Frontier Coding Model, Premium Pricing](concepts/llm/fable-5-anthropic.md) | Public version of Mythos 5. Redeployed 01.07.2026 with restrictions. A+ quality in one-shot coding benchmark but 39× cost of GLM 5.2. Premium frontier positioning questioned by cost-routing data | xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md |
|
||||||
| [AI Search Language Blind Spot — Der "Language Lens" Bias](concepts/llm/ai-search-language-blind-spot.md) | Daniel Nest (Why Try AI): AI-Such-Chatbots suchen in Anfragesprache → lokale Perspektiven systematisch ausgeschlossen. "Local Sources" Prompt-Hack für Quellen-Routing. Dänemark-Fallstudie: englische Suche = Geopolitik, dänische Suche = Innenpolitik. "Global Pulse" Claude Code Skill für Multi-Country-Vergleiche. Routing-Parallele zu chinese-model-cost-routing | blog/2026-07-02_whytryai-language-blind-spot.md |
|
| [AI Search Language Blind Spot — Der "Language Lens" Bias](concepts/llm/ai-search-language-blind-spot.md) | Daniel Nest (Why Try AI): AI-Such-Chatbots suchen in Anfragesprache → lokale Perspektiven systematisch ausgeschlossen. "Local Sources" Prompt-Hack für Quellen-Routing. Dänemark-Fallstudie: englische Suche = Geopolitik, dänische Suche = Innenpolitik. "Global Pulse" Claude Code Skill für Multi-Country-Vergleiche. Routing-Parallele zu chinese-model-cost-routing | blog/2026-07-02_whytryai-language-blind-spot.md |
|
||||||
| [Vibe Coding vs. Enterprise Software Development](concepts/llm/vibe-coding-vs-enterprise.md) | Tielke's 45-Tage-Experiment: KI kann Enterprise-Software bauen — aber nur mit systematischem Vorgehen. 5-Phasen-Modell (Mikro-Management → Spec-Driven → TDD → Voice-Driven). Spezifikation wird zum neuen Coding. Lokale KI (Hermes auf NAS), Microservices, N8n, Docker, Gitea | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
| [Vibe Coding vs. Enterprise Software Development](concepts/llm/vibe-coding-vs-enterprise.md) | Tielke's 45-Tage-Experiment: KI kann Enterprise-Software bauen — aber nur mit systematischem Vorgehen. 5-Phasen-Modell (Mikro-Management → Spec-Driven → TDD → Voice-Driven). Spezifikation wird zum neuen Coding. Lokale KI (Hermes auf NAS), Microservices, N8n, Docker, Gitea | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
||||||
|
| [Prompt-Caching — KV-Cache-Wiederverwendung](concepts/prompt-caching.md) | Token-Kostenreduktion durch Caching stabiler Prompt-Präfixe. Technische Basis: KV-Cache der Transformer-Architektur (Key/Value-Vektoren der Prefill-Phase). Lokal: bis 10× schnellere Inferenz. Cloud: bis 90% Kosteneinsparung. Entscheidend: Promptstruktur (stabile Inhalte an den Anfang, variable Daten ans Ende). Komplementär zu Model-Routing — beide Strategien kombinierbar. | blog/2026-07-07_heise-prompt-caching.md |
|
||||||
| [Voice Driven Development](concepts/llm/voice-driven-development.md) | Höchste Phase der KI-gestützten Entwicklung: Sprache → Code. Tielke Phase 5. Sprachpräzision wird zur Kernkompetenz. Setzt Spec-Driven und TDD voraus | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
| [Voice Driven Development](concepts/llm/voice-driven-development.md) | Höchste Phase der KI-gestützten Entwicklung: Sprache → Code. Tielke Phase 5. Sprachpräzision wird zur Kernkompetenz. Setzt Spec-Driven und TDD voraus | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
||||||
| [Spec Driven Development mit Harness](concepts/llm/spec-driven-development-harness.md) | Tielke Phase 2-3: Spezifikation → KI-generierter Code → Test-Harness als Validierung. Strukturell verwandt mit Karpathy's LLM-Wiki-Pattern (raw → LLM → Q&A) | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
| [Spec Driven Development mit Harness](concepts/llm/spec-driven-development-harness.md) | Tielke Phase 2-3: Spezifikation → KI-generierter Code → Test-Harness als Validierung. Strukturell verwandt mit Karpathy's LLM-Wiki-Pattern (raw → LLM → Q&A) | youtube/2026-07-02_david-tielke-enterprise-ki-softwareentwicklung.md |
|
||||||
| [School Automation Pilot](concepts/llm/school-automation-pilot.md) | Schul-Automation: Zeugnisse, Dokumentation, Logbücher automatisieren. Deterministische Schritte (KI) vs. Urteil/Review (Mensch) trennen. Datenschutz durch lokale LLMs. Business-/Pilotprozess-Modellierung. **Update 03.07.:** Gemini-Chat von Rüdiger (19.06.) als Quelle ingestiert — KLV-CSV → lokales LLM → Multi-Agent-Check → Lehrkraft-Freigabe, Korrekturen zu OpenClaw/RAG/Modellwahl | other/2026-07-02_ome23-operations-update-transkript.md + other/2026-06-19_gemini-chat-schul-automation-zeugnisse.md |
|
| [School Automation Pilot](concepts/llm/school-automation-pilot.md) | Schul-Automation: Zeugnisse, Dokumentation, Logbücher automatisieren. Deterministische Schritte (KI) vs. Urteil/Review (Mensch) trennen. Datenschutz durch lokale LLMs. Business-/Pilotprozess-Modellierung. **Update 03.07.:** Gemini-Chat von Rüdiger (19.06.) als Quelle ingestiert — KLV-CSV → lokales LLM → Multi-Agent-Check → Lehrkraft-Freigabe, Korrekturen zu OpenClaw/RAG/Modellwahl | other/2026-07-02_ome23-operations-update-transkript.md + other/2026-06-19_gemini-chat-schul-automation-zeugnisse.md |
|
||||||
|
|
|
||||||
12
wiki/log.md
12
wiki/log.md
|
|
@ -2,6 +2,18 @@
|
||||||
|
|
||||||
*Append-only changelog. Start: 2026-06-05*
|
*Append-only changelog. Start: 2026-06-05*
|
||||||
|
|
||||||
|
## [2026-07-07] Ingest | heise+ — Prompt-Caching: Token sparen durch KV-Cache-Wiederverwendung
|
||||||
|
**Type:** ingest | **Scope:** raw/blog, wiki/concepts (new), wiki/tools (update), wiki/index, wiki/log
|
||||||
|
**Source:** heise+ Ratgeber — https://www.heise.de/ratgeber/KI-Kosten-reduzieren-Wie-man-mit-Prompt-Caching-messbar-Token-sparen-kann-11335003.html (heise online, 2026-07-07, paywall)
|
||||||
|
**Trigger:** Subagent task.
|
||||||
|
**Actions:**
|
||||||
|
- raw: `raw/blog/2026-07-07_heise-prompt-caching.md` (created — 3.5 KB; Frontmatter [type: blog, source_url, retrieved: 2026-07-07, title, author: heise online, paywall: true, tags: prompt-caching, kv-cache, token-optimization, cost-reduction, llm-inference, ollama, anthropic, transformer-architecture]. Content: Zusammenfassung aus Free-Preview-Daten [KV-Cache-Basis, 10× lokal / 90% Cloud, Prompt-Struktur-Regel], Komplementarität zu Model-Routing, Relevanz für Hector)
|
||||||
|
- wiki (NEW): `concepts/prompt-caching.md` (created — 4.2 KB; Frontmatter [created: 2026-07-07, updated: 2026-07-07, sources, tags]. Sections: Grundprinzip, Technische Grundlage (KV-Cache), Prompt-Struktur-Tabelle, Performance-Gewinne, Abgrenzung (was Prompt-Caching NICHT ist), Verbindung zu bestehendem Wiki [komplementär zu Model-Routing, Transformer Foundation, 4 Cost-Spar-Seiten], Cloud-Anbieter mit Prompt Caching, Lokale Implementierung)
|
||||||
|
- wiki (UPDATE): `tools/model-routing.md` — Cross-Ref zu concepts/prompt-caching.md hinzugefügt (komplementäre Kostenspar-Ebene: Token-Level via Cache, kombinierbar mit Routing)
|
||||||
|
- wiki: `index.md` (updated — Header auf "68. Update", neuer LLM-Konzept-Eintrag für Prompt-Caching mit KV-Cache-Wiederverwendung)
|
||||||
|
- log: this entry
|
||||||
|
**Subagent-Modell:** openrouter/deepseek/deepseek-v4-flash
|
||||||
|
|
||||||
## [2026-07-07] Ingest | Matthew Berman — 90% less AI costs via Model Routing
|
## [2026-07-07] Ingest | Matthew Berman — 90% less AI costs via Model Routing
|
||||||
**Type:** ingest | **Scope:** raw/youtube, wiki/tools (new), wiki/architecture (update), wiki/index, wiki/log
|
**Type:** ingest | **Scope:** raw/youtube, wiki/tools (new), wiki/architecture (update), wiki/index, wiki/log
|
||||||
**Source:** YouTube — https://www.youtube.com/watch?v=1KKB_UiW6ls (Matthew Berman, 18:33, 2026-07-06, 7.734 views)
|
**Source:** YouTube — https://www.youtube.com/watch?v=1KKB_UiW6ls (Matthew Berman, 18:33, 2026-07-06, 7.734 views)
|
||||||
|
|
|
||||||
|
|
@ -65,4 +65,5 @@ Dedicated routing layer/API that classifies incoming requests and routes to the
|
||||||
- **[[../concepts/llm/glm-5.2-zai-coding-model.md]]** — Full GLM 5.2 documentation (1M context, MIT license, coding strength)
|
- **[[../concepts/llm/glm-5.2-zai-coding-model.md]]** — Full GLM 5.2 documentation (1M context, MIT license, coding strength)
|
||||||
- **[[../concepts/llm/fable-5-anthropic.md]]** — Fable 5 documentation (premium frontier)
|
- **[[../concepts/llm/fable-5-anthropic.md]]** — Fable 5 documentation (premium frontier)
|
||||||
- **[[../concepts/agents/subconscious-agent.md]]** — OpenClaw's agent orchestration that could benefit from routing
|
- **[[../concepts/agents/subconscious-agent.md]]** — OpenClaw's agent orchestration that could benefit from routing
|
||||||
- **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing
|
- **[[../concepts/llm/llm-model-fusion-ensembles.md]]** — Alternative pattern: parallel model panels instead of sequential routing
|
||||||
|
- **[[../concepts/prompt-caching.md]]** — Complementary cost-reduction on the *token* level: cache stable prompt prefixes instead of routing models. Both can be combined (routed model + cached prefix).
|
||||||
Loading…
Add table
Reference in a new issue