20 lines
1.4 KiB
Markdown
20 lines
1.4 KiB
Markdown
|
---
|
|||
|
|
created: 2026-08-19
|
|||
|
|
updated: 2026-08-19
|
|||
|
|
sources: [xpost/2026-08-19_junsong-dflash2-speculative-decoding.md]
|
|||
|
|
tags: [concept, llm, inference, speed, speculative-decoding, dflash, mtp, local-llm]
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# Speculative Decoding
|
|||
|
|
|
|||
|
|
Technik zur Inferenz-Beschleunigung von LLMs: Zusätzliche künftige Token werden parallel **vorausgesagt** (Draft-Modell) und gegen das Zielmodell **verifiziert** — bei Treffern werden mehrere Token in einem Dekodier-Schritt akzeptiert, ohne Qualitätsverlust. Effektiv: deutlich höherer Durchsatz (Tokens/s) bei gleichem Output.
|
|||
|
|
|
|||
|
|
## Verwandte Konzepte
|
|||
|
|
|
|||
|
|
- **MTP (Multi-Token Prediction):** Qwen-Ansatz, mehrere künftige Token parallel vorauszusagen (siehe [[qwen3.8-27b-alibaba.md|Qwen3.8-27B]]).
|
|||
|
|
- **DFlash / DFlash 2:** Spekulative-Decoding-Implementierung (Z Lab → Inco AI). DFlash 2 erreicht bei Qwen3.8-27B **70 tok/s auf einem M5 Max MacBook Pro** — bis **4,6× schneller** als autoregressives Decoding (Quelle: `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md`).
|
|||
|
|
|
|||
|
|
## Bedeutung für lokale KI
|
|||
|
|
|
|||
|
|
Jun Song: Speculative Decoding ist „the biggest breakthrough in local AI this year" — die nächste echte Innovation passiert laut ihm in **Prefill** und **Gewichtskompression**, nicht mehr bei der Decode-Geschwindigkeit. Relevant für [[local-llm-laptop-guide.md]] und Barbell-[[../../architecture/model-routing.md|Model-Routing]] (kompakte Modelle werden auf Consumer-/Laptop-Hardware praktikabel).
|