---
created: 2026-08-19
updated: 2026-08-19
sources: [xpost/2026-08-19_junsong-dflash2-speculative-decoding.md]
tags: [concept, llm, inference, speed, speculative-decoding, dflash, mtp, local-llm]
---

# Speculative Decoding

Technik zur Inferenz-Beschleunigung von LLMs: Zusätzliche künftige Token werden parallel **vorausgesagt** (Draft-Modell) und gegen das Zielmodell **verifiziert** — bei Treffern werden mehrere Token in einem Dekodier-Schritt akzeptiert, ohne Qualitätsverlust. Effektiv: deutlich höherer Durchsatz (Tokens/s) bei gleichem Output.

## Verwandte Konzepte

- **MTP (Multi-Token Prediction):** Qwen-Ansatz, mehrere künftige Token parallel vorauszusagen (siehe [[qwen3.8-27b-alibaba.md|Qwen3.8-27B]]).
- **DFlash / DFlash 2:** Spekulative-Decoding-Implementierung (Z Lab → Inco AI). DFlash 2 erreicht bei Qwen3.8-27B **70 tok/s auf einem M5 Max MacBook Pro** — bis **4,6× schneller** als autoregressives Decoding (Quelle: `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md`).

## Bedeutung für lokale KI

Jun Song: Speculative Decoding ist „the biggest breakthrough in local AI this year" — die nächste echte Innovation passiert laut ihm in **Prefill** und **Gewichtskompression**, nicht mehr bei der Decode-Geschwindigkeit. Relevant für [[local-llm-laptop-guide.md]] und Barbell-[[../../architecture/model-routing.md|Model-Routing]] (kompakte Modelle werden auf Consumer-/Laptop-Hardware praktikabel).