1d9c67a8e3
- raw (NEW): junsong-dflash2-speculative-decoding (70 tok/s M5 Max, 4.6x, Z Lab -> Inco AI) - raw (NEW): gregpr07-qwen38-uncensored (no gates) + s1gmoid Gegenposition - wiki (NEW): concepts/llm/speculative-decoding.md - wiki-update(concepts/llm): qwen3.8-27b-alibaba — DFlash 2 / Speculative Decoding + Uncensored-Debatte - wiki/index + wiki/log aktualisiert
19 lines
1.4 KiB
Markdown
19 lines
1.4 KiB
Markdown
---
|
||
created: 2026-08-19
|
||
updated: 2026-08-19
|
||
sources: [xpost/2026-08-19_junsong-dflash2-speculative-decoding.md]
|
||
tags: [concept, llm, inference, speed, speculative-decoding, dflash, mtp, local-llm]
|
||
---
|
||
|
||
# Speculative Decoding
|
||
|
||
Technik zur Inferenz-Beschleunigung von LLMs: Zusätzliche künftige Token werden parallel **vorausgesagt** (Draft-Modell) und gegen das Zielmodell **verifiziert** — bei Treffern werden mehrere Token in einem Dekodier-Schritt akzeptiert, ohne Qualitätsverlust. Effektiv: deutlich höherer Durchsatz (Tokens/s) bei gleichem Output.
|
||
|
||
## Verwandte Konzepte
|
||
|
||
- **MTP (Multi-Token Prediction):** Qwen-Ansatz, mehrere künftige Token parallel vorauszusagen (siehe [[qwen3.8-27b-alibaba.md|Qwen3.8-27B]]).
|
||
- **DFlash / DFlash 2:** Spekulative-Decoding-Implementierung (Z Lab → Inco AI). DFlash 2 erreicht bei Qwen3.8-27B **70 tok/s auf einem M5 Max MacBook Pro** — bis **4,6× schneller** als autoregressives Decoding (Quelle: `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md`).
|
||
|
||
## Bedeutung für lokale KI
|
||
|
||
Jun Song: Speculative Decoding ist „the biggest breakthrough in local AI this year" — die nächste echte Innovation passiert laut ihm in **Prefill** und **Gewichtskompression**, nicht mehr bei der Decode-Geschwindigkeit. Relevant für [[local-llm-laptop-guide.md]] und Barbell-[[../../architecture/model-routing.md|Model-Routing]] (kompakte Modelle werden auf Consumer-/Laptop-Hardware praktikabel).
|