hector-bot/knowledge-base
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
knowledge-base/wiki/concepts/llm/speculative-decoding.md
Hector 1d9c67a8e3 ingest(xpost): Qwen3.8-27B DFlash 2 speculative decoding + uncensored debate 
- raw (NEW): junsong-dflash2-speculative-decoding (70 tok/s M5 Max, 4.6x, Z Lab -> Inco AI)
- raw (NEW): gregpr07-qwen38-uncensored (no gates) + s1gmoid Gegenposition
- wiki (NEW): concepts/llm/speculative-decoding.md
- wiki-update(concepts/llm): qwen3.8-27b-alibaba — DFlash 2 / Speculative Decoding + Uncensored-Debatte
- wiki/index + wiki/log aktualisiert
2026-08-19 10:01:00 +02:00

1.4 KiB
Raw Blame History

created updated sources tags
2026-08-19 2026-08-19
xpost/2026-08-19_junsong-dflash2-speculative-decoding.md
concept
llm
inference
speed
speculative-decoding
dflash
mtp
local-llm

Speculative Decoding

Technik zur Inferenz-Beschleunigung von LLMs: Zusätzliche künftige Token werden parallel vorausgesagt (Draft-Modell) und gegen das Zielmodell verifiziert — bei Treffern werden mehrere Token in einem Dekodier-Schritt akzeptiert, ohne Qualitätsverlust. Effektiv: deutlich höherer Durchsatz (Tokens/s) bei gleichem Output.

Verwandte Konzepte

  • MTP (Multi-Token Prediction): Qwen-Ansatz, mehrere künftige Token parallel vorauszusagen (siehe qwen3.8-27b-alibaba.md).
  • DFlash / DFlash 2: Spekulative-Decoding-Implementierung (Z Lab → Inco AI). DFlash 2 erreicht bei Qwen3.8-27B 70 tok/s auf einem M5 Max MacBook Pro — bis 4,6× schneller als autoregressives Decoding (Quelle: raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md).

Bedeutung für lokale KI

Jun Song: Speculative Decoding ist „the biggest breakthrough in local AI this year" — die nächste echte Innovation passiert laut ihm in Prefill und Gewichtskompression, nicht mehr bei der Decode-Geschwindigkeit. Relevant für local-llm-laptop-guide.md und Barbell-../../architecture/model-routing.md (kompakte Modelle werden auf Consumer-/Laptop-Hardware praktikabel).