ingest(xpost): Qwen3.8-27B DFlash 2 speculative decoding + uncensored debate
- raw (NEW): junsong-dflash2-speculative-decoding (70 tok/s M5 Max, 4.6x, Z Lab -> Inco AI) - raw (NEW): gregpr07-qwen38-uncensored (no gates) + s1gmoid Gegenposition - wiki (NEW): concepts/llm/speculative-decoding.md - wiki-update(concepts/llm): qwen3.8-27b-alibaba — DFlash 2 / Speculative Decoding + Uncensored-Debatte - wiki/index + wiki/log aktualisiert
This commit is contained in:
Hector
parent
d94642eaca
commit
1d9c67a8e3
6 changed files with 91 additions and 4 deletions
19
raw/xpost/2026-08-19_gregpr07-qwen38-uncensored.md
Normal file
19
raw/xpost/2026-08-19_gregpr07-qwen38-uncensored.md
Normal file
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
type: xpost
|
||||
source_url: https://x.com/gregpr07/status/2089897646739894354
|
||||
retrieved: 2026-08-19
|
||||
author: "@gregpr07"
|
||||
is_thread: false
|
||||
---
|
||||
|
||||
# Gregor Zunic: Qwen 3.8 Uncensored — "No Gates"
|
||||
|
||||
Quelle: https://x.com/gregpr07/status/2089897646739894354
|
||||
|
||||
## Inhalt
|
||||
|
||||
Gregor Zunic: "qwen 3.8 uncensored is actually scary ☠️ it will just do anything you ask it to do on the web, no gates"
|
||||
|
||||
## Zitierte Gegenantwort: Σ (@s1gmoid)
|
||||
|
||||
"If searching the internet to pinpoint a specific file is scary, the world is about to get terrifying."
|
||||
21
raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md
Normal file
21
raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md
Normal file
|
|
@ -0,0 +1,21 @@
|
|||
---
|
||||
type: xpost
|
||||
source_url: https://x.com/jun_song/status/2089849870651892183
|
||||
retrieved: 2026-08-19
|
||||
author: "@jun_song"
|
||||
is_thread: false
|
||||
---
|
||||
|
||||
# Jun Song: Qwen3.8-27B Speculative Decoding (DFlash 2)
|
||||
|
||||
Quelle: https://x.com/jun_song/status/2089849870651892183
|
||||
|
||||
Bezug: https://x.com/zhijianliu_/status/2089836737132650504 (Zhijian Liu, DFlash-2-Ankündigung)
|
||||
|
||||
## Inhalt
|
||||
|
||||
Jun Song: "Qwen3.8-27b hitting 70 tok/s on a single MacBook. That is faster than Fable or Sol. Speculative decoding is easily the biggest breakthrough in local AI this year. Next up, the real innovation is going to happen in prefill and weight compression."
|
||||
|
||||
## Bezug: Zhijian Liu (DFlash 2)
|
||||
|
||||
"DFlash 2 is here! Qwen3.8-27B at 70 tok/s on an M5 Max MacBook Pro. ⚡ Up to 4.6× the speed of autoregressive decoding, with the same output. This is the next generation of DFlash, seeded at Z Lab and upgraded at Inco AI. Get one more accepted token on every pass, for free!"
|
||||
|
|
@ -1,8 +1,8 @@
|
|||
---
|
||||
created: 2026-08-14
|
||||
updated: 2026-08-18
|
||||
sources: [other/2026-08-14_qwen3.8-27b-huggingface-release.md, youtube/2026-08-18_qwen-38-27b-ollama-julian-goldie.md]
|
||||
tags: [concept, qwen, qwen3.8, alibaba, 27b, open-weights, chinese-ai, moe, intelligence-density, huggingface, ollama, mtp, local-llm]
|
||||
updated: 2026-08-19
|
||||
sources: [other/2026-08-14_qwen3.8-27b-huggingface-release.md, youtube/2026-08-18_qwen-38-27b-ollama-julian-goldie.md, xpost/2026-08-19_junsong-dflash2-speculative-decoding.md, xpost/2026-08-19_gregpr07-qwen38-uncensored.md]
|
||||
tags: [concept, qwen, qwen3.8, alibaba, 27b, open-weights, chinese-ai, moe, intelligence-density, huggingface, ollama, mtp, local-llm, speculative-decoding, dflash, uncensored, agent-safety]
|
||||
---
|
||||
|
||||
# Qwen3.8-27B (Alibaba) — Compact Frontier, "Intelligence Density"
|
||||
|
|
@ -45,6 +45,23 @@ Quelle: Video „Qwen 3.8 27B is NOW on Ollama… This is CRAZY!" von Julian Gol
|
|||
- **MTP (Multi-Token Prediction):** Mehrere künftige Token werden parallel vorausgesagt und verifiziert — bei Treffern mehrere Token in einem Schritt akzeptiert → deutliche Inferenz-Beschleunigung ohne Qualitätsverlust. Bei Qwen 3.6 27B ~1.71× Durchsatz-Speedup demonstriert. In Ollama als **MTP-markierte Tags** verfügbar (Spezifikations-Kopf `--spec-type draft-mtp`).
|
||||
- **Lokal-relevanz bestätigt:** passt zu [[local-llm-laptop-guide.md]] und dem Barbell-[[../../architecture/model-routing.md|Model-Routing]]-Gedanken (kompaktes, hochoptimiertes Modell als Tier-0/1-Option).
|
||||
|
||||
## DFlash 2 / Speculative Decoding (Update 2026-08-19)
|
||||
|
||||
Quellen: Jun Song-Tweet `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md` (postet zu Zhijian Lius DFlash-2-Ankündigung `https://x.com/zhijianliu_/status/2089836737132650504`), geteilt von Kai im OME-Topic „Tips & Tricks".
|
||||
|
||||
- **DFlash 2:** Qwen3.8-27B erreicht **70 tok/s auf einem einzelnen MacBook Pro (M5 Max)** — bis zu **4,6× schneller als autoregressives Decoding bei gleichem Output** („Get one more accepted token on every pass, for free"). DFlash wurde bei Z Lab geseedet und bei **Inco AI** weiterentwickelt.
|
||||
- **Einordnung (Jun Song):** Speculative Decoding ist „the biggest breakthrough in local AI this year". Sein Ausblick: Die nächste echte Innovation passiert bei **Prefill und Gewichtskompression**, nicht mehr bei der Decode-Geschwindigkeit.
|
||||
- **Kernprinzip (identisch mit MTP):** Zusätzliche künftige Token werden parallel vorausgesagt und bei Treffern in einem Schritt akzeptiert → Durchsatz-Steigerung ohne Qualitätsverlust. DFlash = spekulative Decoding-Implementierung (verwandt mit dem MTP-Ansatz von Qwen 3.8, siehe Ollama-Abschnitt oben).
|
||||
- **Kategorie:** [[speculative-decoding.md|Speculative Decoding]] — lokaler Inferenz-Speedup; relevant für [[local-llm-laptop-guide.md]] und Barbell-[[../../architecture/model-routing.md|Model-Routing]] (27B läuft schnell auf Consumer-/Laptop-Hardware).
|
||||
|
||||
## Uncensored-Debatte (Update 2026-08-19)
|
||||
|
||||
Quelle: Gregor Zunic-Tweet `raw/xpost/2026-08-19_gregpr07-qwen38-uncensored.md`, geteilt von Kai im OME-Topic „Tips & Tricks".
|
||||
|
||||
- **Gregor Zunic (@gregpr07):** „qwen 3.8 uncensored is actually scary ☠️ it will just do anything you ask it to do on the web, no gates" — Agentic-Uncensored-Winkel: das Modell führt Web-Aufgaben ohne Gatekeeping/Guardrails aus.
|
||||
- **Gegenposition (Σ, @s1gmoid, zitierte Antwort):** „If searching the internet to pinpoint a specific file is scary, the world is about to get terrifying." — Verhältnismäßigkeits-/Pro-Leben-Gegen-Narrativ: Ein Agent, der gezielt im Web sucht, ist normales Verhalten, keine Bedrohung.
|
||||
- **Einordnung:** Diese Debatte berührt Agent-Safety-Fragen ([[../anthropic-red-teaming-frontier-safety.md|Frontier-Safety]]) und das [[../directives/pro-leben-directive.md|Pro-Leben-Prinzip]]: Offene, selbstbestimmte Agenten (Freiheit in Selbstverantwortung) vs. pauschales Gatekeeping-Narrativ. Keine Bewertung — nur die zwei Positionen dokumentiert.
|
||||
|
||||
## Offene Punkte
|
||||
|
||||
- ⚠️ Detaillierte Benchmarks und Lizenz im Release-Zustand weiter prüfen; die Ollama-Seite bestätigt Architektur + Quantisierung, aber Referenz-Benchmarks (agentic, coding) sind noch nicht im Wiki verankert.
|
||||
|
|
|
|||
19
wiki/concepts/llm/speculative-decoding.md
Normal file
19
wiki/concepts/llm/speculative-decoding.md
Normal file
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
created: 2026-08-19
|
||||
updated: 2026-08-19
|
||||
sources: [xpost/2026-08-19_junsong-dflash2-speculative-decoding.md]
|
||||
tags: [concept, llm, inference, speed, speculative-decoding, dflash, mtp, local-llm]
|
||||
---
|
||||
|
||||
# Speculative Decoding
|
||||
|
||||
Technik zur Inferenz-Beschleunigung von LLMs: Zusätzliche künftige Token werden parallel **vorausgesagt** (Draft-Modell) und gegen das Zielmodell **verifiziert** — bei Treffern werden mehrere Token in einem Dekodier-Schritt akzeptiert, ohne Qualitätsverlust. Effektiv: deutlich höherer Durchsatz (Tokens/s) bei gleichem Output.
|
||||
|
||||
## Verwandte Konzepte
|
||||
|
||||
- **MTP (Multi-Token Prediction):** Qwen-Ansatz, mehrere künftige Token parallel vorauszusagen (siehe [[qwen3.8-27b-alibaba.md|Qwen3.8-27B]]).
|
||||
- **DFlash / DFlash 2:** Spekulative-Decoding-Implementierung (Z Lab → Inco AI). DFlash 2 erreicht bei Qwen3.8-27B **70 tok/s auf einem M5 Max MacBook Pro** — bis **4,6× schneller** als autoregressives Decoding (Quelle: `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md`).
|
||||
|
||||
## Bedeutung für lokale KI
|
||||
|
||||
Jun Song: Speculative Decoding ist „the biggest breakthrough in local AI this year" — die nächste echte Innovation passiert laut ihm in **Prefill** und **Gewichtskompression**, nicht mehr bei der Decode-Geschwindigkeit. Relevant für [[local-llm-laptop-guide.md]] und Barbell-[[../../architecture/model-routing.md|Model-Routing]] (kompakte Modelle werden auf Consumer-/Laptop-Hardware praktikabel).
|
||||
|
|
@ -82,7 +82,7 @@
|
|||
| [GLM 5.2 (Z.ai) — Chinese Frontier Coding Model](concepts/llm/glm-5.2-zai-coding-model.md) | 10x günstiger als Claude, 1M Kontext, MIT-Lizenz, Z.ai Coding Plan, **nativ in OpenClaw v2026.6.8**. Update 22.06.: Arnie-Review mit 4 Tests, Self-Hosting-Pfade (LM Studio, Unsloth, DwarfStar), Kosten-Analyse. **Update 29.06.:** Semgrep IDOR-Benchmark ≈ Opus 4.8 bei Schwachstellen-Suche, Reward Hacking im RL-Training, DSGVO-konforme Security-Nutzung, Geopolitik. **Update 01.07.:** #1 Open-Weights auf Artificial Analysis Intelligence Index v4.1 (Score 51, 4th worldwide), SWE-bench Pro 62.1 beats GPT-5.5, Industry praise from Rauch/Levie/Howard. **Update 02.07.:** atomic.chat One-Shot Benchmark — B+ at $0.08, 39× cheaper than Fable 5, 6th independent validation | youtube/2026-06-15_ichbinfabian-glm-5.2-coding-modell.md + other/2026-06-16_openclaw-releases-v2026.6.8.md + youtube/2026-06-22_ai-mit-arnie-glm-5-2-review.md + blog/2026-06-29_heise-glm52-hacking-cybersecurity.md + blog/2026-07-01_perplexity-glm52-tops-open-weights-intelligence-index.md + xpost/2026-07-02_atomicchat-coding-benchmark-fable5-gpt55-opus48-glm52.md |
|
||||
| [GLM 5.3 (Z.ai) — Neue Generation der GLM-Serie](concepts/llm/glm-5.3-z-ai.md) | AICodeKing Early Access + Bench #1 (2026-08-14). Neue Generation der GLM-Familie (5.0→5.1→5.2→5.3, GLM 5.5 angekündigt). Viert schnellste Frontier-Kadenz der Branche. Relevanz für Model-Routing, da GLM-5.2 Hectors Primary-Modell | youtube/2026-08-14_glm-5.3-aicodeking.md |
|
||||
| [GLM-5.5 (Z.ai) — Trillion-Parameter Announcement](concepts/llm/glm-5.5-z-ai.md) | Successor to GLM 5.2. **>1T parameters**, 1M context, open weights, August 2026 launch. Agent/coding focus. Fourth Chinese AI announcement in four days (20.07.2026). Part of [[concepts/chinese-ai-wave-july-2026.md]]. Comparison table vs GLM 5.2 | xpost/2026-07-20-healthranger-four-chinese-models.md |
|
||||
| [Qwen3.8-27B (Alibaba) — Compact Frontier, "Intelligence Density"](concepts/llm/qwen3.8-27b-alibaba.md) | HuggingFace-Release (Countdown bis 14.08.2026, 4.928 wartend). Kompaktes 27B-Modell der Qwen3.8-Generation mit "unmatched intelligence density". Kontrast zum 2.4T-MoE von Qwen 3.8. Lokal-relevant (27B läuft auf Consumer-HW). Release am selben Tag wie GLM-5.3-Review — chinesischer Release-Zyklus. **Update 18.08.:** jetzt auf Ollama lauffähig (`ollama run qwen3.8:27b`), dichte 27,8B-Architektur, Hybrid-Attention, 262k-Kontext (bis 1M via YaRN), multimodal, MTP-markierte Ollama-Tags für Inferenz-Speedup | other/2026-08-14_qwen3.8-27b-huggingface-release.md + youtube/2026-08-18_qwen-38-27b-ollama-julian-goldie.md |
|
||||
| [Qwen3.8-27B (Alibaba) — Compact Frontier, "Intelligence Density"](concepts/llm/qwen3.8-27b-alibaba.md) | HuggingFace-Release (Countdown bis 14.08.2026, 4.928 wartend). Kompaktes 27B-Modell der Qwen3.8-Generation mit "unmatched intelligence density". Kontrast zum 2.4T-MoE von Qwen 3.8. Lokal-relevant (27B läuft auf Consumer-HW). Release am selben Tag wie GLM-5.3-Review — chinesischer Release-Zyklus. **Update 18.08.:** jetzt auf Ollama lauffähig (`ollama run qwen3.8:27b`), dichte 27,8B-Architektur, Hybrid-Attention, 262k-Kontext (bis 1M via YaRN), multimodal, MTP-markierte Ollama-Tags für Inferenz-Speedup. **Update 19.08.:** DFlash 2 (Z Lab → Inco AI) erreicht 70 tok/s auf M5 Max MacBook Pro — bis 4,6× schneller als autoregressives Decoding via Speculative Decoding (Jun Song: „biggest breakthrough in local AI this year", nächste Innovation in Prefill/Gewichtskompression). Uncensored-Debatte: gregpr07 („no gates") vs. s1gmoid-Gegenposition (Verhältnismäßigkeit) | other/2026-08-14_qwen3.8-27b-huggingface-release.md + youtube/2026-08-18_qwen-38-27b-ollama-julian-goldie.md + xpost/2026-08-19_junsong-dflash2-speculative-decoding.md + xpost/2026-08-19_gregpr07-qwen38-uncensored.md |
|
||||
| [DeepSeek V4-Pro GA + Harness v0.1 (Open Source)](concepts/llm/deepseek-v4-pro-ga-harness-open-source.md) | DeepSeek launcht 13.08.2026 Open Source: V4-Pro GA (App/Web/API, Reasoning-Effort low/high/max, OpenAI-Responses-API + Codex, Peak/Off-Peak-Pricing) + DeepSeek Harness v0.1 (MIT, Open-Source-Agent-Harness, Rivale zu Claude Code). Dritter Baustein der chinesischen Welle in 24h | other/2026-08-14_deepseek-v4-pro-ga-harness-open-source.md + youtube/2026-08-13_deepseek-v4-pro-0813-aicodeking.md |
|
||||
| [Chinesische Modelle räumen global die Usage-Charts ab](concepts/llm/chinese-models-top-usage-charts.md) | OpenRouter: Top-5 der wöchentlichen Token-Nutzung (28.07.–03.08.2026) alle chinesisch, 56,8 Bio. Tokens, 15 Wochen in Folge führend, DeepSeek-V4-Flash Platz 1. Kimi-K3-Schock (2,8T, größtes Open-Weight-Modell, GPU-Kapazität nach 48h erschöpft, PHLX-Semi-Index −20%). Vierter Baustein der chinesischen Welle in 24h — jetzt auf Marktanteils-Ebene | other/2026-08-14_chinese-models-top-usage-charts-kimi-k3-shock.md |
|
||||
| [Gemini 3.6 Flash vs 3.7 Flash — Googles Workhorse-Serie](concepts/llm/gemini-3.6-flash-vs-3.7-flash.md) | Zwei Flash-Iterationen in 3 Wochen: 3.6 Flash (21.07., $1.50/$7.50) und 3.7 Flash (13.08., Intro $0.75/$3.75 bis 31.12., Default-Modell von Antigravity). 1M Kontext/64K Output, konfigurierbares Thinking. Westliche Antwort auf chinesische Kadenz, Preis-Halbierung als Waffe | other/2026-08-14_gemini-3.6-flash-vs-3.7-flash.md |
|
||||
|
|
|
|||
11
wiki/log.md
11
wiki/log.md
|
|
@ -2,6 +2,17 @@
|
|||
|
||||
*Append-only changelog. Start: 2026-06-05*
|
||||
|
||||
## 2026-08-19 — Qwen3.8-27B: DFlash 2 Speculative Decoding + Uncensored-Debatte (OME Topic "Tips & Tricks")
|
||||
|
||||
**Type:** ingest | **Scope:** raw/xpost (2 new), wiki/concepts/llm (1 update), wiki/index, wiki/log
|
||||
**Source:** OME-Gruppe, Topic "Tips & Tricks" — Kai (@PWeber) postete zwei X-Posts
|
||||
|
||||
- raw (NEW): `raw/xpost/2026-08-19_junsong-dflash2-speculative-decoding.md` — Jun Song: Qwen3.8-27B bei 70 tok/s auf einem einzelnen MacBook; Speculative Decoding als „biggest breakthrough in local AI this year"; nächste Innovation in Prefill + Gewichtskompression. Bezug: Zhijian Liu DFlash-2-Ankündigung (70 tok/s auf M5 Max MacBook Pro, bis 4,6× autoregressive, Z Lab → Inco AI).
|
||||
- raw (NEW): `raw/xpost/2026-08-19_gregpr07-qwen38-uncensored.md` — Gregor Zunic: „qwen 3.8 uncensored … will just do anything you ask it to do on the web, no gates". Zitierte Gegenantwort Σ (@s1gmoid): Verhältnismäßigkeits-Gegen-Narrativ.
|
||||
- wiki (UPDATED): `wiki/concepts/llm/qwen3.8-27b-alibaba.md` — neue Abschnitte „DFlash 2 / Speculative Decoding" (70 tok/s M5 Max, 4,6×, DFlash Z Lab → Inco AI, Jun-Song-Einordnung) und „Uncensored-Debatte" (gregpr07 vs. s1gmoid-Gegenposition, Verweis auf Agent-Guardrails + Pro-Leben).
|
||||
- index.md: Qwen3.8-27B-Eintrag um Update 19.08. erweitert (DFlash 2 + Uncensored-Debatte), Raw-Katalog (2 neue Quellen).
|
||||
- log: this entry
|
||||
|
||||
## 2026-08-19 — Diary Of A CEO: "ChatGPT Offered Me $2m To Keep Quiet" (OME Topic "aGi / eMergence")
|
||||
|
||||
**Type:** ingest | **Scope:** raw/youtube (1 new), wiki/concepts/agi (1 new), wiki/people (1 new), wiki/index, wiki/log
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue