--- type: youtube source_url: https://www.youtube.com/watch?v=Z0lkcQK2Oj8 retrieved: 2026-09-17 channel: "Marfil Draws" duration_sec: 806 has_transcript: false title: "Run DeepSeek V4.1 Flash on ANY hardware (16GB to 512GB): can it work?" uploaded: 2026-09-16 tags: [deepseek, deepseek-v4.1-flash, local-inference, hardware, quantization, dgx-spark, apple-silicon, moe] --- # Run DeepSeek V4.1 Flash on ANY hardware (16GB to 512GB): can it work? Video von **Marfil Draws** (@themarfildraws, 332 Abonnenten), hochgeladen 16.09.2026, Länge 13:26 (806 s), ca. 2.983 Views / 40 Likes zum Abrufzeitpunkt. Kein Transcript abrufbar; Inhalt aus Beschreibung, Kapitelmarken und Quellenliste (Firecrawl-Scrape, 17.09.2026). **Charakter des Videos:** Aggregation fremder Messwerte, keine eigene Messung. Der Autor bezieht sich auf 25 namentlich genannte Quellen. Eigenangabe des Autors: Zahlen aus Reddit, HN, X und Forenposts sind individuelle Nutzerberichte, keine Mittelwerte. ## Kapitelmarken | Zeit | Kapitel | |------|---------| | 00:00 | Why a Flash model is so big | | 01:12 | Apps, programs and the Q2 or Q4 builds | | 03:02 | How to judge speed | | 03:42 | The computer you already own | | 05:24 | 128 GB machines | | 07:41 | Settings that change the result | | 08:34 | Two machines and 256 GB | | 10:31 | 512 GB and Spark clusters | | 11:49 | Pro graphics cards | | 12:34 | The API and why people buy anyway | ## Architektur (Kapitel 00:00) - Mixture-of-Experts: **384 Experten pro Layer, 6 pro Token aktiv**. - **552B Hauptparameter + 196B in zwei Engram-Tabellen.** - Pro Token ~**4,51 GB Experten**, aber nur ~**12,4 KB Tabellen** → Tabellen können auf der SSD liegen, Experten nicht. - 1M-Token-Kontext belegt **< 1 GB**. ## Builds und Quantisierung (Kapitel 01:12) - Download gesamt ~**510 GB**. - **DwarfStar Q2:** 366-GB-Datei, ~**163 GB RAM**-Bedarf. - **DwarfStar Q4:** 519 GB, ~**316 GB RAM**-Bedarf. - **llama.cpp** unterstützt nur Cloud; auf NVIDIA-PCs nur inoffizielle Mods — einer davon mit altem Chat-Template → schwächeres Tool-Calling. - Q2 gegen Q4: **90,08 % vs. 96,7 %** Übereinstimmung mit der DeepSeek-API beim wahrscheinlich nächsten Token. ## Geschwindigkeitsmaßstab (Kapitel 03:02) - **5 tok/s** zu langsam für Agenten (nachts ok), **~15** Minimum, **Coding ≥ 20**. - Zweite Bremse ist der **Prefill**: 256-GB-M3-Ultra mit 15.688-Token-Prompt ≈ **99 s pro Call**, 6,6 s bei Wiederverwendung. ## Hardware-Stufen (Kapitel 03:42–07:41) | Konfiguration | Preis | Durchsatz (tok/s) | Notiz | |---------------|-------|-------------------|-------| | 16-GB-Mac-mini | — | ~23 s **pro Token** | 108 s bis erstes Wort, ~13 h für 2.048 Token | | RTX 5090 + 128 GB RAM | — | 5,12 | 54 % jedes Tokens wartet auf die SSD | | Strix-Halo-Boxen | — | 5,1–9,7 | | | 1× DGX Spark | $4.699 | 7–10 | | | M5 Max Mac Studio (128 GB) | $5.399 | Q2 15–16,4; Q4 10,4–10,6 stock, 14,38 mit Mod | Ein früher Q4-Load startete den Mac neu | ## Einstellungen (Kapitel 07:41) - Fester Harness-Prompt: **Claude Code ~20–25k**, **opencode ~10k** Token plus wechselnde Attribution-Zeile → lokal ~**90 % langsamer**, bis der Header auf null steht. - **Reasoning-Effort hoch/max** → Tool-Call-Schleifen; DeepSeek selbst empfiehlt **60–80**. - Ein Test: **788k statt 141k** Output-Token. ## Zwei Maschinen, 256 GB, Cluster (Kapitel 08:34–10:31) | Konfiguration | Preis | Durchsatz (tok/s) | Notiz | |---------------|-------|-------------------|-------| | 2× M5 Max | $10.867 | 25–30 | | | 2× DGX Spark | — | 21,9 (2,9-Bit 31,6) | Ein OOM fror beide ein | | M3 Ultra 256 GB | — | 29,85 auf Code | Q2 voll im RAM | | M3 Ultra 512 GB | — | 18,1–18,7 | Q4 im RAM | | 3× Spark im Dreieck | ~$14.532 | 37,9 | Erstmals komplett im RAM, aber nur ~32k Kontext | | 4× Spark | ~$20.091 | 45–74 | 1M Kontext — laut Video „paying twice for at best 50 % more speed" | ## Pro-Grafikkarten und Pruning (Kapitel 11:49) - **2× RTX PRO 6000** (~$32.000): 113,3 auf Q2. - Ein **geprunter Build**: 141 tok/s, aber eine Experten-Auswahl scored **45 % in Chemie** — laut Video „pruning can quietly delete whole subjects". - 4 Karten ($77k–98k): 200–260; **Speculative Decoding crasht bei ≥ ~4.000 Token**. ## API-Ökonomie (Kapitel 12:34) - API: **15 ¢/M Input off-peak, 60 ¢ Output**, doppelt zu Peak, ~200 tok/s. - Beliebtester Gegenfall: **$3 Overnight-API-Lauf**; $9.499 Mac gegen $200/Monat → **47,5 Monate Payback** (grobe Arithmetik, ohne Wiederverkauf/Speed/Qualität). - Fazit im Video: „On money alone, no" — gekauft wird für Privacy und Ownership. ## Quellen (vom Autor genannt) - NVIDIA Developer Forum: „DeepSeek v4.1 Flash" (108 Posts zum Abruf) - r/LocalLLaMA: „DeepSeek V4.1 Flash: Stronger, Faster, More Accessible" (219 Punkte, 57 Kommentare) - Kai: „What It Actually Costs to Run DeepSeek V4.1 Flash Locally?" (256.687 Views, 174 Kommentare heruntergeladen) - NVIDIA Marketplace US: DGX-Spark-Produktseite - DwarfStar `QA_BEFORE_RELEASES.md` (Kopie c1_ds4_qa) - drowzeys README: V4.1 Flash auf einer 256-GB-M3-Ultra mit oMLX - B&H Photo: RTX PRO 6000 Blackwell - MikroTik: CRS804 DDQ - Petronella Technology: DGX Spark 0.5 m QSFP112 400G DAC - Hacker News: „Show HN: Sunk Cost – How long until a local LLM rig pays for itself?" (46 Punkte, 98 Kommentare) - r/LocalLLM: „OK guys, let's be honest 1 minute about local LLM" (273 Punkte, 528 Kommentare) - antirez/ds4: `QA_BEFORE_RELEASES.md` (Sektion 17, V4.1-Messungen) - DeepSeek: offizielle Modelcard, `config.json`, V4.1-Flash Technical Report (PDF) - LibertAI: NVFP4-Repack + FP4-Engram - antirez/ds4 (DwarfStar): DGX-Spark-Guide - Manolo Remiddi: „Apple Just Made the Best Local AI Machine. Do Not Buy It Yet." (235.693 Views, 437 Kommentare)