110 lines
5.7 KiB
Markdown
110 lines
5.7 KiB
Markdown
---
|
||
type: youtube
|
||
source_url: https://www.youtube.com/watch?v=Z0lkcQK2Oj8
|
||
retrieved: 2026-09-17
|
||
channel: "Marfil Draws"
|
||
duration_sec: 806
|
||
has_transcript: false
|
||
title: "Run DeepSeek V4.1 Flash on ANY hardware (16GB to 512GB): can it work?"
|
||
uploaded: 2026-09-16
|
||
tags: [deepseek, deepseek-v4.1-flash, local-inference, hardware, quantization, dgx-spark, apple-silicon, moe]
|
||
---
|
||
|
||
# Run DeepSeek V4.1 Flash on ANY hardware (16GB to 512GB): can it work?
|
||
|
||
Video von **Marfil Draws** (@themarfildraws, 332 Abonnenten), hochgeladen 16.09.2026, Länge 13:26 (806 s), ca. 2.983 Views / 40 Likes zum Abrufzeitpunkt. Kein Transcript abrufbar; Inhalt aus Beschreibung, Kapitelmarken und Quellenliste (Firecrawl-Scrape, 17.09.2026).
|
||
|
||
**Charakter des Videos:** Aggregation fremder Messwerte, keine eigene Messung. Der Autor bezieht sich auf 25 namentlich genannte Quellen. Eigenangabe des Autors: Zahlen aus Reddit, HN, X und Forenposts sind individuelle Nutzerberichte, keine Mittelwerte.
|
||
|
||
## Kapitelmarken
|
||
|
||
| Zeit | Kapitel |
|
||
|------|---------|
|
||
| 00:00 | Why a Flash model is so big |
|
||
| 01:12 | Apps, programs and the Q2 or Q4 builds |
|
||
| 03:02 | How to judge speed |
|
||
| 03:42 | The computer you already own |
|
||
| 05:24 | 128 GB machines |
|
||
| 07:41 | Settings that change the result |
|
||
| 08:34 | Two machines and 256 GB |
|
||
| 10:31 | 512 GB and Spark clusters |
|
||
| 11:49 | Pro graphics cards |
|
||
| 12:34 | The API and why people buy anyway |
|
||
|
||
## Architektur (Kapitel 00:00)
|
||
|
||
- Mixture-of-Experts: **384 Experten pro Layer, 6 pro Token aktiv**.
|
||
- **552B Hauptparameter + 196B in zwei Engram-Tabellen.**
|
||
- Pro Token ~**4,51 GB Experten**, aber nur ~**12,4 KB Tabellen** → Tabellen können auf der SSD liegen, Experten nicht.
|
||
- 1M-Token-Kontext belegt **< 1 GB**.
|
||
|
||
## Builds und Quantisierung (Kapitel 01:12)
|
||
|
||
- Download gesamt ~**510 GB**.
|
||
- **DwarfStar Q2:** 366-GB-Datei, ~**163 GB RAM**-Bedarf.
|
||
- **DwarfStar Q4:** 519 GB, ~**316 GB RAM**-Bedarf.
|
||
- **llama.cpp** unterstützt nur Cloud; auf NVIDIA-PCs nur inoffizielle Mods — einer davon mit altem Chat-Template → schwächeres Tool-Calling.
|
||
- Q2 gegen Q4: **90,08 % vs. 96,7 %** Übereinstimmung mit der DeepSeek-API beim wahrscheinlich nächsten Token.
|
||
|
||
## Geschwindigkeitsmaßstab (Kapitel 03:02)
|
||
|
||
- **5 tok/s** zu langsam für Agenten (nachts ok), **~15** Minimum, **Coding ≥ 20**.
|
||
- Zweite Bremse ist der **Prefill**: 256-GB-M3-Ultra mit 15.688-Token-Prompt ≈ **99 s pro Call**, 6,6 s bei Wiederverwendung.
|
||
|
||
## Hardware-Stufen (Kapitel 03:42–07:41)
|
||
|
||
| Konfiguration | Preis | Durchsatz (tok/s) | Notiz |
|
||
|---------------|-------|-------------------|-------|
|
||
| 16-GB-Mac-mini | — | ~23 s **pro Token** | 108 s bis erstes Wort, ~13 h für 2.048 Token |
|
||
| RTX 5090 + 128 GB RAM | — | 5,12 | 54 % jedes Tokens wartet auf die SSD |
|
||
| Strix-Halo-Boxen | — | 5,1–9,7 | |
|
||
| 1× DGX Spark | $4.699 | 7–10 | |
|
||
| M5 Max Mac Studio (128 GB) | $5.399 | Q2 15–16,4; Q4 10,4–10,6 stock, 14,38 mit Mod | Ein früher Q4-Load startete den Mac neu |
|
||
|
||
## Einstellungen (Kapitel 07:41)
|
||
|
||
- Fester Harness-Prompt: **Claude Code ~20–25k**, **opencode ~10k** Token plus wechselnde Attribution-Zeile → lokal ~**90 % langsamer**, bis der Header auf null steht.
|
||
- **Reasoning-Effort hoch/max** → Tool-Call-Schleifen; DeepSeek selbst empfiehlt **60–80**.
|
||
- Ein Test: **788k statt 141k** Output-Token.
|
||
|
||
## Zwei Maschinen, 256 GB, Cluster (Kapitel 08:34–10:31)
|
||
|
||
| Konfiguration | Preis | Durchsatz (tok/s) | Notiz |
|
||
|---------------|-------|-------------------|-------|
|
||
| 2× M5 Max | $10.867 | 25–30 | |
|
||
| 2× DGX Spark | — | 21,9 (2,9-Bit 31,6) | Ein OOM fror beide ein |
|
||
| M3 Ultra 256 GB | — | 29,85 auf Code | Q2 voll im RAM |
|
||
| M3 Ultra 512 GB | — | 18,1–18,7 | Q4 im RAM |
|
||
| 3× Spark im Dreieck | ~$14.532 | 37,9 | Erstmals komplett im RAM, aber nur ~32k Kontext |
|
||
| 4× Spark | ~$20.091 | 45–74 | 1M Kontext — laut Video „paying twice for at best 50 % more speed" |
|
||
|
||
## Pro-Grafikkarten und Pruning (Kapitel 11:49)
|
||
|
||
- **2× RTX PRO 6000** (~$32.000): 113,3 auf Q2.
|
||
- Ein **geprunter Build**: 141 tok/s, aber eine Experten-Auswahl scored **45 % in Chemie** — laut Video „pruning can quietly delete whole subjects".
|
||
- 4 Karten ($77k–98k): 200–260; **Speculative Decoding crasht bei ≥ ~4.000 Token**.
|
||
|
||
## API-Ökonomie (Kapitel 12:34)
|
||
|
||
- API: **15 ¢/M Input off-peak, 60 ¢ Output**, doppelt zu Peak, ~200 tok/s.
|
||
- Beliebtester Gegenfall: **$3 Overnight-API-Lauf**; $9.499 Mac gegen $200/Monat → **47,5 Monate Payback** (grobe Arithmetik, ohne Wiederverkauf/Speed/Qualität).
|
||
- Fazit im Video: „On money alone, no" — gekauft wird für Privacy und Ownership.
|
||
|
||
## Quellen (vom Autor genannt)
|
||
|
||
- NVIDIA Developer Forum: „DeepSeek v4.1 Flash" (108 Posts zum Abruf)
|
||
- r/LocalLLaMA: „DeepSeek V4.1 Flash: Stronger, Faster, More Accessible" (219 Punkte, 57 Kommentare)
|
||
- Kai: „What It Actually Costs to Run DeepSeek V4.1 Flash Locally?" (256.687 Views, 174 Kommentare heruntergeladen)
|
||
- NVIDIA Marketplace US: DGX-Spark-Produktseite
|
||
- DwarfStar `QA_BEFORE_RELEASES.md` (Kopie c1_ds4_qa)
|
||
- drowzeys README: V4.1 Flash auf einer 256-GB-M3-Ultra mit oMLX
|
||
- B&H Photo: RTX PRO 6000 Blackwell
|
||
- MikroTik: CRS804 DDQ
|
||
- Petronella Technology: DGX Spark 0.5 m QSFP112 400G DAC
|
||
- Hacker News: „Show HN: Sunk Cost – How long until a local LLM rig pays for itself?" (46 Punkte, 98 Kommentare)
|
||
- r/LocalLLM: „OK guys, let's be honest 1 minute about local LLM" (273 Punkte, 528 Kommentare)
|
||
- antirez/ds4: `QA_BEFORE_RELEASES.md` (Sektion 17, V4.1-Messungen)
|
||
- DeepSeek: offizielle Modelcard, `config.json`, V4.1-Flash Technical Report (PDF)
|
||
- LibertAI: NVFP4-Repack + FP4-Engram
|
||
- antirez/ds4 (DwarfStar): DGX-Spark-Guide
|
||
- Manolo Remiddi: „Apple Just Made the Best Local AI Machine. Do Not Buy It Yet." (235.693 Views, 437 Kommentare)
|