13 KiB
| created | updated | sources | tags | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2026-08-10 | 2026-11-06 |
|
|
Lokale KI zum Coding — Kostenfrage & Hardware-Vorteile
TL;DR: Lokale KI-Modelle für Coding versprechen „Coding zum Nulltarif" — keine laufenden API-Kosten. Die Realität: Die Modellnutzung ist kostenlos, aber die Hardware (RAM, GPU) ist der eigentliche Kostenfaktor. Schnellere lokale Hardware macht lokale Coding-Agents praktikabel. Kontext: David Tielkes Video „Lokale KI: Coding zum Nulltarif?" (August 2026).
Quelle
| Quelle | Kanal | Datum | Engagement |
|---|---|---|---|
| Video: „Lokale KI: Coding zum Nulltarif?" | David Tielke | ~2026-08-09/10 | ~8.6K Views, 417 Likes |
Geteilt von: René Kl. in der OME-Gruppe als „Sendung mit der Maus"-Moment für erwachsene KI-Verstehenwoller — ein nüchterner Erklärgang, der gut zeigt, was im Detail abläuft.
Video-Details: 32 Min, gesponsert von AMD. Inhalt basiert auf dem Transcript (via Gruppen-Zusammenfassung).
Das Konzept
Lokale KI zum Coding bedeutet: KI-Modelle für Softwareentwicklung laufen auf eigener Hardware (Laptop, Desktop, NAS, Workstation) statt über Cloud-APIs. Die zentrale Frage des Videos ist die Kostenfrage — ist lokales Coding wirklich „zum Nulltarif"?
Die Kostenfrage: „Nulltarif" vs. Hardware-Kosten
| Kostenart | Cloud-API | Lokale KI |
|---|---|---|
| Laufende Modellkosten | Pro-Token / Abo | €0 (einmalig geladen) |
| Hardware-Anschaffung | Keine | Der eigentliche Kostenfaktor (RAM, GPU) |
| Strom / Betrieb | Inklusive | Gering, aber vorhanden |
| Skalierung | Unbegrenzt | Durch Hardware begrenzt |
Kernaussage: Der „Nulltarif" bezieht sich auf die Modellnutzung — keine laufenden API-Gebühren. Die tatsächlichen Kosten verschieben sich zur Hardware: Wer große Modelle lokal laufen lassen will, braucht ausreichend RAM und Rechenleistung. Das deckt sich mit der cloud-exit-and-local-superiority.md: RAM wird zur neuen digitalen Währung.
Vorteile schnellerer Hardware
Schnellere lokale Hardware (mehr RAM, bessere GPU) macht lokale Coding-Agents erst praktikabel:
- Höhere Tokens/s → flüssigere Agent-Schleifen (Plan → Code → Test → Refine)
- Größere Modelle → bessere Code-Qualität (z.B. Qwen3.6-27B statt kleinerer Modelle)
- Offline / DSGVO → keine Datenverlagerung in die Cloud
- Keine Rate-Limits → unbegrenzte Iterationen ohne Kostenangst
Bezug zu lokalen Agents
Ein Viewer-Kommentar wünscht sich mehr Details zum Setup lokaler Agents — also lokale KI-Agenten, die Coding-Aufgaben autonom ausführen. Das verbindet das Video mit der Agenten-Architektur-Diskussion: lokale Agents brauchen ein Harness (../../architecture/agent-orchestration.md), ein Modell (lokal) und ausreichend Hardware.
Technische Details aus dem Transcript
Tielke vergleicht zwei Hardware-Setups für lokale KI:
| Setup | Hardware | Speicher | Bandbreite |
|---|---|---|---|
| AMD Strix Halo (HP Zbook) | iGPU | 128 GB Unified Memory | ~260 GB/s |
| Desktop-PC | Dedizierte High-End-GPU | 16 GB VRAM | ~900 GB/s |
Zwei entscheidende Kennzahlen
- Time to First Token (Prefill): Wie schnell der eingehende Prompt durchgerechnet wird. Hängt von der Zahl der Shader-Kerne ab.
- Tokens pro Sekunde: Wie schnell das Modell antwortet. Bottleneck ist die Speicherbandbreite — pro Token muss das gesamte Modell + Kontextfenster durch den Speicherbus.
Der Kern-Trick: Dense vs. MoE
- Dense-Modelle (z.B. Gemma 4): Jeder Token lädt das gesamte Modell. → Dedizierte GPU (900 GB/s) gewinnt klar.
- MoE-Modelle (Mixture of Experts, z.B. Qwen 3 35B A3B, Qwen 3 Coder Next 80B): Nur ~8 von 256 Experten (≈3 Mrd. aktive Parameter) werden pro Token geladen. → Strix Halo (260 GB/s, aber 96 GB VRAM) schlägt die GPU, weil das große Modell dort überhaupt reinpasst.
Spillover
Passt ein Modell nicht in den VRAM, fällt ein Teil in den langsameren RAM (80 GB/s) → Tokens brechen ein (im Test: 14 statt erwarteter Tokens/s).
Fazit des Videos
- Lokale KI ist im x86-Bereich quasi unbegrenzt möglich.
- Aber: Die lokalen Modelle sind der limitierende Faktor. Qwen 3 Coder Next (80B) hält sich nicht an Vorgaben, braucht 40–50k Token Harness und ist trotzdem unzuverlässig. Für Office/Vibe-Coding super, für professionelles agentisches Coding noch nicht.
- Tielke hält die oft gepriesenen 35B-Modelle für „Schwachsinn" für ernsthafte Entwicklung.
- These: Steigende Tokenpreise wären gut für lokale KI, weil dann mehr in Open-Weight-Modelle investiert würde. (Nächste Video-Ankündigung: warum Tokenpreise nicht steigen.)
- AMD-Leihprogramm zum kostenlosen Testen.
Warum es zählt: Nüchterner Gegenpol zum Hype — die Hardware kann's schon, die Modelle noch nicht.
Verbindung zu bestehendem Wiki-Wissen
Hardware-Tier (Cloud-Exit erweitert)
| Hardware-Tier | Lokale Coding-Option | Quelle |
|---|---|---|
| Laptop (beliebig) | Qwen3.6-27B / Gemma 4 mit Unsloth-Quants via LM Studio/llama.cpp | ../llm/local-llm-laptop-guide.md |
| Mac (Apple Silicon) | MoE-Modelle (Minimax-M3.0, DeepSeek-v4-Flash) via MLX | ../llm/mlx-moe-local-ai-optimization.md |
| Prosumer-Desktop | AMD Strix Halo (128 GB) | edge-inference-als-cloud-alternative.md |
| Enterprise-Desktop | NVIDIA DGX Station (748 GB) | nvidia-dgx-station-748gb.md |
| NAS / Server | Hermes-Agent per SSH (Tielkes Experiment) | ../../people/david-tielke.md |
Kosten- & Qualitäts-Debatte
- ../llm/coding-benchmark-price-performance.md — 39× Kostenspanne zwischen Frontier- und Budget-Modellen; Qualitäts-Kurve ist logarithmisch
- ../llm/chinese-model-cost-routing.md — 87% Cost-Cut-Playbook (chinesische Modelle als lokale Gamechanger)
- ../llm/glm-5.2-zai-coding-model.md — GLM 5.2 als lokales Frontier-Coding-Modell
- ../llm/ai-intelligence-commoditization-thesis.md — Kommoditisierung der Intelligenz
Lokale Agents & Architektur
- ../../architecture/agent-orchestration.md — Orchestrator-Pattern für Agenten
- ../../architecture/model-routing.md — 5-Tier-Routing (lokale Modelle in Tier 0-1)
- ../../tools/hermes-desktop.md — Hermes-Agent als lokales Coding-Werkzeug (Tielkes Experiment)
Cross-References
- cloud-exit-and-local-superiority.md — Cloud-Exit-These (RAM als Währung, lokale Überlegenheit)
- ../llm/local-llm-laptop-guide.md — Beste lokale Modelle für Laptop-Hardware
- ../llm/mlx-moe-local-ai-optimization.md — MoE-Optimierung auf Apple Silicon
- edge-inference-als-cloud-alternative.md — AMD Strix Halo (x86-Edge-Inferenz)
- nvidia-dgx-station-748gb.md — NVIDIA DGX Station (Enterprise-Tier)
- deepseek-v41-flash-lokale-hardware.md — Extremfall lokaler Inferenz: V4.1 Flash, Hardware-Stufen 16 GB–512 GB, Payback-Rechnung gegen die API
- ../llm/coding-benchmark-price-performance.md — Preis-Leistungs-Vergleich von Coding-Modellen
- ../llm/chinese-model-cost-routing.md — Kosten-Routing mit chinesischen Modellen
- ../llm/glm-5.2-zai-coding-model.md — GLM 5.2 als lokales Coding-Modell
- ../../people/david-tielke.md — David Tielke (Video-Autor, 45-Tage-Experiment)
- ../../architecture/agent-orchestration.md — Agent-Orchestrierung (lokale Agents)
- ../../architecture/model-routing.md — Modell-Routing-Architektur
External Links
- Video: „Lokale KI: Coding zum Nulltarif?"
- YouTube-Kanal David Tielke
- 45-Tage-Enterprise-KI-Experiment
Ergänzung 2026-11-06 — c’t 3003: aktueller Stand lokaler KI
Neue Quelle: „Lokale KI: Das ist der aktuelle Stand“, c’t 3003, veröffentlicht am 06.11.2026.
Belegumfang: Originalbeschreibung, Kapitel und Linkziele gelesen; kein Video-Transkript erhalten (YouTube-Bot-Prüfung). Deshalb werden hier weder Messwerte noch Testergebnisse oder Aussagen des gesprochenen Videos behauptet.
Was die Beschreibung konkret empfiehlt
- Strata für Qwen 3.8 Flash Next.
- Qwen3.8-27B-GGUF von Unsloth — die Redaktion schreibt zur eigenen Auswahl ausdrücklich „wir nehmen UD_Q4_K_M“. Das ist eine Empfehlung der Videobeschreibung, kein hier reproduzierter Qualitätstest.
- Pi und OpenCode als Coding-Agenten.
Abgleich mit den verlinkten Projekten
Die Primärquellen bestätigen die Projekte, nicht die Geschwindigkeit oder Coding-Qualität des Videos:
- Strata: Laut Funktionsbeschreibung verteilt es die Inferenz auf GPU und CPU/RAM; SSD-Nutzung kann ergänzen, ist bei ausgelagerten Experten aber langsamer. Mehr VRAM ersetzt den RAM-Bedarf nicht automatisch. Die Modellübersicht nennt bestimmte Modelle/Quantisierungen, keine beliebige GGUF-Unterstützung. ⚠️ Projektangaben, kein eigener Leistungstest.
- Qwen-GGUF: Die verlinkte Unsloth-Sammlung enthält die genannte UD-Q4_K_M-Variante. Dateigröße und Laufzeitspeicher sind zu trennen: Kontext/KV-Cache und Puffer kommen hinzu.
- Pi/OpenCode: Pi beschreibt einen erweiterbaren Agenten-Harness mit Ollama-Unterstützung; OpenCode unterstützt ebenfalls lokale Modelle. Beide sind vom ausführenden Modellserver zu unterscheiden.
Navigierbare Kapitel
| Start | Kapitel laut Originalbeschreibung |
|---|---|
| 1:35 | Aktueller Stand |
| 4:22 | Giraffen-Test |
| 6:27 | Speicher und Quantisierung |
| 8:35 | Testgeräte und Messwerte |
| 15:49 | Runtime-Installation |
| 17:12 | Spezialisierte Runtimes (Strata etc.) |
| 18:49 | Harness und Agenten |
| 20:46 | Linux, Windows und macOS |
Einordnung: Die Kapitelstruktur macht die drei getrennten Auswahlentscheidungen sichtbar: Modell/Quantisierung, Runtime und Agenten-Harness. Für einen eigenen Vergleich sollten diese getrennt dokumentiert werden; ein Runtime-Durchsatzwert belegt noch keine zuverlässige Tool-Nutzung. Anknüpfung: ../../architecture/agent-orchestration.md und edge-inference-als-cloud-alternative.md.
Offen: Konkrete Geräte, Messverfahren, Durchsatz und Giraffen-Test-Ergebnisse sind ohne Video/Transkript nicht ausgewertet. Der Sponsorenblock betrifft laut Beschreibung Thomas-Krenn/OPNsense; daraus wird keine Aussage zur Unabhängigkeit einzelner KI-Tests abgeleitet.
Raw: Originalbeschreibung, Kapitel, vollständige Linkziele
Ergänzende Bot-Zusammenfassung: Datenschutz und Agentenrechte
Herman (@HermanButlerBot) berichtet ergänzend von Vergleichen zwischen Nvidia-, AMD- und Intel-GPUs sowie Apple-/AMD-Systemen und einer Empfehlung, die Installation zunächst mit einem Cloud-Coding-Agenten vorzunehmen und sich danach abzumelden. Das sind zugeschriebene Angaben aus einer sekundären Bot-Zusammenfassung, keine hier geprüften gesprochenen Videoaussagen. Auch die Dauer 22:50 stammt aus dieser Zusammenfassung; Hardwaremesswerte wurden nicht übernommen. Originalnachricht als Raw.
Praktische Konsequenz (Wiki-Einordnung): Ein später lokal laufendes Modell macht eine vorherige Cloud-Übertragung beim Setup nicht rückgängig; Abmelden löscht nicht automatisch bereits übertragene Inhalte. Vor Cloud-Hilfe deshalb Arbeitsverzeichnis, Geheimnisse und Tool-Zugriffe begrenzen. Ein lokaler Agent braucht weiterhin kontrollierte Schreib-/Löschrechte, überprüfbare Änderungen und Sicherungen. Für Datenschutz ist die gesamte Kette aus Harness, Runtime und Werkzeugen entscheidend, nicht allein der Modellstandort. Siehe ../policy/inference-provider-data-retention.md und ../../architecture/agent-orchestration.md.