--- created: 2026-08-10 updated: 2026-11-06 sources: - youtube/2026-08-10_lokale-ki-coding-nulltarif.md - youtube/2026-11-06_ct3003-lokale-ki-aktueller-stand.md - other/2026-11-06_herman-ct3003-lokale-ki-zusammenfassung.md tags: [concept, lokale-ki, coding, kosten, hardware, local-ai, agents] --- # Lokale KI zum Coding — Kostenfrage & Hardware-Vorteile > **TL;DR:** Lokale KI-Modelle für Coding versprechen „Coding zum Nulltarif" — keine laufenden API-Kosten. Die Realität: Die Modellnutzung ist kostenlos, aber die **Hardware** (RAM, GPU) ist der eigentliche Kostenfaktor. Schnellere lokale Hardware macht lokale Coding-Agents praktikabel. Kontext: David Tielkes Video „Lokale KI: Coding zum Nulltarif?" (August 2026). ## Quelle | Quelle | Kanal | Datum | Engagement | |--------|-------|-------|------------| | [Video: „Lokale KI: Coding zum Nulltarif?"](https://www.youtube.com/watch?v=3VwC7zCQT_E) | [David Tielke](https://www.youtube.com/@DavidTielke) | ~2026-08-09/10 | ~8.6K Views, 417 Likes | **Geteilt von:** René Kl. in der OME-Gruppe als „Sendung mit der Maus"-Moment für erwachsene KI-Verstehenwoller — ein nüchterner Erklärgang, der gut zeigt, was im Detail abläuft. > **Video-Details:** 32 Min, gesponsert von AMD. Inhalt basiert auf dem Transcript (via Gruppen-Zusammenfassung). --- ## Das Konzept **Lokale KI zum Coding** bedeutet: KI-Modelle für Softwareentwicklung laufen auf eigener Hardware (Laptop, Desktop, NAS, Workstation) statt über Cloud-APIs. Die zentrale Frage des Videos ist die **Kostenfrage** — ist lokales Coding wirklich „zum Nulltarif"? ### Die Kostenfrage: „Nulltarif" vs. Hardware-Kosten | Kostenart | Cloud-API | Lokale KI | |-----------|-----------|-----------| | **Laufende Modellkosten** | Pro-Token / Abo | **€0** (einmalig geladen) | | **Hardware-Anschaffung** | Keine | **Der eigentliche Kostenfaktor** (RAM, GPU) | | **Strom / Betrieb** | Inklusive | Gering, aber vorhanden | | **Skalierung** | Unbegrenzt | Durch Hardware begrenzt | **Kernaussage:** Der „Nulltarif" bezieht sich auf die **Modellnutzung** — keine laufenden API-Gebühren. Die tatsächlichen Kosten verschieben sich zur **Hardware**: Wer große Modelle lokal laufen lassen will, braucht ausreichend RAM und Rechenleistung. Das deckt sich mit der [[cloud-exit-and-local-superiority.md|Cloud-Exit-These]]: RAM wird zur neuen digitalen Währung. ### Vorteile schnellerer Hardware Schnellere lokale Hardware (mehr RAM, bessere GPU) macht lokale Coding-Agents erst praktikabel: - **Höhere Tokens/s** → flüssigere Agent-Schleifen (Plan → Code → Test → Refine) - **Größere Modelle** → bessere Code-Qualität (z.B. Qwen3.6-27B statt kleinerer Modelle) - **Offline / DSGVO** → keine Datenverlagerung in die Cloud - **Keine Rate-Limits** → unbegrenzte Iterationen ohne Kostenangst ### Bezug zu lokalen Agents Ein Viewer-Kommentar wünscht sich mehr Details zum **Setup lokaler Agents** — also lokale KI-Agenten, die Coding-Aufgaben autonom ausführen. Das verbindet das Video mit der Agenten-Architektur-Diskussion: lokale Agents brauchen ein Harness ([[../../architecture/agent-orchestration.md|Agent Orchestration]]), ein Modell (lokal) und ausreichend Hardware. --- ## Technische Details aus dem Transcript Tielke vergleicht zwei Hardware-Setups für lokale KI: | Setup | Hardware | Speicher | Bandbreite | |-------|----------|----------|------------| | **AMD Strix Halo** (HP Zbook) | iGPU | 128 GB Unified Memory | ~260 GB/s | | **Desktop-PC** | Dedizierte High-End-GPU | 16 GB VRAM | ~900 GB/s | ### Zwei entscheidende Kennzahlen - **Time to First Token (Prefill):** Wie schnell der eingehende Prompt durchgerechnet wird. Hängt von der Zahl der Shader-Kerne ab. - **Tokens pro Sekunde:** Wie schnell das Modell antwortet. **Bottleneck ist die Speicherbandbreite** — pro Token muss das gesamte Modell + Kontextfenster durch den Speicherbus. ### Der Kern-Trick: Dense vs. MoE - **Dense-Modelle** (z.B. Gemma 4): Jeder Token lädt das **gesamte** Modell. → Dedizierte GPU (900 GB/s) gewinnt klar. - **MoE-Modelle** (Mixture of Experts, z.B. Qwen 3 35B A3B, Qwen 3 Coder Next 80B): Nur ~8 von 256 Experten (≈3 Mrd. aktive Parameter) werden pro Token geladen. → Strix Halo (260 GB/s, aber 96 GB VRAM) schlägt die GPU, weil das große Modell dort überhaupt reinpasst. ### Spillover Passt ein Modell nicht in den VRAM, fällt ein Teil in den langsameren RAM (80 GB/s) → Tokens brechen ein (im Test: 14 statt erwarteter Tokens/s). ### Fazit des Videos - **Lokale KI ist im x86-Bereich quasi unbegrenzt möglich.** - **Aber: Die lokalen Modelle sind der limitierende Faktor.** Qwen 3 Coder Next (80B) hält sich nicht an Vorgaben, braucht 40–50k Token Harness und ist trotzdem unzuverlässig. Für Office/Vibe-Coding super, für professionelles agentisches Coding noch nicht. - Tielke hält die oft gepriesenen 35B-Modelle für „Schwachsinn" für ernsthafte Entwicklung. - **These:** Steigende Tokenpreise wären gut für lokale KI, weil dann mehr in Open-Weight-Modelle investiert würde. (Nächste Video-Ankündigung: warum Tokenpreise nicht steigen.) - AMD-Leihprogramm zum kostenlosen Testen. > **Warum es zählt:** Nüchterner Gegenpol zum Hype — die Hardware kann's schon, die Modelle noch nicht. --- ## Verbindung zu bestehendem Wiki-Wissen ### Hardware-Tier (Cloud-Exit erweitert) | Hardware-Tier | Lokale Coding-Option | Quelle | |---------------|----------------------|--------| | Laptop (beliebig) | Qwen3.6-27B / Gemma 4 mit Unsloth-Quants via LM Studio/llama.cpp | [[../llm/local-llm-laptop-guide.md]] | | Mac (Apple Silicon) | MoE-Modelle (Minimax-M3.0, DeepSeek-v4-Flash) via MLX | [[../llm/mlx-moe-local-ai-optimization.md]] | | Prosumer-Desktop | AMD Strix Halo (128 GB) | [[edge-inference-als-cloud-alternative.md]] | | Enterprise-Desktop | NVIDIA DGX Station (748 GB) | [[nvidia-dgx-station-748gb.md]] | | NAS / Server | Hermes-Agent per SSH (Tielkes Experiment) | [[../../people/david-tielke.md]] | ### Kosten- & Qualitäts-Debatte - [[../llm/coding-benchmark-price-performance.md]] — 39× Kostenspanne zwischen Frontier- und Budget-Modellen; Qualitäts-Kurve ist logarithmisch - [[../llm/chinese-model-cost-routing.md]] — 87% Cost-Cut-Playbook (chinesische Modelle als lokale Gamechanger) - [[../llm/glm-5.2-zai-coding-model.md]] — GLM 5.2 als lokales Frontier-Coding-Modell - [[../llm/ai-intelligence-commoditization-thesis.md]] — Kommoditisierung der Intelligenz ### Lokale Agents & Architektur - [[../../architecture/agent-orchestration.md]] — Orchestrator-Pattern für Agenten - [[../../architecture/model-routing.md]] — 5-Tier-Routing (lokale Modelle in Tier 0-1) - [[../../tools/hermes-desktop.md]] — Hermes-Agent als lokales Coding-Werkzeug (Tielkes Experiment) --- ## Cross-References - [[cloud-exit-and-local-superiority.md]] — Cloud-Exit-These (RAM als Währung, lokale Überlegenheit) - [[../llm/local-llm-laptop-guide.md]] — Beste lokale Modelle für Laptop-Hardware - [[../llm/mlx-moe-local-ai-optimization.md]] — MoE-Optimierung auf Apple Silicon - [[edge-inference-als-cloud-alternative.md]] — AMD Strix Halo (x86-Edge-Inferenz) - [[nvidia-dgx-station-748gb.md]] — NVIDIA DGX Station (Enterprise-Tier) - [[deepseek-v41-flash-lokale-hardware.md]] — Extremfall lokaler Inferenz: V4.1 Flash, Hardware-Stufen 16 GB–512 GB, Payback-Rechnung gegen die API - [[../llm/coding-benchmark-price-performance.md]] — Preis-Leistungs-Vergleich von Coding-Modellen - [[../llm/chinese-model-cost-routing.md]] — Kosten-Routing mit chinesischen Modellen - [[../llm/glm-5.2-zai-coding-model.md]] — GLM 5.2 als lokales Coding-Modell - [[../../people/david-tielke.md]] — David Tielke (Video-Autor, 45-Tage-Experiment) - [[../../architecture/agent-orchestration.md]] — Agent-Orchestrierung (lokale Agents) - [[../../architecture/model-routing.md]] — Modell-Routing-Architektur ## External Links - [Video: „Lokale KI: Coding zum Nulltarif?"](https://www.youtube.com/watch?v=3VwC7zCQT_E) - [YouTube-Kanal David Tielke](https://www.youtube.com/@DavidTielke) - [45-Tage-Enterprise-KI-Experiment](https://www.youtube.com/watch?v=eLDHrqKplVI) ## Ergänzung 2026-11-06 — c’t 3003: aktueller Stand lokaler KI Neue Quelle: [„Lokale KI: Das ist der aktuelle Stand“](https://www.youtube.com/watch?v=a__Rva9Wqek), [c’t 3003](https://www.youtube.com/@ct3003), veröffentlicht am 06.11.2026. **Belegumfang:** Originalbeschreibung, Kapitel und Linkziele gelesen; kein Video-Transkript erhalten (YouTube-Bot-Prüfung). Deshalb werden hier weder Messwerte noch Testergebnisse oder Aussagen des gesprochenen Videos behauptet. ### Was die Beschreibung konkret empfiehlt - **[Strata](https://github.com/niko1221/strata)** für Qwen 3.8 Flash Next. - **[Qwen3.8-27B-GGUF von Unsloth](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)** — die Redaktion schreibt zur eigenen Auswahl ausdrücklich „wir nehmen UD_Q4_K_M“. Das ist eine Empfehlung der Videobeschreibung, kein hier reproduzierter Qualitätstest. - **[Pi](https://pi.dev/)** und **[OpenCode](https://opencode.ai/de)** als Coding-Agenten. ### Abgleich mit den verlinkten Projekten Die Primärquellen bestätigen die Projekte, nicht die Geschwindigkeit oder Coding-Qualität des Videos: - **Strata:** Laut [Funktionsbeschreibung](https://github.com/Niko1221/Strata/blob/main/docs/HOW_IT_WORKS.md) verteilt es die Inferenz auf GPU und CPU/RAM; SSD-Nutzung kann ergänzen, ist bei ausgelagerten Experten aber langsamer. Mehr VRAM ersetzt den RAM-Bedarf nicht automatisch. Die [Modellübersicht](https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md) nennt bestimmte Modelle/Quantisierungen, keine beliebige GGUF-Unterstützung. ⚠️ Projektangaben, kein eigener Leistungstest. - **Qwen-GGUF:** Die verlinkte [Unsloth-Sammlung](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) enthält die genannte UD-Q4_K_M-Variante. Dateigröße und Laufzeitspeicher sind zu trennen: Kontext/KV-Cache und Puffer kommen hinzu. - **Pi/OpenCode:** [Pi](https://pi.dev/) beschreibt einen erweiterbaren Agenten-Harness mit Ollama-Unterstützung; [OpenCode](https://opencode.ai/de) unterstützt ebenfalls lokale Modelle. Beide sind vom ausführenden Modellserver zu unterscheiden. ### Navigierbare Kapitel | Start | Kapitel laut Originalbeschreibung | |---|---| | [1:35](https://www.youtube.com/watch?v=a__Rva9Wqek&t=95s) | Aktueller Stand | | [4:22](https://www.youtube.com/watch?v=a__Rva9Wqek&t=262s) | Giraffen-Test | | [6:27](https://www.youtube.com/watch?v=a__Rva9Wqek&t=387s) | Speicher und Quantisierung | | [8:35](https://www.youtube.com/watch?v=a__Rva9Wqek&t=515s) | Testgeräte und Messwerte | | [15:49](https://www.youtube.com/watch?v=a__Rva9Wqek&t=949s) | Runtime-Installation | | [17:12](https://www.youtube.com/watch?v=a__Rva9Wqek&t=1032s) | Spezialisierte Runtimes (Strata etc.) | | [18:49](https://www.youtube.com/watch?v=a__Rva9Wqek&t=1129s) | Harness und Agenten | | [20:46](https://www.youtube.com/watch?v=a__Rva9Wqek&t=1246s) | Linux, Windows und macOS | **Einordnung:** Die Kapitelstruktur macht die drei getrennten Auswahlentscheidungen sichtbar: Modell/Quantisierung, Runtime und Agenten-Harness. Für einen eigenen Vergleich sollten diese getrennt dokumentiert werden; ein Runtime-Durchsatzwert belegt noch keine zuverlässige Tool-Nutzung. Anknüpfung: [[../../architecture/agent-orchestration.md]] und [[edge-inference-als-cloud-alternative.md]]. **Offen:** Konkrete Geräte, Messverfahren, Durchsatz und Giraffen-Test-Ergebnisse sind ohne Video/Transkript nicht ausgewertet. Der Sponsorenblock betrifft laut Beschreibung Thomas-Krenn/OPNsense; daraus wird keine Aussage zur Unabhängigkeit einzelner KI-Tests abgeleitet. [Raw: Originalbeschreibung, Kapitel, vollständige Linkziele](../../../raw/youtube/2026-11-06_ct3003-lokale-ki-aktueller-stand.md) ### Ergänzende Bot-Zusammenfassung: Datenschutz und Agentenrechte [Herman (@HermanButlerBot)](https://t.me/c/3839640481/17556) berichtet ergänzend von Vergleichen zwischen Nvidia-, AMD- und Intel-GPUs sowie Apple-/AMD-Systemen und einer Empfehlung, die Installation zunächst mit einem Cloud-Coding-Agenten vorzunehmen und sich danach abzumelden. **Das sind zugeschriebene Angaben aus einer sekundären Bot-Zusammenfassung**, keine hier geprüften gesprochenen Videoaussagen. Auch die Dauer 22:50 stammt aus dieser Zusammenfassung; Hardwaremesswerte wurden nicht übernommen. [Originalnachricht als Raw](../../../raw/other/2026-11-06_herman-ct3003-lokale-ki-zusammenfassung.md). **Praktische Konsequenz (Wiki-Einordnung):** Ein später lokal laufendes Modell macht eine vorherige Cloud-Übertragung beim Setup nicht rückgängig; Abmelden löscht nicht automatisch bereits übertragene Inhalte. Vor Cloud-Hilfe deshalb Arbeitsverzeichnis, Geheimnisse und Tool-Zugriffe begrenzen. Ein lokaler Agent braucht weiterhin kontrollierte Schreib-/Löschrechte, überprüfbare Änderungen und Sicherungen. Für Datenschutz ist die gesamte Kette aus Harness, Runtime und Werkzeugen entscheidend, nicht allein der Modellstandort. Siehe [[../policy/inference-provider-data-retention.md]] und [[../../architecture/agent-orchestration.md]].