d367a825ea
- raw/youtube/2026-08-21_8-dollar-chip-llm-no-ram.md (NEW, metadata-only) - wiki/concepts/hardware/8-dollar-chip-llm-tinyml.md (NEW) — TinyML-Inferenz als untere Kante der Edge-Inferenz-Skala - index.md + log.md aktualisiert
1.9 KiB
| type | source_url | retrieved | channel | title | duration_sec | has_transcript |
|---|---|---|---|---|---|---|
| youtube | https://www.youtube.com/watch?v=0qXVMt3pIjU | 2026-08-21 | Better Stack | How This Tiny $8 Chip Runs an LLM With Almost No RAM | null | false |
How This Tiny $8 Chip Runs an LLM With Almost No RAM
Quelle: YouTube-Video von Better Stack, geteilt von Netbits ⚡️ Stachelbanane in der OME-Gruppe, Topic "Tips & Tricks", 2026-08-21.
⚠️ Metadata-only: YouTube-Bot-Schutz hat Transkript und Video-Beschreibung blockiert (kein yt-dlp/JS-Runtime ohne Cookies). Titel und Kanal via oEmbed bestätigt. Inhaltliche Kernaussagen konnten nicht extrahiert werden.
Bekannte Metadaten
- Titel: "How This Tiny $8 Chip Runs an LLM With Almost No RAM"
- Kanal: Better Stack (https://www.youtube.com/@betterstack)
- URL: https://www.youtube.com/watch?v=0qXVMt3pIjU
- Thema (aus Titel abgeleitet): Extrem günstiger Mikrocontroller-Chip (~$8), der ein LLM mit minimalem RAM ausführt — Edge-Inferenz im Ultra-Kleinformat.
Kontext (aus Titel abgeleitet, nicht verifiziert)
Der Titel beschreibt einen ~8$-Chip, der ein LLM mit fast keinem RAM betreiben kann. Das fällt in die Kategorie TinyML / Mikrocontroller-Inferenz (z. B. ESP32-Klasse, Raspberry Pi Pico, RP2040, oder spezialisierte NPU-SoC). Solche Chips haben typischerweise nur einige hundert KB bis wenige MB RAM — ein LLM dort zu betreiben erfordert extreme Quantisierung (z. B. 1-bit / ternäre Gewichte) und/oder Flash-basiertes Streaming von Gewichten.
Die genauen technischen Details (welcher Chip, welches Modell, welche Quantisierung, gemessene tok/s) sind ohne Transkript nicht bestätigt.
Offene Frage an die Gruppe
Falls jemand das Video kennt: Welcher Chip konkret, welches Modell, und wie hoch ist die reale Token-Rate? Das wäre die fachliche Kante, die diese Wiki-Seite vervollständigt.