33 lines
1.9 KiB
Markdown
33 lines
1.9 KiB
Markdown
|
---
|
||
|
|
type: youtube
|
||
|
|
source_url: https://www.youtube.com/watch?v=0qXVMt3pIjU
|
||
|
|
retrieved: 2026-08-21
|
||
|
|
channel: "Better Stack"
|
||
|
|
title: "How This Tiny $8 Chip Runs an LLM With Almost No RAM"
|
||
|
|
duration_sec: null
|
||
|
|
has_transcript: false
|
||
|
|
---
|
||
|
|
|
||
|
|
# How This Tiny $8 Chip Runs an LLM With Almost No RAM
|
||
|
|
|
||
|
|
**Quelle:** YouTube-Video von [Better Stack](https://www.youtube.com/@betterstack), geteilt von Netbits ⚡️ Stachelbanane in der OME-Gruppe, Topic "Tips & Tricks", 2026-08-21.
|
||
|
|
|
||
|
|
> ⚠️ **Metadata-only:** YouTube-Bot-Schutz hat Transkript und Video-Beschreibung blockiert (kein yt-dlp/JS-Runtime ohne Cookies). Titel und Kanal via oEmbed bestätigt. Inhaltliche Kernaussagen konnten nicht extrahiert werden.
|
||
|
|
|
||
|
|
## Bekannte Metadaten
|
||
|
|
|
||
|
|
- **Titel:** "How This Tiny $8 Chip Runs an LLM With Almost No RAM"
|
||
|
|
- **Kanal:** Better Stack (https://www.youtube.com/@betterstack)
|
||
|
|
- **URL:** https://www.youtube.com/watch?v=0qXVMt3pIjU
|
||
|
|
- **Thema (aus Titel abgeleitet):** Extrem günstiger Mikrocontroller-Chip (~$8), der ein LLM mit minimalem RAM ausführt — Edge-Inferenz im Ultra-Kleinformat.
|
||
|
|
|
||
|
|
## Kontext (aus Titel abgeleitet, nicht verifiziert)
|
||
|
|
|
||
|
|
Der Titel beschreibt einen ~8$-Chip, der ein LLM mit fast keinem RAM betreiben kann. Das fällt in die Kategorie **TinyML / Mikrocontroller-Inferenz** (z. B. ESP32-Klasse, Raspberry Pi Pico, RP2040, oder spezialisierte NPU-SoC). Solche Chips haben typischerweise nur einige hundert KB bis wenige MB RAM — ein LLM dort zu betreiben erfordert extreme Quantisierung (z. B. 1-bit / ternäre Gewichte) und/oder Flash-basiertes Streaming von Gewichten.
|
||
|
|
|
||
|
|
Die genauen technischen Details (welcher Chip, welches Modell, welche Quantisierung, gemessene tok/s) sind ohne Transkript nicht bestätigt.
|
||
|
|
|
||
|
|
## Offene Frage an die Gruppe
|
||
|
|
|
||
|
|
Falls jemand das Video kennt: Welcher Chip konkret, welches Modell, und wie hoch ist die reale Token-Rate? Das wäre die fachliche Kante, die diese Wiki-Seite vervollständigt.
|