68c359f968
Pit-Zusammenfassung in OME Topic 13 #6645 als Primärquelle (YouTube Transkript nicht abrufbar, LOGIN_REQUIRED). Neue Wiki-Seite post-transformer-llm-architectures.md sammelt die vier strategischen Säulen DeepMinds jenseits der AR-Mainstream-Skalierung.
6.7 KiB
6.7 KiB
| type | source_url | retrieved | title | channel | channel_url | author_handle | duration_sec | has_transcript | transcript_note | pit_summary_ref | tags | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| youtube | https://www.youtube.com/watch?v=8oyZB24-vAM | 2026-06-16 | DeepMind Was Two Steps Ahead, AGAIN! | Pourya Kordi | https://www.youtube.com/@Pourya_Kordi | @Pourya_Kordi | null | false | Auto-Transcript via youtube.com derzeit nicht abrufbar (LOGIN_REQUIRED); Pit's Textzusammenfassung im OME Topic 13 (#6645) als Primärquelle genutzt. | OME Topic 13 message #6645, 2026-06-16 09:36 UTC |
|
DeepMind Was Two Steps Ahead, AGAIN!
Kanal: Pourya Kordi · @Pourya_Kordi Pit-Zusammenfassung (OME #6645): https://t.me/c/3839640481/13/6645 Video: https://www.youtube.com/watch?v=8oyZB24-vAM
Transkript-Hinweis: YouTube liefert für dieses Video derzeit kein maschinenlesbares Transkript (LOGIN_REQUIRED). Die Inhaltswiedergabe unten basiert auf der ausführlichen Pit-Zusammenfassung in OME Topic 13 (#6645) und ist als „zusammengefasst-von-Pit" gekennzeichnet.
Kernthese des Videos
DeepMind verfolgt AGI als langfristige wissenschaftliche Mission (Weltmodell + kognitive Fähigkeiten) — nicht primär als SaaS-Produkt — und richtet Forschung und Compute entsprechend aus. Der klassische Mainstream-Stack (Transformer, autoregressiv, generativ, groß vortrainiert) gilt als mächtig, aber prinzipiell begrenzt. DeepMind versucht, jede Säule gezielt zu erweitern oder zu ersetzen.
1. Jenseits des klassischen Transformers
- „Naive" globale Attention skaliert quadratisch → bei langen Kontexten unpraktisch.
- DeepMind experimentiert mit sparse / lokal / hybrid Attention-Mustern.
- Konkrete Linien: Griffin, Recurrent Gemma, Titans — kombinieren Rekurrenz, State-Space-Ideen und selektives Gedächtnis für effizienteren Langzeitkontext.
2. Griffin, Recurrent Gemma und Gemma 4
- Griffin: lokale Attention (Fenster) + rekurrenter „Index-Karten"-Zustand komprimiert und schreibt essentielle Information fort, statt eine riesige KV-Cache-Historie mitzuschleppen.
- Recurrent Gemma: baut darauf auf, deutliche Vorteile bei Langkontext-Benchmarks.
- Gemma 4: kombiniert Sparsity/Experts mit Mischung aus lokaler und globaler Attention — multimodal bis 256k Token Kontext auf Edge-Hardware.
3. Weg von Autoregression zu Diffusions-LLMs
- AR-Modelle generieren sequentiell ohne nachträgliche Korrektur.
- Diffusions-LLMs verfeinern iterativ ganze Sequenzen → parallele Updates, eingebaute Fehlerkorrektur.
- Vorteile: weniger Schritte, besser GPU-parallelisierbar, 10× schneller bei ähnlicher Qualität, flexibler (z. B. Code-Completion in beliebiger Kontextposition statt nur Präfix-Fortsetzung).
4. DeepMind vs. Labs, die nur AR-LLMs skalieren
- OpenAI/Anthropic skalieren primär AR-Transformers + Scaling Laws (Hinweis: Aufgabe von Sora zugunsten GPT-Stack).
- DeepMind positioniert Diffusion (Gemini Diffusion) als zentrale Technologie neben den LLMs.
- These: Reine AR-LLMs liefern durch „Scale" allein womöglich nicht den nächsten qualitativ anderen Sprung; Diffusion und hybride Ansätze könnten Architekturgrundlage der nächsten Generation sein.
5. Weltmodelle, Video und die LeCun-Debatte
- Demis Hassabis: realistische Video-Generatoren (VEO) als Schritt zu physikalisch konsistentem Weltmodell — wer glaubwürdige Szenen generiert, hat latente Regularitäten (Physik, Objektpermanenz, Kausalität) gelernt.
- Yann LeCun (Gegenposition): rein generative Objectives stecken zu viel Rechenaufwand in unvorhersagbare Details (Blattflattern); propagiert JEPA-artige Joint-Embedding-Modelle, die nur kompatible Repräsentationen fehlender Teile vorhersagen, statt Pixel zu rekonstruieren.
6. Generativ vs. JEPA als Weltmodell-Pfad
| Pfad | Trainingsziel | Stärke | Schwäche |
|---|---|---|---|
| Generativ (Encoder-Diffusion-Decoder) | Rekonstruktion aus Rauschen | Implizit Weltregularitäten | Rechenaufwand für unwesentliche Details |
| JEPA (V-JEPA) | Konsistenz von Repräsentationen (Kontext-Encoder + Target-Encoder + Prädiktor) | Effizient, theoretisch besser skalierend | Empirisch (noch) hinter Top-Generatoren |
7. DeepMinds „Simulation + Gemini"-Strategie
- Diffusions-Modelle bauen eine immer realistischere, physikalisch konsistente Simulation der Welt.
- Ein multimodaler Kern (Gemini Omni) sammelt Erfahrungen und lernt ein explizites, sich entwickelndes Weltmodell.
- Gemini Omni als „anything-to-anything"-Autoregressor, der in simulierten Welten agiert und physikalisch/kausal fundierte Kompetenzen aufbaut.
8. Pretraining, Continual Learning und AGI
- Ilya Sutskever & Richard Sutton: massives Pretraining auf statischen Datensätzen ist ineffizient, biologisch unplausibel; echte Intelligenz braucht effizientes Lernen aus laufender Erfahrung + reichhaltige Feedbacksignale.
- Demis (Gegenposition): große multimodale Foundation-Modelle auf Web-Daten bleiben sinnvoller „Prior" und Kern jedes AGI-Systems, auf den Planung, Suche und weiteres Lernen aufbauen.
9. Fazit
DeepMind setzt gleichzeitig auf:
- neue Architekturen (Griffin, Recurrent Gemma, Titans)
- alternative Generationsverfahren (Diffusions-LLMs)
- Weltmodelle via generatives Video
- großskaliges Pretraining + nachgelagerte Planung
Die nächsten Jahre werden zeigen, ob DeepMinds breiter, architektur-diverser Ansatz gegenüber dem reinen „Scale autoregressive Transformers"-Pfad überlegen ist.
Externe Verweise (zur Vertiefung)
- Griffin — arXiv:2402.19427 (De et al., 2024) — rekurrente Hybride mit local attention + gated linear recurrences
- Recurrent Gemma — Google DeepMind Blog / arXiv:2404.08239
- Titans — arXiv:2501.00663 (Behrouz et al., 2025) — „Learning to Memorize at Test Time"
- Gemini Diffusion — Google DeepMind Announcement (Mai 2025)
- V-JEPA — Meta AI Research / arXiv:2404.08471
- JEPA-Konzept allgemein — LeCun, A Path Towards Autonomous Machine Intelligence (2022)
- Hassabis / Sutton / Sutskever Debatte — siehe Yann LeCun Homepage für Primärstatements
- Sora-Aufgabe zugunsten GPT-Stack — siehe OpenAI DevDay 2024 Announcements