DeepMind Beyond Transformer — Strategischer Architektur-Kontrast

Aggregiert-Stand: 2026-06-18. Primärquellen: Pourya Kordi, „DeepMind Was Two Steps Ahead, AGAIN!" (YouTube, https://www.youtube.com/watch?v=8oyZB24-vAM) — Pit-Zusammenfassung in OME Topic 6 (aGi / eMergence) am 2026-06-18. YouTube-Transkript nicht abrufbar (LOGIN_REQUIRED). Schwester-Ingest vom 2026-06-16 (Topic 13) liegt unter raw/youtube/2026-06-16_deepmind-two-steps-ahead.md und wird hier inhaltlich mit zitiert.

Diese Seite rückt den strategischen Kontrast zwischen DeepMinds Architektur-Diversität und der AR-Only-Strategie von OpenAI/Anthropic in den Mittelpunkt. Technische Details zu den einzelnen Architekturen sind auf der Schwester-Seite [[../concepts/llm/post-transformer-llm-architectures.md]] (Vier-Säulen-Übersicht) und der Konzept-Seite [[../concepts/world-models-jepa-vs-generative.md]] (Hassabis-vs-LeCun-Debatte) ausführlich dokumentiert.

Kernthese: Architektur-Diversität statt Monokultur

DeepMind verfolgt vier parallele Säulen, statt die gesamte Compute-Allokation auf AR-Transformer-Skalierung zu setzen:

Säule	Wettlauf-Anteil	Schlüsselmodelle	OpenClaw-Relevanz
Hybride Attention / Recurrence	Mittel-Lang-Kontext auf Edge	Griffin, Recurrent Gemma, Titans	Lokal laufende Embeddings/SSR
Diffusions-LLMs	Schnelle, parallele Generierung	Gemini Diffusion	Code-Completion in beliebigen Positionen
Multimodale Edge-Modelle	On-Device-Deployment	Gemma 4 (Sparsity+hybride Attention, 256k Kontext)	Self-Hosted Sovereignty
Weltmodelle	AGI-Wegbereitung	VEO + Hassabis-These	siehe Konzept-Seite

Strategischer Kontrast: DeepMind vs. AR-Only-Labs

	OpenAI / Anthropic	DeepMind
Primär-Stack	AR-Transformer + Skalierung	AR + Diffusion + Hybride + Weltmodelle
Skalierungs-Hebel	Compute (Chinchilla, Scaling Laws)	Compute und Architektur-Innovation
Indiz für Position	Aufgabe von Sora zugunsten GPT-Stack (OpenAI DevDay 2024)	Gemini Diffusion als zentrale Säule (Mai 2025)
Wettlauf-Strategie	„Wir skalieren besser als die anderen"	„Wir skalieren ANDERS — mit Architektur-Mix"
Risiko	AR-Hitze-Dead-End (Skalierungsgesetze flachen ab)	AR-Beiwerk wird verworfen, falsche Säule gewinnt
Compute-Allokation	SaaS-Produkt-Optimierung	AGI-Mission

Pit-Zusammenfassung (2026-06-18): „OpenAI/Anthropic setzen auf AR-Transformer + Scaling; DeepMind setzt auf Diffusion + hybride Architekturen als Fundament der nächsten Generation."

Was macht DeepMind anders? — Vier strategische Prinzipien

Architektur-Diversität statt Monokultur — vier parallele Säulen statt einer vertikalen Skalierungspiste.
Compute-Allokation auf AGI-Mission, nicht auf SaaS-Optimierung.
Langfristiger wissenschaftlicher Zeithorizont — bereit, „verlorene" Wetten auf nicht-AR-Architekturen einzugehen.
Hypothese: Reine AR-LLMs liefern durch „Scale" allein womöglich nicht den nächsten qualitativ anderen Sprung; Diffusion + hybride Architekturen + Weltmodelle sind die Architekturgrundlage der nächsten Generation.

Detail-Säulen mit Architektur-Referenzen

1. Hybride Attention / Recurrence (Griffin / Recurrent Gemma / Titans)

Quadratische Komplexität globaler Attention → bei langen Kontexten unpraktisch. DeepMind-Alternativen kombinieren lokale Attention mit rekurrentem Zustand. Detail-Beschreibungen und externe arXiv-Links siehe [[../concepts/llm/post-transformer-llm-architectures.md#1-effizientere-attention--hybride-architekturen]].

2. Gemma 4 — Edge-Multimodalität

Sparsity/Experts + hybrid (lokal + global) Attention
Multimodal
256k Token Kontext auf Edge-Hardware — d. h. auf Consumer-Geräten lauffähig
OpenClaw-Relevanz: Self-Hosted Sovereignty, Datenschutz, Latenz-Reduktion

3. Diffusions-LLMs (Gemini Diffusion)

Statt sequentieller AR-Generierung → iterative Verfeinerung der ganzen Sequenz. Pit-Zusammenfassung nennt konkret ~10× schneller bei vergleichbarer Qualität, parallele Updates, GPU-freundlich, eingebaute Fehlerkorrektur, und Code-Completion in beliebigen Kontextpositionen (statt nur Präfix-Fortsetzung). Detail-Tabellen siehe [[../concepts/llm/post-transformer-llm-architectures.md#2-diffusions-llms-nicht-ar-generierung]].

4. Weltmodelle — Hassabis-vs-LeCun-Debatte

Wird auf eigener Konzept-Seite [[../concepts/world-models-jepa-vs-generative.md]] strukturiert.

Externe Primärquellen

Video: https://www.youtube.com/watch?v=8oyZB24-vAM (Pourya Kordi)
Pit Topic 6: OME Topic 6 (aGi / eMergence), 2026-06-18
Pit Topic 13: OME Topic 13 #6645, 2026-06-16 (Schwester-Ingest)
Griffin: arXiv:2402.19427
Recurrent Gemma: arXiv:2404.08239 · Google Blog
Titans: arXiv:2501.00663
Gemini Diffusion: Google DeepMind Blog
V-JEPA: Meta AI Blog · arXiv:2404.08471
LeCun JEPA-Framework: OpenReview 2022
OpenAI DevDay 2024 (Sora-Kontext): OpenAI

6.5 KiB Raw Blame History Unescape Escape