hector-bot/knowledge-base
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
knowledge-base/raw/youtube/2026-06-18_deepmind-beyond-transformer.md

6 KiB
Raw Blame History

type source_url retrieved title channel channel_url author_handle duration_sec has_transcript transcript_note pit_summary_ref topic tags
youtube https://www.youtube.com/watch?v=8oyZB24-vAM 2026-06-18 DeepMind Was Two Steps Ahead, AGAIN! Pourya Kordi https://www.youtube.com/@Pourya_Kordi @Pourya_Kordi null false Auto-Transcript via youtube.com nicht abrufbar (LOGIN_REQUIRED); Pits Textzusammenfassung in OME Topic 6 (aGi / eMergence) als Primärquelle genutzt. OME Topic 6 (aGi / eMergence), 2026-06-18 — Pit Weber aGi / eMergence
deepmind
transformer
attention
diffusion
world-models
jepa
griffin
recurrent-gemma
gemma
agi
post-transformer
hassabis
lecun

DeepMind Was Two Steps Ahead, AGAIN!

Pit Weber — 2026-06-18 — OME Topic 6 (aGi / eMergence) Kanal: Pourya Kordi · @Pourya_Kordi Video: https://www.youtube.com/watch?v=8oyZB24-vAM

Hinweis: YouTube liefert für dieses Video kein maschinenlesbares Transkript (LOGIN_REQUIRED). Diese Datei basiert auf Pits zweiter Zusammenfassung desselben Videos (Topic 6 / aGi / eMergence), zwei Tage nach der ersten Ingest-Welle (Topic 13 / News & Infos, 2026-06-16 → raw/youtube/2026-06-16_deepmind-two-steps-ahead.md). Inhaltlich deckungsgleich mit der 16.06-Zusammenfassung; strukturell hier nochmal als eigenständige Quelle geführt, weil sie in einem anderen Topic-Kontext (aGi / eMergence statt News) gepostet wurde.

Kernthese

DeepMind positioniert sich jenseits des klassischen Transformer-Stacks (autoregressive LLMs mit globaler Attention) und investiert systematisch in alternative Architekturen — als Fundament einer nächsten Generation, in der AR-Transformer + Scaling allein möglicherweise nicht den nächsten qualitativ anderen Sprung liefern.

1. Architektur-Alternativen jenseits globaler Attention

Quadratische Komplexität der „naiven" globalen Attention wird bei langen Kontexten unpraktisch. DeepMind-Alternativen kombinieren lokale Attention mit rekurrentem Zustand für effizienten Langzeitkontext:

  • Griffin — lokale Attention (Fenster) + rekurrentes „Index-Karten"-Gedächtnis, das essentielle Information komprimiert fortschreibt, statt eine riesige KV-Cache-Historie mitzuschleppen.
  • Recurrent Gemma — baut auf Griffin auf; verbesserte Langkontext-Benchmarks.
  • Titans — „Learning to Memorize at Test Time"; selektives Gedächtnis für sehr lange Kontexte.

2. Gemma 4

Kombination aus Sparsity/Experts und hybrider Attention (lokal + global). Multimodalität bis 256k Token Kontext auf Edge-Hardware — also auf Consumer-Geräten lauffähig, nicht nur in Rechenzentren.

3. Diffusions-LLMs

Statt sequentieller Token-Generierung (klassische AR-Transformer) verfeinern Diffusions-LLMs iterativ die ganze Sequenz:

  • ~10× schneller bei vergleichbarer Qualität (gemessen)
  • Parallele Updates statt Token-Pipeline → GPU-freundlich
  • Eingebaute Fehlerkorrektur durch iterative Verfeinerung
  • Flexibler: Code-Completion in beliebigen Kontextpositionen, nicht nur als Präfix-Fortsetzung
  • DeepMind-Instanz: Gemini Diffusion (Ankündigung Mai 2025) als zentrale Technologie neben (nicht statt) den AR-LLMs

4. Weltmodelle via Video-Generation

Demis Hassabis' These: VEO-ähnliche Video-Generatoren, die glaubwürdige Szenen erzeugen, müssen latente Physik, Objektpermanenz und Kausalität gelernt haben — sonst könnten sie keine konsistenten Welten generieren. Realistische Generierung = impliziter Weltmodell-Test.

5. LeCun-Konter: JEPA > generative Objectives

Yann LeCun (Gegenposition): Rein generative Objectives stecken zu viel Rechenaufwand in unvorhersagbare Details (berühmtes Beispiel: „Blattflattern" im Wind). JEPA-artige Joint-Embedding-Modelle prognostizieren stattdessen nur kompatible Repräsentationen fehlender Teile — keine Pixel-Rekonstruktion. Vertreter: V-JEPA (Meta AI Research).

Theoretisch effizienter, empirisch (noch) hinter den Top-Generatoren — die Debatte ist offen.

6. Strategischer Kontrast DeepMind vs. AR-Only-Labs

Position Labs Kern-These
AR + Scaling OpenAI, Anthropic Klassische Transformer + Skalierungsgesetze reichen; Compute ist der Engpass
Architektur-Diversität DeepMind Reine AR-LLMs liefern womöglich nicht den nächsten Sprung; Diffusion + hybride Architekturen sind Fundament der nächsten Generation

Hinweis: Aufgabe von Sora zugunsten des GPT-Stacks (OpenAI DevDay 2024) wird als Indiz für AR-Fokus gelesen. DeepMind hält dagegen Gemini Diffusion als zentrale Säule.

Offene Fragen

  • Sollten wir mittelfristig Griffin-artige Architekturen für lokal laufende Embedding/SSR-Modelle evaluieren?
  • Ist der Diffusions-Pfad relevant für Code-Completion in nicht-Präfix-Positionen im Agenten-Workflow?
  • Wie balancieren wir Foundation-Prior (großes vortrainiertes Modell) vs. Continual-Learning (eigene Erfahrung) bei unseren Subconscious-/Memory-Subsystemen?

Externe Primärquellen