From 4302e76175cb109b73ba966f083a49e9a3a2e43e Mon Sep 17 00:00:00 2001 From: Hector Date: Thu, 25 Jun 2026 20:48:54 +0200 Subject: [PATCH] =?UTF-8?q?ingest(raw/blog):=20binaryverseai-qwen-agentwor?= =?UTF-8?q?ld=20=E2=80=94=20AgentWorldBench=20scores,=20CPT/SFT/RL=20pipel?= =?UTF-8?q?ine,=207=20domains?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit wiki-update(concepts): world-model-rl-training.md augmented with benchmark table, training pipeline detail, GUI text representation, model variants - raw: raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md (new) - wiki: concepts/world-model-rl-training.md (augmented — new sections: Training Pipeline, 7 Domains, AgentWorldBench, Modell-Varianten, GUI text representation) - wiki: index.md (34. Update, World-Models row updated, new raw source) - wiki: log.md (new entry) --- ...026-06-25_binaryverseai-qwen-agentworld.md | 62 ++++++++++++++ wiki/concepts/world-model-rl-training.md | 81 +++++++++++++++++-- wiki/index.md | 7 +- wiki/log.md | 14 +++- 4 files changed, 155 insertions(+), 9 deletions(-) create mode 100644 raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md diff --git a/raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md b/raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md new file mode 100644 index 0000000..7b47b49 --- /dev/null +++ b/raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md @@ -0,0 +1,62 @@ +--- +type: blog +source_url: https://binaryverseai.com/qwen-agentworld-language-world-model/ +retrieved: 2026-06-25 +title: "Qwen AgentWorld Explained: Predict Before Agents Act" +author: "BinaryVerse AI" +tags: [qwen-agentworld, world-model, agent-training, rl, benchmark, mcp, gui-automation] +--- + +# Qwen AgentWorld Explained: Predict Before Agents Act + +**Source:** https://binaryverseai.com/qwen-agentworld-language-world-model/ + +## Key Takeaways + +1. **Qwen AgentWorld is a LANGUAGE WORLD MODEL, not a chatbot.** It predicts the next environment state after an agent action. Normal LLM asks "What should I say or do?" → Qwen AgentWorld asks "If the agent does that, what will the world return?" + +2. **Open weights available:** `Qwen-AgentWorld-35B-A3B` (open weights). Research model: `Qwen-AgentWorld-397B-A17B`. + +3. **7 domains:** MCP, Search, Terminal, SWE (Software Engineering), Web, OS, Android. + +4. **Training pipeline:** "CPT injects, SFT activates, RL sharpens" + - **Continual Pre-Training (CPT):** Injects environment knowledge into the model + - **Supervised Fine-Tuning (SFT):** Activates next-state prediction capability + - **Reinforcement Learning (RL):** Sharpens simulation fidelity + +5. **10M+ real environment interaction trajectories** used in training. + +6. **AgentWorldBench scores (Overall):** + + | Model | Overall Score | + |-------|-------------| + | Qwen-AgentWorld-397B-A17B | 58.71 | + | GPT-5.4 | 58.25 | + | Claude Opus 4.8 | 56.59 | + | Claude Sonnet 4.6 | 56.04 | + | Qwen-AgentWorld-35B-A3B | 56.39 | + | Qwen3.5-35B-A3B | 47.73 | + +7. **GUI domains (Web, OS, Android)** use structured text representations (accessibility trees, HTML, XML), NOT raw pixels. + +8. **Core loop:** interaction history → agent action → model predicts next observation → use prediction for evaluation, planning, or RL training. + +## External Links + +- **Paper:** https://arxiv.org/pdf/2606.24597 +- **GitHub:** https://github.com/QwenLM/Qwen-AgentWorld +- **HuggingFace:** https://huggingface.co/collections/Qwen/qwen-agentworld + +## Wiki Relevance + +- Augments `wiki/concepts/world-model-rl-training.md` with: + - AgentWorldBench benchmark score table + - CPT/SFT/RL training pipeline detail + - GUI domain representation detail (structured text, not pixels) + - 10M+ trajectory training data detail + - Distinction: Language World Model (predicts environment state) vs. action-generating LLM + +## Related Wiki Pages + +- `[[concepts/world-model-rl-training.md]]` — Main wiki page for Qwen-AgentWorld +- `[[concepts/world-models-jepa-vs-generative.md]]` — JEPA vs. generative world models debate \ No newline at end of file diff --git a/wiki/concepts/world-model-rl-training.md b/wiki/concepts/world-model-rl-training.md index 4341718..1693941 100644 --- a/wiki/concepts/world-model-rl-training.md +++ b/wiki/concepts/world-model-rl-training.md @@ -3,16 +3,19 @@ created: 2026-06-25 updated: 2026-06-25 sources: - youtube/2026-06-25_qwen-agentworld-world-model-rl.md -tags: [concept, world-models, rl, reinforcement-learning, agent-training, hallucinated-environments, qwen, synthetic-data, agi] + - blog/2026-06-25_binaryverseai-qwen-agentworld.md +tags: [concept, world-models, rl, reinforcement-learning, agent-training, hallucinated-environments, qwen, synthetic-data, agi, agentworldbench, mcp, gui-automation] --- # World Models for RL Training — Qwen-AgentWorld -> **Stand:** 2026-06-25. Quelle: Sam Witteveon YouTube-Video „Qwen-AgentWorld: The World Model for RL Environments" (16:31, 2026-06-25). +> **Stand:** 2026-06-25. Quellen: Sam Witteveen YouTube-Video „Qwen-AgentWorld: The World Model for RL Environments" (16:31, 2026-06-25) + BinaryVerse AI Blog „Qwen AgentWorld Explained: Predict Before Agents Act" (2026-06-25). ## Kernidee -**Qwen-AgentWorld** (Alibaba/QwenLM) ist ein Weltmodell, das RL-Umgebungen **halluziniert** — anstatt Agenten in realen Umgebungen zu trainieren, generiert das Weltmodell synthetische Trainingsumgebungen. Agenten, die in diesen hallucinated environments trainiert wurden, **schlagen Agenten, die in realen RL-Umgebungen trainiert wurden** — auf der eigenen Benchmark des Teams, und auch beim Vergleich mit **GPT-5.4 und Claude**. +**Qwen-AgentWorld** (Alibaba/QwenLM) ist ein **Language World Model** — kein Chatbot. Es sagt den nächsten Umgebungs-Zustand nach einer Agenten-Aktion voraus. Normal LLM fragt „Was soll ich sagen oder tun?" → Qwen AgentWorld fragt „Wenn der Agent das tut, was wird die Welt zurückgeben?" + +Es ist ein Weltmodell, das RL-Umgebungen **halluziniert** — anstatt Agenten in realen Umgebungen zu trainieren, generiert das Weltmodell synthetische Trainingsumgebungen. Agenten, die in diesen hallucinated environments trainiert wurden, **schlagen Agenten, die in realen RL-Umgebungen trainiert wurden** — auf der eigenen Benchmark des Teams, und auch beim Vergleich mit **GPT-5.4 und Claude**. ## Pipeline @@ -30,6 +33,73 @@ Dies ist eine **dritte Trainingsschiene** jenseits der klassischen dichotomie: 2. **Self-Play** — Agent lernt durch Spielen gegen sich selbst (AlphaGo, Dota-OpenAI) 3. **Hallucinated Environment Training** (neu) — Agent lernt in einer vom Weltmodell generierten Simulation +## Training Pipeline — „CPT injects, SFT activates, RL sharpens" + +Qwen-AgentWorld wird in drei Phasen trainiert: + +### 1. Continual Pre-Training (CPT) — injects environment knowledge +- **Ziel:** Umgebungs-Wissen in das Modell injizieren. Das Modell lernt die Struktur und Dynamik der 7 Domänen (MCP, Search, Terminal, SWE, Web, OS, Android). +- **Daten:** 10M+ reale Interaktions-Trajektorien aus echten Umgebungen. + +### 2. Supervised Fine-Tuning (SFT) — activates next-state prediction +- **Ziel:** Das Modell lernt, den *nächsten Beobachtungs-Zustand* vorherzusagen, gegeben eine Interaktions-Historie und eine Agenten-Aktion. +- **Paradigma-Wechsel:** Das Modell wird vom Aktions-Generator zum Umgebungs-Simulator. + +### 3. Reinforcement Learning (RL) — sharpens simulation fidelity +- **Ziel:** Die Simulations-Genauigkeit wird durch RL weiter geschärft. Das Modell lernt, präzisere und nützlichere Welt-Zustände zu generieren. + +### Core Loop + +``` +Interaktions-Historie → Agenten-Aktion → Modell sagt nächsten Beobachtungs-Zustand voraus + → Verwendung für: Evaluation / Planning / RL-Training +``` + +## 7 Domänen + +Qwen-AgentWorld deckt sieben Agenten-Umgebungen ab: + +| Domäne | Beschreibung | Repräsentation | +|--------|-------------|----------------| +| **MCP** | Model Context Protocol | Strukturierter Text | +| **Search** | Web-Suche | Strukturierter Text | +| **Terminal** | Kommandozeile | Strukturierter Text | +| **SWE** | Software Engineering | Strukturierter Text | +| **Web** | Browser/GUI | HTML | +| **OS** | Betriebssystem/GUI | Accessibility Trees | +| **Android** | Mobile GUI | XML-Layouts | + +### GUI-Domänen: Strukturierte Text-Repräsentation, keine Pixel + +Für die GUI-Domänen (Web, OS, Android) verwendet Qwen-AgentWorld **keine rohen Pixel-Bilder**, sondern strukturierte Text-Repräsentationen (HTML, Accessibility Trees, XML). Dies ist eine bewusste Design-Entscheidung: Text-Repräsentationen sind kompakter, deterministischer und lassen sich besser in einem Language World Model verarbeiten als Pixel-Arrays. Das Modell bleibt im Sprachraum — es „sieht" die GUI als strukturierten Text, nicht als Bild. + +## Modell-Varianten + +| Variante | Parameter | Typ | +|---------|-----------|-----| +| Qwen-AgentWorld-35B-A3B | 35B total, 3B active (MoE) | Open Weights | +| Qwen-AgentWorld-397B-A17B | 397B total, 17B active (MoE) | Research-only | + +Beide sind Mixture-of-Experts (MoE) Architekturen — die active-parameter-Counts (3B bzw. 17B) zeigen, dass bei Inference nur ein Bruchteil der Parameter aktiviert wird. + +## AgentWorldBench — Benchmark-Ergebnisse + +Die AgentWorldBench misst, wie gut ein Modell den nächsten Umgebungs-Zustand nach einer Agenten-Aktion vorhersagt. Höher = bessere Welt-Simulation. + +| Modell | Overall Score | +|--------|--------------| +| **Qwen-AgentWorld-397B-A17B** (research) | **58.71** | +| GPT-5.4 | 58.25 | +| Claude Opus 4.8 | 56.59 | +| Qwen-AgentWorld-35B-A3B (open weights) | 56.39 | +| Claude Sonnet 4.6 | 56.04 | +| Qwen3.5-35B-A3B (baseline, kein World-Model-Training) | 47.73 | + +**Key Observations:** +- Das 397B-Research-Modell schlägt GPT-5.4 knapp (+0.46 Punkte). +- Das offene 35B-Modell schlägt Claude Sonnet 4.6 (+0.35 Punkte) und liegt nah an Claude Opus 4.8 (−0.20 Punkte). +- Qwen3.5-35B-A3B (ohne World-Model-Training) fällt auf 47.73 ab — **8.66 Punkte hinter der open-weights AgentWorld-Variante**. Das zeigt, dass der AgentWorld-Training-Pipeline den größten Teil des Gewinns liefert, nicht nur die Modellgröße. + ## Warum es bedeutsam ist ### 1. Weltmodelle als Trainings-Infrastruktur @@ -85,10 +155,11 @@ Qwen-AgentWorld ist **orthogonal zur JEPA-vs-Generativ-Debatte**: es geht um die ## Externe Primärquellen - **Paper:** [arXiv:2606.24597](https://arxiv.org/abs/2606.24597) -- **Blog:** https://qwen.ai/blog?id=qwen-agentworld +- **Blog (Qwen officiel):** https://qwen.ai/blog?id=qwen-agentworld +- **Blog (BinaryVerse AI):** https://binaryverseai.com/qwen-agentworld-language-world-model/ - **GitHub:** https://github.com/QwenLM/Qwen-AgentWorld - **HuggingFace:** https://huggingface.co/collections/Qwen/qwen-agentworld -- **Video:** https://www.youtube.com/watch?v=VzmMQWRhlBw +- **Video (Sam Witteveen):** https://www.youtube.com/watch?v=VzmMQWRhlBw ## Verwandte Wiki-Seiten diff --git a/wiki/index.md b/wiki/index.md index 3dd4c1e..e7f3c69 100644 --- a/wiki/index.md +++ b/wiki/index.md @@ -2,7 +2,7 @@ *Auto-generated: 2026-06-23* -*Letzte Aktualisierung: 2026-06-25 (33. Update — OME22: KI-Nacht & Agenten-Architektur. Infografik von NotebookLM. Raw-Datei `other/2026-06-25_ome22-ki-nacht-agenten-architektur.md`.)* + *Letzte Aktualisierung: 2026-06-25 (34. Update — Qwen-AgentWorld Blog-Ingest: AgentWorldBench scores, CPT/SFT/RL training pipeline, 7 domains, GUI text representation. Raw-Datei `blog/2026-06-25_binaryverseai-qwen-agentworld.md`. Augmentation von `concepts/world-model-rl-training.md`.)* ## Architecture @@ -44,7 +44,7 @@ | Seite | Beschreibung | Quellen | |-------|-------------|---------| | [Weltmodelle: JEPA vs. Generativ](concepts/world-models-jepa-vs-generative.md) | Hassabis-vs-LeCun-Debatte strukturiert: Generative Weltmodelle (VEO, Pixel-Rekonstruktion, Compute-intensiv) vs. JEPA (V-JEPA, Embedding-Konsistenz, theoretisch effizienter, empirisch noch nicht an der Spitze). AGI-Weltmodell-Wette bis 2028-2030 | youtube/2026-06-18_deepmind-beyond-transformer.md + youtube/2026-06-16_deepmind-two-steps-ahead.md | -| [World Models for RL Training — Qwen-AgentWorld](concepts/world-model-rl-training.md) | Qwen-AgentWorld: Weltmodell halluziniert RL-Umgebungen → Agenten trainieren darin → schlagen real-world RL + GPT-5.4/Claude. Dritte Trainingsschiene jenseits RLHF/Self-Play. Cross-Ref zu JEPA-Debatte. | youtube/2026-06-25_qwen-agentworld-world-model-rl.md | + | [World Models for RL Training — Qwen-AgentWorld](concepts/world-model-rl-training.md) | Qwen-AgentWorld: Language World Model, halluziniert RL-Umgebungen → Agenten trainieren darin → schlagen real-world RL + GPT-5.4/Claude. CPT/SFT/RL Pipeline, 7 Domänen, AgentWorldBench scores, GUI als strukturierte Text-Repräsentation. Cross-Ref zu JEPA-Debatte. | youtube/2026-06-25_qwen-agentworld-world-model-rl.md + blog/2026-06-25_binaryverseai-qwen-agentworld.md | ### LLM | Seite | Beschreibung | Quellen | @@ -218,4 +218,5 @@ | `raw/blog/2026-06-24_wardley-on-platforms-and-ecosystems.md` | blog | Simon Wardley — On Platforms and Ecosystems (2015): ILC-Modell, 13 Regeln, Data Mining on Consumption, k9ert-Kontext (Industriespionage, AWS, KI-Hosting) | | `raw/youtube/2026-06-24_alex-finn-hermes-agent-v0170-reach.md` | youtube | The new Hermes Agent update has me speechless.... — Alex Finn Walkthrough von Hermes Agent v0.17.0 ("Reach Release") | | `raw/youtube/2026-06-24_peter-yang-hermes-full-course.md` | youtube | Hermes Full Course: Build Your 24/7 AI Chief of Staff in 45 Minutes (Peter Yang, 24.06.2026) | -| `raw/other/2026-06-25_ome22-ki-nacht-agenten-architektur.md` | other | OME22 — KI-Nacht & Agenten-Architektur: Der Realitätscheck (NotebookLM-Infografik: Hannover-Rechenzentrum, lokale Agenten, 66% Misserfolgsquote, Pluribus, OpenClaw, Guardrail-Dilemma) | + | `raw/other/2026-06-25_ome22-ki-nacht-agenten-architektur.md` | other | OME22 — KI-Nacht & Agenten-Architektur: Der Realitätscheck (NotebookLM-Infografik: Hannover-Rechenzentrum, lokale Agenten, 66% Misserfolgsquote, Pluribus, OpenClaw, Guardrail-Dilemma) | + | `raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md` | blog | BinaryVerse AI: Qwen AgentWorld Explained — Predict Before Agents Act (AgentWorldBench scores, CPT/SFT/RL pipeline, 7 domains, GUI text representation) | diff --git a/wiki/log.md b/wiki/log.md index 4167a60..7aa75f9 100644 --- a/wiki/log.md +++ b/wiki/log.md @@ -2,7 +2,19 @@ *Append-only changelog. Start: 2026-06-05* -## [2026-06-25] Ingest | OME22 — "KI-Nacht & Agenten-Architektur: Der Realitätscheck" (NotebookLM-Infografik) + ## [2026-06-25] Ingest | BinaryVerse AI — "Qwen AgentWorld Explained: Predict Before Agents Act" (Blog-Ingest, Augmentation bestehender Wiki-Seite) + **Type:** ingest | **Scope:** raw/blog, wiki/concepts + **Source:** Blog — https://binaryverseai.com/qwen-agentworld-language-world-model/ + **Trigger:** Wikify-Subagent für Qwen-AgentWorld Blog-Post. Augmentation der bestehenden `concepts/world-model-rl-training.md` (erstellt aus Sam Witteveen YouTube-Video am selben Tag). + **Actions:** + - raw: `raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md` (created — 2.6 KB; Frontmatter + Key Takeaways: Language World Model Konzept, 7 Domänen, CPT/SFT/RL Pipeline, 10M+ Trajektorien, AgentWorldBench scores, GUI text representation, Modell-Varianten, Links) + - wiki: `concepts/world-model-rl-training.md` (updated — AUGMENTIERT, nicht überschrieben. Neue Sektionen: Training Pipeline mit 3 Phasen [CPT injects / SFT activates / RL sharpens], 7 Domänen Tabelle, GUI-Domänen Erklärung, Modell-Varianten Tabelle, AgentWorldBench Score-Tabelle mit 6 Modellen + Key Observations. Frontmatter sources um blog-Quelle erweitert, tags um agentworldbench/mcp/gui-automation erweitert. Stand-Quelle um BinaryVerse AI Blog ergänzt. Alle bestehenden Sektionen [Kernidee, Pipeline, Warum bedeutsam, JEPA-Debatte, AGI-Pfade, Offene Fragen, Externe Quellen, Cross-Refs] beibehalten und teils erweitert.) + - wiki: `index.md` (updated — Header auf "34. Update", World-Models-Zeile aktualisiert mit Blog-Quelle + erweiterter Beschreibung, neuer Raw-Sources-Eintrag) + - log: updated (dieser Eintrag) + **Hector-Hauptthese:** Der BinaryVerse-Blog liefert die quantitativen Details, die im Sam Witteveen Video-Ingest fehlten: AgentWorldBench scores (397B schlägt GPT-5.4 mit 58.71 vs 58.25), die dreiphasige Training-Pipeline (CPT/SFT/RL), 10M+ Trajektorien, und das wichtige Detail dass GUI-Domänen als strukturierter Text (HTML/Accessibility Trees/XML) repräsentiert werden — keine Pixel. Besonders die Benchmark-Tabelle zeigt: Der AgentWorld-Training-Pipeline (nicht die Modellgröße) liefert den größten Teil des Gewinns — Qwen3.5-35B-A3B ohne World-Model-Training fällt auf 47.73, während die AgentWorld-Variante 56.39 erreicht (+8.66 Punkte allein durch das Training). Dies ist ein starkes Argument für die "dritte Trainingsschiene" These. + **Subagent-Modell:** ollama/glm-5.2:cloud + + ## [2026-06-25] Ingest | OME22 — "KI-Nacht & Agenten-Architektur: Der Realitätscheck" (NotebookLM-Infografik) **Type:** ingest | **Scope:** raw/other, wiki/events **Source:** NotebookLM-Infografik — https://notebooklm.google.com/notebook/32e1a77e-b07f-4ed3-ae41-2a89c6832e15?authuser=1 **Trigger:** Pit Weber hat die Infografik im OME-Topic "OMe virtuelle Stammtische" (Topic 406) geteilt.