ingest(raw/blog): binaryverseai-qwen-agentworld — AgentWorldBench scores, CPT/SFT/RL pipeline, 7 domains

wiki-update(concepts): world-model-rl-training.md augmented with benchmark table, training pipeline detail, GUI text representation, model variants

- raw: raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md (new)
- wiki: concepts/world-model-rl-training.md (augmented — new sections: Training Pipeline, 7 Domains, AgentWorldBench, Modell-Varianten, GUI text representation)
- wiki: index.md (34. Update, World-Models row updated, new raw source)
- wiki: log.md (new entry)
This commit is contained in:
Hector 2026-06-25 20:48:54 +02:00
parent e287777d04
commit 4302e76175
4 changed files with 155 additions and 9 deletions

View file

@ -0,0 +1,62 @@
---
type: blog
source_url: https://binaryverseai.com/qwen-agentworld-language-world-model/
retrieved: 2026-06-25
title: "Qwen AgentWorld Explained: Predict Before Agents Act"
author: "BinaryVerse AI"
tags: [qwen-agentworld, world-model, agent-training, rl, benchmark, mcp, gui-automation]
---
# Qwen AgentWorld Explained: Predict Before Agents Act
**Source:** https://binaryverseai.com/qwen-agentworld-language-world-model/
## Key Takeaways
1. **Qwen AgentWorld is a LANGUAGE WORLD MODEL, not a chatbot.** It predicts the next environment state after an agent action. Normal LLM asks "What should I say or do?" → Qwen AgentWorld asks "If the agent does that, what will the world return?"
2. **Open weights available:** `Qwen-AgentWorld-35B-A3B` (open weights). Research model: `Qwen-AgentWorld-397B-A17B`.
3. **7 domains:** MCP, Search, Terminal, SWE (Software Engineering), Web, OS, Android.
4. **Training pipeline:** "CPT injects, SFT activates, RL sharpens"
- **Continual Pre-Training (CPT):** Injects environment knowledge into the model
- **Supervised Fine-Tuning (SFT):** Activates next-state prediction capability
- **Reinforcement Learning (RL):** Sharpens simulation fidelity
5. **10M+ real environment interaction trajectories** used in training.
6. **AgentWorldBench scores (Overall):**
| Model | Overall Score |
|-------|-------------|
| Qwen-AgentWorld-397B-A17B | 58.71 |
| GPT-5.4 | 58.25 |
| Claude Opus 4.8 | 56.59 |
| Claude Sonnet 4.6 | 56.04 |
| Qwen-AgentWorld-35B-A3B | 56.39 |
| Qwen3.5-35B-A3B | 47.73 |
7. **GUI domains (Web, OS, Android)** use structured text representations (accessibility trees, HTML, XML), NOT raw pixels.
8. **Core loop:** interaction history → agent action → model predicts next observation → use prediction for evaluation, planning, or RL training.
## External Links
- **Paper:** https://arxiv.org/pdf/2606.24597
- **GitHub:** https://github.com/QwenLM/Qwen-AgentWorld
- **HuggingFace:** https://huggingface.co/collections/Qwen/qwen-agentworld
## Wiki Relevance
- Augments `wiki/concepts/world-model-rl-training.md` with:
- AgentWorldBench benchmark score table
- CPT/SFT/RL training pipeline detail
- GUI domain representation detail (structured text, not pixels)
- 10M+ trajectory training data detail
- Distinction: Language World Model (predicts environment state) vs. action-generating LLM
## Related Wiki Pages
- `[[concepts/world-model-rl-training.md]]` — Main wiki page for Qwen-AgentWorld
- `[[concepts/world-models-jepa-vs-generative.md]]` — JEPA vs. generative world models debate

View file

@ -3,16 +3,19 @@ created: 2026-06-25
updated: 2026-06-25 updated: 2026-06-25
sources: sources:
- youtube/2026-06-25_qwen-agentworld-world-model-rl.md - youtube/2026-06-25_qwen-agentworld-world-model-rl.md
tags: [concept, world-models, rl, reinforcement-learning, agent-training, hallucinated-environments, qwen, synthetic-data, agi] - blog/2026-06-25_binaryverseai-qwen-agentworld.md
tags: [concept, world-models, rl, reinforcement-learning, agent-training, hallucinated-environments, qwen, synthetic-data, agi, agentworldbench, mcp, gui-automation]
--- ---
# World Models for RL Training — Qwen-AgentWorld # World Models for RL Training — Qwen-AgentWorld
> **Stand:** 2026-06-25. Quelle: Sam Witteveon YouTube-Video „Qwen-AgentWorld: The World Model for RL Environments" (16:31, 2026-06-25). > **Stand:** 2026-06-25. Quellen: Sam Witteveen YouTube-Video „Qwen-AgentWorld: The World Model for RL Environments" (16:31, 2026-06-25) + BinaryVerse AI Blog „Qwen AgentWorld Explained: Predict Before Agents Act" (2026-06-25).
## Kernidee ## Kernidee
**Qwen-AgentWorld** (Alibaba/QwenLM) ist ein Weltmodell, das RL-Umgebungen **halluziniert** — anstatt Agenten in realen Umgebungen zu trainieren, generiert das Weltmodell synthetische Trainingsumgebungen. Agenten, die in diesen hallucinated environments trainiert wurden, **schlagen Agenten, die in realen RL-Umgebungen trainiert wurden** — auf der eigenen Benchmark des Teams, und auch beim Vergleich mit **GPT-5.4 und Claude**. **Qwen-AgentWorld** (Alibaba/QwenLM) ist ein **Language World Model** — kein Chatbot. Es sagt den nächsten Umgebungs-Zustand nach einer Agenten-Aktion voraus. Normal LLM fragt „Was soll ich sagen oder tun?" → Qwen AgentWorld fragt „Wenn der Agent das tut, was wird die Welt zurückgeben?"
Es ist ein Weltmodell, das RL-Umgebungen **halluziniert** — anstatt Agenten in realen Umgebungen zu trainieren, generiert das Weltmodell synthetische Trainingsumgebungen. Agenten, die in diesen hallucinated environments trainiert wurden, **schlagen Agenten, die in realen RL-Umgebungen trainiert wurden** — auf der eigenen Benchmark des Teams, und auch beim Vergleich mit **GPT-5.4 und Claude**.
## Pipeline ## Pipeline
@ -30,6 +33,73 @@ Dies ist eine **dritte Trainingsschiene** jenseits der klassischen dichotomie:
2. **Self-Play** — Agent lernt durch Spielen gegen sich selbst (AlphaGo, Dota-OpenAI) 2. **Self-Play** — Agent lernt durch Spielen gegen sich selbst (AlphaGo, Dota-OpenAI)
3. **Hallucinated Environment Training** (neu) — Agent lernt in einer vom Weltmodell generierten Simulation 3. **Hallucinated Environment Training** (neu) — Agent lernt in einer vom Weltmodell generierten Simulation
## Training Pipeline — „CPT injects, SFT activates, RL sharpens"
Qwen-AgentWorld wird in drei Phasen trainiert:
### 1. Continual Pre-Training (CPT) — injects environment knowledge
- **Ziel:** Umgebungs-Wissen in das Modell injizieren. Das Modell lernt die Struktur und Dynamik der 7 Domänen (MCP, Search, Terminal, SWE, Web, OS, Android).
- **Daten:** 10M+ reale Interaktions-Trajektorien aus echten Umgebungen.
### 2. Supervised Fine-Tuning (SFT) — activates next-state prediction
- **Ziel:** Das Modell lernt, den *nächsten Beobachtungs-Zustand* vorherzusagen, gegeben eine Interaktions-Historie und eine Agenten-Aktion.
- **Paradigma-Wechsel:** Das Modell wird vom Aktions-Generator zum Umgebungs-Simulator.
### 3. Reinforcement Learning (RL) — sharpens simulation fidelity
- **Ziel:** Die Simulations-Genauigkeit wird durch RL weiter geschärft. Das Modell lernt, präzisere und nützlichere Welt-Zustände zu generieren.
### Core Loop
```
Interaktions-Historie → Agenten-Aktion → Modell sagt nächsten Beobachtungs-Zustand voraus
→ Verwendung für: Evaluation / Planning / RL-Training
```
## 7 Domänen
Qwen-AgentWorld deckt sieben Agenten-Umgebungen ab:
| Domäne | Beschreibung | Repräsentation |
|--------|-------------|----------------|
| **MCP** | Model Context Protocol | Strukturierter Text |
| **Search** | Web-Suche | Strukturierter Text |
| **Terminal** | Kommandozeile | Strukturierter Text |
| **SWE** | Software Engineering | Strukturierter Text |
| **Web** | Browser/GUI | HTML |
| **OS** | Betriebssystem/GUI | Accessibility Trees |
| **Android** | Mobile GUI | XML-Layouts |
### GUI-Domänen: Strukturierte Text-Repräsentation, keine Pixel
Für die GUI-Domänen (Web, OS, Android) verwendet Qwen-AgentWorld **keine rohen Pixel-Bilder**, sondern strukturierte Text-Repräsentationen (HTML, Accessibility Trees, XML). Dies ist eine bewusste Design-Entscheidung: Text-Repräsentationen sind kompakter, deterministischer und lassen sich besser in einem Language World Model verarbeiten als Pixel-Arrays. Das Modell bleibt im Sprachraum — es „sieht" die GUI als strukturierten Text, nicht als Bild.
## Modell-Varianten
| Variante | Parameter | Typ |
|---------|-----------|-----|
| Qwen-AgentWorld-35B-A3B | 35B total, 3B active (MoE) | Open Weights |
| Qwen-AgentWorld-397B-A17B | 397B total, 17B active (MoE) | Research-only |
Beide sind Mixture-of-Experts (MoE) Architekturen — die active-parameter-Counts (3B bzw. 17B) zeigen, dass bei Inference nur ein Bruchteil der Parameter aktiviert wird.
## AgentWorldBench — Benchmark-Ergebnisse
Die AgentWorldBench misst, wie gut ein Modell den nächsten Umgebungs-Zustand nach einer Agenten-Aktion vorhersagt. Höher = bessere Welt-Simulation.
| Modell | Overall Score |
|--------|--------------|
| **Qwen-AgentWorld-397B-A17B** (research) | **58.71** |
| GPT-5.4 | 58.25 |
| Claude Opus 4.8 | 56.59 |
| Qwen-AgentWorld-35B-A3B (open weights) | 56.39 |
| Claude Sonnet 4.6 | 56.04 |
| Qwen3.5-35B-A3B (baseline, kein World-Model-Training) | 47.73 |
**Key Observations:**
- Das 397B-Research-Modell schlägt GPT-5.4 knapp (+0.46 Punkte).
- Das offene 35B-Modell schlägt Claude Sonnet 4.6 (+0.35 Punkte) und liegt nah an Claude Opus 4.8 (0.20 Punkte).
- Qwen3.5-35B-A3B (ohne World-Model-Training) fällt auf 47.73 ab — **8.66 Punkte hinter der open-weights AgentWorld-Variante**. Das zeigt, dass der AgentWorld-Training-Pipeline den größten Teil des Gewinns liefert, nicht nur die Modellgröße.
## Warum es bedeutsam ist ## Warum es bedeutsam ist
### 1. Weltmodelle als Trainings-Infrastruktur ### 1. Weltmodelle als Trainings-Infrastruktur
@ -85,10 +155,11 @@ Qwen-AgentWorld ist **orthogonal zur JEPA-vs-Generativ-Debatte**: es geht um die
## Externe Primärquellen ## Externe Primärquellen
- **Paper:** [arXiv:2606.24597](https://arxiv.org/abs/2606.24597) - **Paper:** [arXiv:2606.24597](https://arxiv.org/abs/2606.24597)
- **Blog:** https://qwen.ai/blog?id=qwen-agentworld - **Blog (Qwen officiel):** https://qwen.ai/blog?id=qwen-agentworld
- **Blog (BinaryVerse AI):** https://binaryverseai.com/qwen-agentworld-language-world-model/
- **GitHub:** https://github.com/QwenLM/Qwen-AgentWorld - **GitHub:** https://github.com/QwenLM/Qwen-AgentWorld
- **HuggingFace:** https://huggingface.co/collections/Qwen/qwen-agentworld - **HuggingFace:** https://huggingface.co/collections/Qwen/qwen-agentworld
- **Video:** https://www.youtube.com/watch?v=VzmMQWRhlBw - **Video (Sam Witteveen):** https://www.youtube.com/watch?v=VzmMQWRhlBw
## Verwandte Wiki-Seiten ## Verwandte Wiki-Seiten

View file

@ -2,7 +2,7 @@
*Auto-generated: 2026-06-23* *Auto-generated: 2026-06-23*
*Letzte Aktualisierung: 2026-06-25 (33. Update — OME22: KI-Nacht & Agenten-Architektur. Infografik von NotebookLM. Raw-Datei `other/2026-06-25_ome22-ki-nacht-agenten-architektur.md`.)* *Letzte Aktualisierung: 2026-06-25 (34. Update — Qwen-AgentWorld Blog-Ingest: AgentWorldBench scores, CPT/SFT/RL training pipeline, 7 domains, GUI text representation. Raw-Datei `blog/2026-06-25_binaryverseai-qwen-agentworld.md`. Augmentation von `concepts/world-model-rl-training.md`.)*
## Architecture ## Architecture
@ -44,7 +44,7 @@
| Seite | Beschreibung | Quellen | | Seite | Beschreibung | Quellen |
|-------|-------------|---------| |-------|-------------|---------|
| [Weltmodelle: JEPA vs. Generativ](concepts/world-models-jepa-vs-generative.md) | Hassabis-vs-LeCun-Debatte strukturiert: Generative Weltmodelle (VEO, Pixel-Rekonstruktion, Compute-intensiv) vs. JEPA (V-JEPA, Embedding-Konsistenz, theoretisch effizienter, empirisch noch nicht an der Spitze). AGI-Weltmodell-Wette bis 2028-2030 | youtube/2026-06-18_deepmind-beyond-transformer.md + youtube/2026-06-16_deepmind-two-steps-ahead.md | | [Weltmodelle: JEPA vs. Generativ](concepts/world-models-jepa-vs-generative.md) | Hassabis-vs-LeCun-Debatte strukturiert: Generative Weltmodelle (VEO, Pixel-Rekonstruktion, Compute-intensiv) vs. JEPA (V-JEPA, Embedding-Konsistenz, theoretisch effizienter, empirisch noch nicht an der Spitze). AGI-Weltmodell-Wette bis 2028-2030 | youtube/2026-06-18_deepmind-beyond-transformer.md + youtube/2026-06-16_deepmind-two-steps-ahead.md |
| [World Models for RL Training — Qwen-AgentWorld](concepts/world-model-rl-training.md) | Qwen-AgentWorld: Weltmodell halluziniert RL-Umgebungen → Agenten trainieren darin → schlagen real-world RL + GPT-5.4/Claude. Dritte Trainingsschiene jenseits RLHF/Self-Play. Cross-Ref zu JEPA-Debatte. | youtube/2026-06-25_qwen-agentworld-world-model-rl.md | | [World Models for RL Training — Qwen-AgentWorld](concepts/world-model-rl-training.md) | Qwen-AgentWorld: Language World Model, halluziniert RL-Umgebungen → Agenten trainieren darin → schlagen real-world RL + GPT-5.4/Claude. CPT/SFT/RL Pipeline, 7 Domänen, AgentWorldBench scores, GUI als strukturierte Text-Repräsentation. Cross-Ref zu JEPA-Debatte. | youtube/2026-06-25_qwen-agentworld-world-model-rl.md + blog/2026-06-25_binaryverseai-qwen-agentworld.md |
### LLM ### LLM
| Seite | Beschreibung | Quellen | | Seite | Beschreibung | Quellen |
@ -219,3 +219,4 @@
| `raw/youtube/2026-06-24_alex-finn-hermes-agent-v0170-reach.md` | youtube | The new Hermes Agent update has me speechless.... — Alex Finn Walkthrough von Hermes Agent v0.17.0 ("Reach Release") | | `raw/youtube/2026-06-24_alex-finn-hermes-agent-v0170-reach.md` | youtube | The new Hermes Agent update has me speechless.... — Alex Finn Walkthrough von Hermes Agent v0.17.0 ("Reach Release") |
| `raw/youtube/2026-06-24_peter-yang-hermes-full-course.md` | youtube | Hermes Full Course: Build Your 24/7 AI Chief of Staff in 45 Minutes (Peter Yang, 24.06.2026) | | `raw/youtube/2026-06-24_peter-yang-hermes-full-course.md` | youtube | Hermes Full Course: Build Your 24/7 AI Chief of Staff in 45 Minutes (Peter Yang, 24.06.2026) |
| `raw/other/2026-06-25_ome22-ki-nacht-agenten-architektur.md` | other | OME22 — KI-Nacht & Agenten-Architektur: Der Realitätscheck (NotebookLM-Infografik: Hannover-Rechenzentrum, lokale Agenten, 66% Misserfolgsquote, Pluribus, OpenClaw, Guardrail-Dilemma) | | `raw/other/2026-06-25_ome22-ki-nacht-agenten-architektur.md` | other | OME22 — KI-Nacht & Agenten-Architektur: Der Realitätscheck (NotebookLM-Infografik: Hannover-Rechenzentrum, lokale Agenten, 66% Misserfolgsquote, Pluribus, OpenClaw, Guardrail-Dilemma) |
| `raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md` | blog | BinaryVerse AI: Qwen AgentWorld Explained — Predict Before Agents Act (AgentWorldBench scores, CPT/SFT/RL pipeline, 7 domains, GUI text representation) |

View file

@ -2,6 +2,18 @@
*Append-only changelog. Start: 2026-06-05* *Append-only changelog. Start: 2026-06-05*
## [2026-06-25] Ingest | BinaryVerse AI — "Qwen AgentWorld Explained: Predict Before Agents Act" (Blog-Ingest, Augmentation bestehender Wiki-Seite)
**Type:** ingest | **Scope:** raw/blog, wiki/concepts
**Source:** Blog — https://binaryverseai.com/qwen-agentworld-language-world-model/
**Trigger:** Wikify-Subagent für Qwen-AgentWorld Blog-Post. Augmentation der bestehenden `concepts/world-model-rl-training.md` (erstellt aus Sam Witteveen YouTube-Video am selben Tag).
**Actions:**
- raw: `raw/blog/2026-06-25_binaryverseai-qwen-agentworld.md` (created — 2.6 KB; Frontmatter + Key Takeaways: Language World Model Konzept, 7 Domänen, CPT/SFT/RL Pipeline, 10M+ Trajektorien, AgentWorldBench scores, GUI text representation, Modell-Varianten, Links)
- wiki: `concepts/world-model-rl-training.md` (updated — AUGMENTIERT, nicht überschrieben. Neue Sektionen: Training Pipeline mit 3 Phasen [CPT injects / SFT activates / RL sharpens], 7 Domänen Tabelle, GUI-Domänen Erklärung, Modell-Varianten Tabelle, AgentWorldBench Score-Tabelle mit 6 Modellen + Key Observations. Frontmatter sources um blog-Quelle erweitert, tags um agentworldbench/mcp/gui-automation erweitert. Stand-Quelle um BinaryVerse AI Blog ergänzt. Alle bestehenden Sektionen [Kernidee, Pipeline, Warum bedeutsam, JEPA-Debatte, AGI-Pfade, Offene Fragen, Externe Quellen, Cross-Refs] beibehalten und teils erweitert.)
- wiki: `index.md` (updated — Header auf "34. Update", World-Models-Zeile aktualisiert mit Blog-Quelle + erweiterter Beschreibung, neuer Raw-Sources-Eintrag)
- log: updated (dieser Eintrag)
**Hector-Hauptthese:** Der BinaryVerse-Blog liefert die quantitativen Details, die im Sam Witteveen Video-Ingest fehlten: AgentWorldBench scores (397B schlägt GPT-5.4 mit 58.71 vs 58.25), die dreiphasige Training-Pipeline (CPT/SFT/RL), 10M+ Trajektorien, und das wichtige Detail dass GUI-Domänen als strukturierter Text (HTML/Accessibility Trees/XML) repräsentiert werden — keine Pixel. Besonders die Benchmark-Tabelle zeigt: Der AgentWorld-Training-Pipeline (nicht die Modellgröße) liefert den größten Teil des Gewinns — Qwen3.5-35B-A3B ohne World-Model-Training fällt auf 47.73, während die AgentWorld-Variante 56.39 erreicht (+8.66 Punkte allein durch das Training). Dies ist ein starkes Argument für die "dritte Trainingsschiene" These.
**Subagent-Modell:** ollama/glm-5.2:cloud
## [2026-06-25] Ingest | OME22 — "KI-Nacht & Agenten-Architektur: Der Realitätscheck" (NotebookLM-Infografik) ## [2026-06-25] Ingest | OME22 — "KI-Nacht & Agenten-Architektur: Der Realitätscheck" (NotebookLM-Infografik)
**Type:** ingest | **Scope:** raw/other, wiki/events **Type:** ingest | **Scope:** raw/other, wiki/events
**Source:** NotebookLM-Infografik — https://notebooklm.google.com/notebook/32e1a77e-b07f-4ed3-ae41-2a89c6832e15?authuser=1 **Source:** NotebookLM-Infografik — https://notebooklm.google.com/notebook/32e1a77e-b07f-4ed3-ae41-2a89c6832e15?authuser=1