knowledge-base/wiki/institutions/metr.md

18 lines
1.4 KiB
Markdown
Raw Permalink Normal View History

---
created: 2026-11-16
updated: 2026-11-16
sources: [xpost/2026-11-16_snicklink-zeithorizont-1-7-monate.md]
tags: [institution, evals, ai-safety, benchmarks]
---
# METR
Forschungsorganisation für die Bewertung von KI-Fähigkeiten und -Risiken (Model Evaluation & Threat Research). Bekannt für den **Task-Completion Time Horizon**: die Aufgabendauer, bei der ein Agent mit 50 % beziehungsweise 80 % Wahrscheinlichkeit erfolgreich ist, gemessen an über hundert Software-Aufgaben. [Projektseite](https://metr.org/time-horizons/).
## Im Wiki
- **November 2026:** [Unabhängige Bewertung der KI-Forschungsbeschleunigung bei Anthropic](https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/). Ergebnis: AECI-Wachstum seit Oktober 2025 etwa 1,9-mal so schnell wie zuvor (95-%-Intervall 1,5–2,8), überwiegend durch KI-Einsatz in der eigenen Forschung, keine erkennbaren Engpässe für zwölf Monate. Ein Großteil der aussagekräftigsten Belege wurde von Anthropic geschwärzt; METR benennt das als Transparenzgrenze.
- **Grenze der Methode:** METR weist selbst darauf hin, dass Messungen über 16 Stunden mit dem aktuellen Aufgabensatz unzuverlässig sind. Höhere Zeithorizonte in Grafiken sind deshalb Schätzungen aus Benchmark-Indizes, keine Messungen.
[[../concepts/agi/ki-zeithorizont-verdopplung.md]] — die viel geteilte 1,7-Monats-Kurve und ihre Belastbarkeit.