knowledge-base/wiki/institutions/metr.md

17 lines
1.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
created: 2026-11-16
updated: 2026-11-16
sources: [xpost/2026-11-16_snicklink-zeithorizont-1-7-monate.md]
tags: [institution, evals, ai-safety, benchmarks]
---
# METR
Forschungsorganisation für die Bewertung von KI-Fähigkeiten und -Risiken (Model Evaluation & Threat Research). Bekannt für den **Task-Completion Time Horizon**: die Aufgabendauer, bei der ein Agent mit 50 % beziehungsweise 80 % Wahrscheinlichkeit erfolgreich ist, gemessen an über hundert Software-Aufgaben. [Projektseite](https://metr.org/time-horizons/).
## Im Wiki
- **November 2026:** [Unabhängige Bewertung der KI-Forschungsbeschleunigung bei Anthropic](https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/). Ergebnis: AECI-Wachstum seit Oktober 2025 etwa 1,9-mal so schnell wie zuvor (95-%-Intervall 1,5–2,8), überwiegend durch KI-Einsatz in der eigenen Forschung, keine erkennbaren Engpässe für zwölf Monate. Ein Großteil der aussagekräftigsten Belege wurde von Anthropic geschwärzt; METR benennt das als Transparenzgrenze.
- **Grenze der Methode:** METR weist selbst darauf hin, dass Messungen über 16 Stunden mit dem aktuellen Aufgabensatz unzuverlässig sind. Höhere Zeithorizonte in Grafiken sind deshalb Schätzungen aus Benchmark-Indizes, keine Messungen.
[[../concepts/agi/ki-zeithorizont-verdopplung.md]] — die viel geteilte 1,7-Monats-Kurve und ihre Belastbarkeit.