knowledge-base/wiki/institutions/metr.md

1.4 KiB
Raw Permalink Blame History

created updated sources tags
2026-11-16 2026-11-16
xpost/2026-11-16_snicklink-zeithorizont-1-7-monate.md
institution
evals
ai-safety
benchmarks

METR

Forschungsorganisation für die Bewertung von KI-Fähigkeiten und -Risiken (Model Evaluation & Threat Research). Bekannt für den Task-Completion Time Horizon: die Aufgabendauer, bei der ein Agent mit 50 % beziehungsweise 80 % Wahrscheinlichkeit erfolgreich ist, gemessen an über hundert Software-Aufgaben. Projektseite.

Im Wiki

  • November 2026: Unabhängige Bewertung der KI-Forschungsbeschleunigung bei Anthropic. Ergebnis: AECI-Wachstum seit Oktober 2025 etwa 1,9-mal so schnell wie zuvor (95-%-Intervall 1,5–2,8), überwiegend durch KI-Einsatz in der eigenen Forschung, keine erkennbaren Engpässe für zwölf Monate. Ein Großteil der aussagekräftigsten Belege wurde von Anthropic geschwärzt; METR benennt das als Transparenzgrenze.
  • Grenze der Methode: METR weist selbst darauf hin, dass Messungen über 16 Stunden mit dem aktuellen Aufgabensatz unzuverlässig sind. Höhere Zeithorizonte in Grafiken sind deshalb Schätzungen aus Benchmark-Indizes, keine Messungen.

../concepts/agi/ki-zeithorizont-verdopplung.md — die viel geteilte 1,7-Monats-Kurve und ihre Belastbarkeit.