1.9 KiB
1.9 KiB
| type | source_url | retrieved | author | is_thread |
|---|---|---|---|---|
| xpost | https://x.com/jack67396128/status/2091213439586988320 | 2026-08-22 | @jack67396128 | false |
OpenRouter CAD/SOLIDWORKS-Benchmark: Open-Weighting-Modelle im Langzeit-Test
Der Autor hat in den letzten zwei Tagen ~150 US-Dollar bei OpenRouter ausgegeben, um aktuelle Open-Weighting-Modelle zu testen: Kimi K3, MiniMax M3, QWEN 3.8 MAX, QWEN 3.8 27B sowie DeepSeek V4 Flash Vision Exp.
Testaufbau
Die Modelle mussten eine echte, mehrstufige Langzeitaufgabe bewältigen:
- Maschinenbauzeichnung lesen, Maße und geometrische Strukturen interpretieren
- Modellierungsreihenfolge planen und SOLIDWORKS bedienen
- Befehlsfehler beheben, Features korrigieren
- Rekonstruktion abschließen, Ergebnisse überprüfen
- Öffenbare SLDPRT-Datei ausgeben
Ergebnisse
- Die meisten Modelle bewältigten einen Teil des Prozesses, aber bei Stabilität bei langwierigen Aufgaben, Tool-Einsatz und endgültiger geometrischer Genauigkeit waren die Unterschiede deutlich.
- QWEN 3.8 Max und QWEN 3.8 27B beeindruckten am meisten: stabil bei Tool-Bedienung, Aufgaben-Konvergenz und Ergebnis-Vollständigkeit. QWEN 3.8 27B durchläuft den gesamten Modellierungsprozess auch bei Denkstufe „xhigh" reibungslos.
- DeepSeek V4 Flash Vision Exp überraschte: Selbst bei Rechenintensität „low" erfüllt es ~95 % der Modellierungsanforderungen (vom Verständnis der Ansichten über die Auslegung der Maße bis zur CLI-Ausgabemodell-Bearbeitung) — für nur ~0,53 US-Dollar.
Einordnung
- 95 % ist noch nicht Produktionsreife: die letzten Maße, Features und topologischen Details brauchen noch eine geometrische Abnahme.
- Die Tatsache, dass eine Mischung aus visuellem Verständnis, langfristiger Planung und Werkzeugbedienung für unter 1 US-Dollar machbar ist, zeigt das Potenzial offener, gewichteter multimodaler Modelle für technische Modellierung und CAD-Automatisierung.