| created |
updated |
sources |
tags |
| 2026-08-22 |
2026-08-22 |
| xpost/2026-08-22_jack-openrouter-cad-solidworks-benchmark.md |
|
| llm |
| cad |
| multimodal |
| benchmark |
| open-weights |
|
OpenRouter CAD/SOLIDWORKS-Benchmark (2026-08)
Ein Praxis-Benchmark (OpenRouter, ~150 US-Dollar Budget), bei dem aktuelle Open-Weighting-Modelle eine echte mehrstufige CAD-Aufgabe in SOLIDWORKS bewältigen mussten. Zeigt das Potenzial multimodaler LLMs für technische Modellierung und CAD-Automatisierung.
Getestete Modelle
Aufgabenprofil (Langzeitaufgabe)
- Maschinenbauzeichnung lesen, Maße und geometrische Strukturen interpretieren
- Modellierungsreihenfolge planen und SOLIDWORKS bedienen
- Befehlsfehler beheben, Features korrigieren
- Rekonstruktion abschließen, Ergebnisse überprüfen
- Öffenbare SLDPRT-Datei ausgeben
Ergebnisse
- Meiste Modelle: bewältigten Teile des Prozesses; große Unterschiede bei Stabilität bei langwierigen Aufgaben, Tool-Einsatz und endgültiger geometrischer Genauigkeit.
- QWEN 3.8 Max + QWEN 3.8 27B: stabilste Tool-Bedienung, Aufgaben-Konvergenz, Ergebnis-Vollständigkeit. QWEN 3.8 27B durchläuft den gesamten Prozess auch bei Denkstufe „xhigh" reibungslos.
- DeepSeek V4 Flash Vision Exp: Überraschung — bei Rechenintensität „low" ~95 % der Modellierungsanforderungen erfüllt (Ansichten-Verständnis, Maß-Auslegung, CLI-Ausgabemodell-Bearbeitung) für nur ~0,53 US-Dollar.
Einordnung
- 95 % ≠ Produktionsreife: finale Maße, Features und topologische Details brauchen noch geometrische Abnahme.
- Eine Mischung aus visuellem Verständnis + langfristiger Planung + Werkzeugbedienung für unter 1 US-Dollar zeigt das Potenzial offener, gewichteter multimodaler Modelle für CAD-Automatisierung.
Relevanz
