42 lines
2.3 KiB
Markdown
42 lines
2.3 KiB
Markdown
---
|
|
created: 2026-08-22
|
|
updated: 2026-08-22
|
|
sources: [xpost/2026-08-22_jack-openrouter-cad-solidworks-benchmark.md]
|
|
tags: [llm, cad, multimodal, benchmark, open-weights]
|
|
---
|
|
|
|
# OpenRouter CAD/SOLIDWORKS-Benchmark (2026-08)
|
|
|
|
Ein Praxis-Benchmark (OpenRouter, ~150 US-Dollar Budget), bei dem aktuelle Open-Weighting-Modelle eine echte mehrstufige CAD-Aufgabe in SOLIDWORKS bewältigen mussten. Zeigt das Potenzial multimodaler LLMs für technische Modellierung und CAD-Automatisierung.
|
|
|
|
## Getestete Modelle
|
|
|
|
- **Kimi K3** (siehe [[kimi-k3.md]])
|
|
- **MiniMax M3**
|
|
- **QWEN 3.8 MAX**
|
|
- **QWEN 3.8 27B** (siehe [[qwen3.8-27b-alibaba.md]])
|
|
- **DeepSeek V4 Flash Vision Exp**
|
|
|
|
## Aufgabenprofil (Langzeitaufgabe)
|
|
|
|
1. Maschinenbauzeichnung lesen, Maße und geometrische Strukturen interpretieren
|
|
2. Modellierungsreihenfolge planen und SOLIDWORKS bedienen
|
|
3. Befehlsfehler beheben, Features korrigieren
|
|
4. Rekonstruktion abschließen, Ergebnisse überprüfen
|
|
5. Öffenbare SLDPRT-Datei ausgeben
|
|
|
|
## Ergebnisse
|
|
|
|
- **Meiste Modelle:** bewältigten Teile des Prozesses; große Unterschiede bei **Stabilität bei langwierigen Aufgaben**, **Tool-Einsatz** und **endgültiger geometrischer Genauigkeit**.
|
|
- **QWEN 3.8 Max + QWEN 3.8 27B:** stabilste Tool-Bedienung, Aufgaben-Konvergenz, Ergebnis-Vollständigkeit. QWEN 3.8 27B durchläuft den gesamten Prozess auch bei Denkstufe „xhigh" reibungslos.
|
|
- **DeepSeek V4 Flash Vision Exp:** Überraschung — bei Rechenintensität „low" ~95 % der Modellierungsanforderungen erfüllt (Ansichten-Verständnis, Maß-Auslegung, CLI-Ausgabemodell-Bearbeitung) für nur ~0,53 US-Dollar.
|
|
|
|
## Einordnung
|
|
|
|
- 95 % ≠ Produktionsreife: finale Maße, Features und topologische Details brauchen noch geometrische Abnahme.
|
|
- Eine Mischung aus visuellem Verständnis + langfristiger Planung + Werkzeugbedienung für **unter 1 US-Dollar** zeigt das Potenzial offener, gewichteter multimodaler Modelle für CAD-Automatisierung.
|
|
|
|
## Relevanz
|
|
|
|
- Beispiel für die Commoditisierung von multimodalen Agenten-Fähigkeiten zu vernachlässigbaren Kosten (vgl. [[ai-intelligence-commoditization-thesis.md]], [[open-weights-economics.md]], [[chinese-model-cost-routing.md]]).
|
|
- CAD/Tool-Automatisierung als realer Langzeit-Agenten-Anwendungsfall jenseits von Coding-Benchmarks (vgl. [[real-world-coding-showdown.md]]).
|