3.7 KiB
3.7 KiB
| type | source_url | retrieved | title | author | tags | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| other | https://t.me/c/3839640481/13876 | 2026-09-05 | PLUR1BUS Modellwahl: JinaAI vs Fallback und Reranker-Vergleich | Mr. Cy (@Cyb3rblade) |
|
PLUR1BUS Modellwahl: JinaAI gegenüber Fallback-Modellen
Mr. Cy (@Cyb3rblade) veröffentlichte am 05.09.2026 im OME-Topic „Plur1bus Memory System" eine detaillierte technische Einordnung der Embedding- und Reranking-Modellwahl in PLUR1BUS.
1. Embedding
Fallback: multilingual-e5-small
- Schlüssellos, 384 Dimensionen fest, MIT-Lizenz
- Vektoren liegen in engem Kosinus-Kegel: unverwandte Texte erreichen schon ~0,84 Kosinus-Ähnlichkeit, im Recall-Score ~0,86
- Treffer und Rauschen kaum trennbar; weder Rangfolge noch Schwelle funktionieren sauber
- Reservierte Spanne 0,96–1,0 für agentenmarkierte Karten und Duplikatschwelle 0,95 verlieren ihre Bedeutung
- Gemessen im Kompatibilitätslabor mit E5 und ohne Reranker
Empfohlen: jina-embeddings-v3
- Mehrsprachig, 32 bis 1024 Dimensionen nach Matryoshka
- Lizenz: CC BY-NC 4.0 mit ausdrücklicher Zustimmung
- Spreizt Ähnlichkeiten deutlich weiter; Rangfolge und Schwellen funktionieren
- Installer schlägt Jina vor; E5 ist nur kleine Notlösung
Wechsel
- Im PLUR1BUS-Reiter (controlUi.writeActions: "all")
- Knopf wählt Zielmodell, Modellvorbereitung lädt und verifiziert
- Re-Embedding-Migration mit Probelauf, Kopie und getrenntem Umschalten
- Jede Karte wird neu eingebettet; kostet Zeit und Plattenplatz
- Alte Generation bleibt für Rollback erhalten
2. Reranking
Reranker sichtet 40 Kandidaten der Vektorsuche und räumt ANN-Rauschen weg. Lokal läuft jina-reranker-v2-base-multilingual, bei Jina-Fehler kontrolliert bge-reranker-v2-m3, beide als quantisierte ONNX-Modelle. Wechsel ist ein Klick im Reiter, ohne Datenwanderung.
Vergleichstabelle
| Eigenschaft | Jina Reranker v2 | BGE Reranker v2-m3 |
|---|---|---|
| Parameter, Schichten | 278M, 12 | 568M, 24 |
| Kontext je Anfrage+Dokument | 1.024 Token | 8.192 Token |
| ONNX-Artefakt (quantisiert) | 280 MB | 570 MB |
| Lizenz | CC BY-NC 4.0 | Apache 2.0 |
| BEIR nDCG | 53,17 / 57,06 | 53,65 / 56,51 |
| MKQA (26 Sprachen) | 54,83 / 67,90 | 54,17 / 67,88 |
| MIRACL nDCG | 63,65 | 69,32 |
| MLDR recall | 68,95 | 59,73 |
| CodeSearchNet MRR@10 / CoIR nDCG@10 | 71,36 / 56,14 | 62,86 / 35,97 |
| ToolBench recall@3 | 77,75 | 78,46 |
Bei zwei Werten stammt der erste aus der Jina-Modellkarte, der zweite aus dem Paper zu jina-reranker-v3. Beide Auswertungen nutzen andere Kandidatenmengen — nur innerhalb eines Wertepaars vergleichen.
Einordnung
- Gleichstand auf Englisch (BEIR) und über 26 Sprachen (MKQA)
- BGE vorn auf MIRACL (breiter mehrsprachiger Retrieval-Benchmark, +knapp 6 Punkte) und knapp bei Werkzeugsuche
- Jina vorn bei langen Dokumenten und deutlich bei Code
- Mit halber Tiefe rerankt Jina auf CPU etwa doppelt so schnell; Jina nennt bis zu 15-fachen Durchsatz gegenüber BGE (mit Flash Attention auf GPU)
3. Empfehlung
- Embedding: Jina v3. Der Sprung gegenüber E5 ist gemessen, und eine andere schlüssellose Alternative gibt es in PLUR1BUS nicht.
- Reranking: BGE v2-m3. Für Memory-Karten (kurze deutsche oder englische Zusammenfassungen) zählt die mehrsprachige Rangqualität — da liegt BGE vorn oder gleichauf. Lange Dokumente und Code (Jina-Stärken) kommen in Karten nicht vor. Dazu Apache-Lizenz ohne Zustimmung nötig. Preis: doppelte Rechenzeit je Anfrage. Bei 40 kurzen Kandidaten auf üblichem Server Bruchteile einer Sekunde.
- Ausnahme: Wer auf schwacher CPU an das Reranker-Zeitlimit von 5 Sekunden stößt, nimmt Jina — der Qualitätsverlust ist klein.
Cy kündigte einen aktualisierten Installer an.