knowledge-base/raw/other/2026-09-05_plur1bus-modellwahl-embedding-reranking.md

3.7 KiB
Raw Blame History

type source_url retrieved title author tags
other https://t.me/c/3839640481/13876 2026-09-05 PLUR1BUS Modellwahl: JinaAI vs Fallback und Reranker-Vergleich Mr. Cy (@Cyb3rblade)
plur1bus
embedding
reranking
jinaai
cohere
openai
bge
e5
benchmark
model-selection

PLUR1BUS Modellwahl: JinaAI gegenüber Fallback-Modellen

Mr. Cy (@Cyb3rblade) veröffentlichte am 05.09.2026 im OME-Topic „Plur1bus Memory System" eine detaillierte technische Einordnung der Embedding- und Reranking-Modellwahl in PLUR1BUS.

1. Embedding

Fallback: multilingual-e5-small

  • Schlüssellos, 384 Dimensionen fest, MIT-Lizenz
  • Vektoren liegen in engem Kosinus-Kegel: unverwandte Texte erreichen schon ~0,84 Kosinus-Ähnlichkeit, im Recall-Score ~0,86
  • Treffer und Rauschen kaum trennbar; weder Rangfolge noch Schwelle funktionieren sauber
  • Reservierte Spanne 0,961,0 für agentenmarkierte Karten und Duplikatschwelle 0,95 verlieren ihre Bedeutung
  • Gemessen im Kompatibilitätslabor mit E5 und ohne Reranker

Empfohlen: jina-embeddings-v3

  • Mehrsprachig, 32 bis 1024 Dimensionen nach Matryoshka
  • Lizenz: CC BY-NC 4.0 mit ausdrücklicher Zustimmung
  • Spreizt Ähnlichkeiten deutlich weiter; Rangfolge und Schwellen funktionieren
  • Installer schlägt Jina vor; E5 ist nur kleine Notlösung

Wechsel

  • Im PLUR1BUS-Reiter (controlUi.writeActions: "all")
  • Knopf wählt Zielmodell, Modellvorbereitung lädt und verifiziert
  • Re-Embedding-Migration mit Probelauf, Kopie und getrenntem Umschalten
  • Jede Karte wird neu eingebettet; kostet Zeit und Plattenplatz
  • Alte Generation bleibt für Rollback erhalten

2. Reranking

Reranker sichtet 40 Kandidaten der Vektorsuche und räumt ANN-Rauschen weg. Lokal läuft jina-reranker-v2-base-multilingual, bei Jina-Fehler kontrolliert bge-reranker-v2-m3, beide als quantisierte ONNX-Modelle. Wechsel ist ein Klick im Reiter, ohne Datenwanderung.

Vergleichstabelle

Eigenschaft Jina Reranker v2 BGE Reranker v2-m3
Parameter, Schichten 278M, 12 568M, 24
Kontext je Anfrage+Dokument 1.024 Token 8.192 Token
ONNX-Artefakt (quantisiert) 280 MB 570 MB
Lizenz CC BY-NC 4.0 Apache 2.0
BEIR nDCG 53,17 / 57,06 53,65 / 56,51
MKQA (26 Sprachen) 54,83 / 67,90 54,17 / 67,88
MIRACL nDCG 63,65 69,32
MLDR recall 68,95 59,73
CodeSearchNet MRR@10 / CoIR nDCG@10 71,36 / 56,14 62,86 / 35,97
ToolBench recall@3 77,75 78,46

Bei zwei Werten stammt der erste aus der Jina-Modellkarte, der zweite aus dem Paper zu jina-reranker-v3. Beide Auswertungen nutzen andere Kandidatenmengen — nur innerhalb eines Wertepaars vergleichen.

Einordnung

  • Gleichstand auf Englisch (BEIR) und über 26 Sprachen (MKQA)
  • BGE vorn auf MIRACL (breiter mehrsprachiger Retrieval-Benchmark, +knapp 6 Punkte) und knapp bei Werkzeugsuche
  • Jina vorn bei langen Dokumenten und deutlich bei Code
  • Mit halber Tiefe rerankt Jina auf CPU etwa doppelt so schnell; Jina nennt bis zu 15-fachen Durchsatz gegenüber BGE (mit Flash Attention auf GPU)

3. Empfehlung

  • Embedding: Jina v3. Der Sprung gegenüber E5 ist gemessen, und eine andere schlüssellose Alternative gibt es in PLUR1BUS nicht.
  • Reranking: BGE v2-m3. Für Memory-Karten (kurze deutsche oder englische Zusammenfassungen) zählt die mehrsprachige Rangqualität — da liegt BGE vorn oder gleichauf. Lange Dokumente und Code (Jina-Stärken) kommen in Karten nicht vor. Dazu Apache-Lizenz ohne Zustimmung nötig. Preis: doppelte Rechenzeit je Anfrage. Bei 40 kurzen Kandidaten auf üblichem Server Bruchteile einer Sekunde.
  • Ausnahme: Wer auf schwacher CPU an das Reranker-Zeitlimit von 5 Sekunden stößt, nimmt Jina — der Qualitätsverlust ist klein.

Cy kündigte einen aktualisierten Installer an.