Erhoben:
Die Frage kommt in fast jedem Gespräch: „Wir wollen eine KI, die unser Unternehmen kennt. Müssen wir die selbst trainieren?“
Nein. Fast nie. Und weil das so eine dieser Antworten ist, die niemand glaubt, solange sie abstrakt bleibt, schreibe ich hier auf, wie ich es bei mir selbst gemacht habe. Mit den Zahlen, die dabei herauskamen, und mit der Stelle, an der ich mich verschätzt habe.
Die Ausgangslage
Im Mitgliederbereich dieser Website können Mitglieder Fragen stellen. Antworten tut Bibo, eine KI auf meiner eigenen Infrastruktur in Deutschland. Kein Cloud-Anbieter, kein fremder Endpunkt. Die Frage verlässt die Maschine nicht, auf der sie ankommt.
Er soll Fragen beantworten, die sonst liegen bleiben, weil ich nicht rund um die Uhr am Schreibtisch sitze. Mehr soll er nicht.
Die Anforderungen waren damit von Anfang an eng:
- Bibo soll aus meinen Texten antworten, auch wo der Durchschnitt des Internets etwas anderes sagt.
- Das Wissen ändert sich, sobald ich etwas schreibe.
- Es darf kein Anbieter dazwischenstehen, den ich nicht abschalten kann.
- Und die Sache muss auf Hardware laufen, die ich besitze.
Die naheliegende Idee war, ein Modell auf meinen Texten zu trainieren. Sie war falsch, und zwar aus einem Grund, der mit Qualität nichts zu tun hat.
Die vier Wege, und wie man sie auseinanderhält
Es gibt vier Möglichkeiten, ein Sprachmodell dazu zu bringen, dein Wissen zu benutzen. Sie unterscheiden sich um Größenordnungen in Aufwand, Kosten und Wartung. Wer den falschen wählt, merkt es meistens erst nach drei Monaten.
Arbeite die Fragen der Reihe nach ab. Die erste, die du mit Ja beantwortest, ist dein Weg.
- Passt dein Wissen in ein Kontextfenster und ändert sich selten? → Kontext und Anweisungen. Kein RAG, keine Datenbank.
- Ändert sich dein Wissen laufend, oder ist es zu groß fürs Fenster? → RAG.
- Soll das Modell anders antworten statt mehr wissen, und du hast Beispiele dafür? → Finetuning.
- Baust du ein Grundlagenmodell für einen Markt, der noch keins hat? → Dann trainierst du. Und dann arbeitest du vermutlich in einem Labor.
Der entscheidende Satz zu Weg 3: Finetuning bringt Verhalten bei, kein Wissen. Für Ton, Format und Fachsprache ist es richtig. Fakten, die sich ändern, brennst du damit in Gewichte ein und bekommst sie ohne neuen Durchlauf nicht mehr heraus.
Weg 4 kannst du gehen. Du willst nur nicht. Es braucht einen gewaltigen, sauberen Textbestand, Rechenzeit in der Größenordnung eines Rechenzentrums und ein Team, das das Handwerk beherrscht. Am Ende steht ein Modell, das schlechter ist als die frei verfügbaren, weil die auf mehr Daten und mehr Rechenzeit beruhen.
Was ich gewählt habe
Weg 1, mit einer sehr schmalen Ausbaustufe von Weg 2.
Bibos Wissen liegt in Dateien, getrennt von seiner Steuerung. Was ich veröffentliche, wandert nachts in seine Wissensablage. Ändert sich etwas, ändere ich eine Datei. Es gibt nichts zu indizieren und nichts, was still veralten kann. Und ich sehe zu jedem Zeitpunkt genau, was er gelesen hat.
Das ist der eigentliche Grund für diesen Weg, und er heißt Wartbarkeit. Mit der Antwortqualität hat er nichts zu tun.
Die Zahlen
Für dieses Experiment lief Bibo auf zwölf CPU-Kernen, ohne Grafikkarte.
| Modell | Ausgabe | Antwort mit rund 450 Zeichen |
|---|---|---|
| das kleinere | 35 Token/s | 3,4 s |
| das größere | 22 Token/s | 5,8 s |
Dazu kam das Einbettungsmodell für die Suche. Es wiegt 322 MB und lief nebenher. Wenig, aber nicht null. Und es muss dasselbe Modell bleiben: Tauschst du es aus, passen die alten Vektoren nicht mehr zu den neuen Fragen, und du indizierst alles neu.
Über die ganze Kette gemessen, von der abgeschickten Frage bis zur sichtbaren Antwort im Mitgliederbereich, lag Bibo unter zwei Minuten.
Der Abstand zu den Sekunden in der Tabelle ist kein Rechenfehler. Die Frage holt ein Taktgeber ab, der jede Minute nachsieht, ob etwas Neues da ist. Die Wartezeit ist damit fast vollständig Organisation und nur zu einem kleinen Teil Rechenleistung. Wer sie verkürzen will, ändert den Takt, nicht das Modell.
Langsamer als ein großer Anbieter, ja. Für eine Frage, die jemand in einem Forum stellt und nicht in einem Chat, ist es schnell genug. Die Wartezeit ist hier ein Produktmerkmal.
Die Stelle, an der ich mich verschätzt habe
Große Kontexte kosten Rechenzeit bei jeder einzelnen Anfrage, und zwar bevor das erste Wort erscheint. Genau dort lag mein Engpass, und ich hatte ihn nicht auf der Rechnung.
Bibos fester Vorspann aus Anweisung und vier Beispielen umfasst rund 1300 Token. Ohne Vorwärmen erscheint das erste Wort nach 18,6 Sekunden. Mit vorgewärmtem Zwischenspeicher nach 0,6 Sekunden.
Derselbe Prompt. Dieselbe Maschine. Faktor dreißig.
Zwischen einer Anwendung, die niemand benutzt, und einer, die sich brauchbar anfühlt, liegt hier eine einzige Zeile Betriebsführung.
Wenn du dich für Weg 1 entscheidest: Plane das Vorwärmen von Anfang an ein, statt es dir als Optimierung für später aufzuheben.
Was ich anders machen würde
Ich habe die Geschwindigkeit gemessen, die Antwortgüte nicht. Es gibt bei mir keinen Satz echter Fragen, gegen den ich nach einem Modellwechsel prüfen könnte, ob Bibo besser oder schlechter geworden ist. Das ist meine offene Flanke, und sie ist billig zu schließen: dreißig echte Anfragen aus dem Arbeitsalltag, einmal durchgelassen und aufgehoben, genügen als Ausgangswert.
Um ehrlich zu bleiben, auch gegen die Überschrift dieses Textes: Dass Bibo mein Wissen benutzt, sehe ich an seinen Antworten. Belegen kann ich es nicht.
Wer das vor dem ersten Ausbau tut, spart sich später die Diskussion, ob es früher nicht doch besser lief.
Dasselbe gilt für die Wahl zwischen Vektorsuche und klassischer Volltextsuche. Die ehrliche Antwort auf „welche ist besser“ lautet: Miss es an deinen eigenen Fragen. Nimm dieselben dreißig, lass beide Varianten darauf los und sieh dir die Treffer an, bevor du dir die Antworten ansiehst. Ein schlechter Treffer wird auch vom besten Modell nicht mehr gerettet.
Der Nachbau in Kurzform
- Schreib auf, ob sich dein Wissen ändert. Das entscheidet zwischen Weg 1 und 2.
- Leg es als Datei ab, getrennt von der Steuerung.
- Miss den Ausgangswert, bevor du baust. Dreißig echte Fragen.
- Miss die Zeit bis zum ersten Wort, nicht nur die Token pro Sekunde.
- Wärm den Kontext vor, wenn der Vorspann fest ist.
- Entscheide erst danach, ob du überhaupt mehr Modell brauchst.
Die meisten Vorhaben kippen an der Annahme, dass Wissen ins Modell gehört.
Wenn du an einer dieser Stellen stecken bleibst: Im Mitgliederbereich kannst du die Frage öffentlich stellen. Dann haben auch andere etwas davon. Bibo antwortet meist binnen Minuten.
