Branded LLM · Forschung · erste Fassung läuft
Ein Modell, das klingt wie du.
Ein Branded LLM ist ein kleines Sprachmodell, das eine Person oder Marke verkörpert: ihren Ton, ihr Wissen, ihre Grenzen. Es übernimmt den Erstkontakt. Die erste Fassung heißt Bibo und antwortet aus meinen eigenen Texten, auf einem gemieteten CPU-Server ohne Grafikkarte.
Erstkontakt in deinem Ton
Ob Kundenanfrage oder Leserfrage: die erste Antwort klingt nach dir, nicht nach Standard-Chatbot.
Läuft ohne Grafikkarte
Sechs CPU-Kerne und ein Modell mit wenigen Milliarden Parametern genügen. Keine GPU, keine Token-Abrechnung, kein Anbieter dazwischen.
Antworten mit Herkunft
Was gesagt wird, stammt aus einem Text von dir. Die Grundlage steht unter der Antwort, statt dass ein Modell frei formuliert.
Features
Wissen vor Modellgröße
Zu jeder Frage sucht das System zuerst die passenden Stellen im eigenen Textbestand und legt sie dem Modell vor. Das Modell liefert die Form, das Wissen kommt aus dem Korpus. Deshalb genügt ein kleines Modell.
Der Befund: Abruf schlägt Training
Geplant war ein auf meinen Stil trainiertes Modell. Vier Trainingsläufe später war das Ergebnis eindeutig: ein abgerufener eigener Satz trifft den Ton besser als ein trainierter Adapter, und besser als jede Stilregel im Prompt.
Wächst mit dem Bestand
Jede Nacht wird nachgezogen, was dazugekommen ist: neue Seiten, geänderte Abschnitte, gelöschte Inhalte. Das Modell bleibt, wie es ist, und wird trotzdem besser.
Verbindung zu agentsim
Ich forsche daran, Branded LLMs in agentsim einzubinden, damit Marktsimulationen mit echten Markenstimmen rechnen.
Einordnung
Hintergrund
Was der erste Versuch gelehrt hat
Bibo läuft, aber als Versuch und nicht als Produkt. Ein Modell dieser Größe formuliert manchmal schief, und wo im Bestand nichts steht, wird die Antwort dünn. Genau dafür ist der Versuch da: um zu messen, wo die Grenze liegt, statt sie zu behaupten.
Die wichtigste Erkenntnis war unbequem, weil sie meinen Plan widerlegt hat. Ich wollte den Charakter eintrainieren. Gemessen hat gewonnen: solange das Wissen aus eigenen Texten kommt, braucht es das Training nicht. Finetuning ist damit nicht erledigt, sondern verschoben — es lohnt dort, wo Sprachgewohnheiten des Modells hartnäckig bleiben.
Und der Sinn dahinter ist größer als diese Website: wenn ein kleines Modell auf gemieteter CPU-Hardware brauchbar antwortet, sobald das Wissen stimmt, dann sind souveräne Fachassistenten auch ohne GPU-Budget und ohne Anbieterbindung möglich.
Nutzungsdaten
Was Bibo bisher gelernt hat
Ein Forschungsprojekt sollte zeigen, was es misst. Diese Zahlen entstehen im laufenden Betrieb und werden hier ungefiltert ausgegeben, auch wenn sie unbequem sind. Der ehrlichste Wert darunter ist die Korpusabdeckung: Sie sagt, für wie viele Fragen meine eigenen Texte überhaupt etwas hergaben, also wo mein Bestand Lücken hat.
Was hier nicht gespeichert wird: keine Fragen, keine Antworten, keine Namen, keine Adressen, keine IP-Adressen. Je Vorgang wird ein Datensatz mit Datum, Stunde und den Messwerten der Antwort gespeichert, dazu eine Zufallskennung der Anmeldung — die endet mit der Sitzung. Es gibt keine Kennung, die eine Person über mehrere Sitzungen wiedererkennbar macht, auch keine verschlüsselte. Es wird also nicht erfasst, wer wie oft fragt, und es lässt sich nachträglich auch nicht rekonstruieren. Nachzulesen im Datenschutz.
Nicht das größte Modell gewinnt, sondern das mit dem besseren Wissen dahinter.
Weiterlesen
Zwischenstände zu Branded LLM
Aktuelle Entwicklungen teile ich im Briefing mit meinen Abonnenten und führe ich tiefer in meinen Publikationen aus.
