Erhoben:
Ich habe einen Bogen, den ich durchgehe, bevor ich Zeit oder Geld in ein KI-Vorhaben stecke. Zwölf Fragen in drei Blöcken, keine Punktzahl, keine Ampel.
Der Trick daran ist einfach: Wer eine Frage nicht beantworten kann, hat sie beantwortet. Ein „weiß ich nicht“ ist selbst schon das Ergebnis.
Einen solchen Bogen zu veröffentlichen ist billig. Ihn auf das eigene Vorhaben anzuwenden und das Ergebnis hinzuschreiben, auch die unangenehmen Stellen, ist es nicht. Also mache ich das hier. Das Vorhaben ist Bibo, die KI, die im Mitgliederbereich dieser Website antwortet.
So gehst du selbst vor
Nimm dir ein konkretes Vorhaben, nicht „unsere KI-Strategie“. Ein System, eine Anwendung, ein Agent. Arbeite die drei Blöcke der Reihe nach durch und schreib die Antworten auf. Nicht nur denken, aufschreiben. Was man nicht formulieren kann, hat man nicht verstanden.
Und dann der wichtigste Teil: Geh es ein zweites Mal durch, mit jemandem, der das Vorhaben nicht mag. Zustimmung findet keine Lücken.
Block 1: Anbieterbindung
1. Mit welchem Modell läuft das Vorhaben heute, und wurde es je mit einem zweiten getestet?
Bibo läuft auf offenen Modellen auf eigener Hardware. Zwei davon habe ich im Betrieb gemessen: Das kleinere schreibt mit 35 Token pro Sekunde, das größere mit 22. Der Vergleich liegt also vor, und mit ihm die Grundlage für einen Wechsel.
2. Welche Funktionen nutzt ihr, die es nur bei diesem Anbieter gibt?
Keine. Hier ist das weniger Verdienst als Folge der Bauart: Wer ohne Anbieter baut, kann auch keine Anbieter-Eigenheit benutzen.
3. Wenn der Preis morgen um den Faktor drei steigt: Was genau tut ihr dann?
Nichts. Für Bibos Antworten zahle ich Strom. Die Hardware war eine einmalige Anschaffung, und die ist bezahlt.
4. Liegen eure Daten, Prompts und Regeln an einem Ort, den ihr auch ohne diesen Anbieter lesen könnt?
Ja, alles sind Dateien auf meinem Server. Auch die Website selbst ist danach gebaut: Die Vorlagen sind HTML-Dateien im Theme, die Gestaltungswerte stehen in einer Textdatei. Ein Baukasten hätte das Layout in einer Datenbank abgelegt, und damit wäre es für mich wie für jeden Agenten praktisch unerreichbar.
Block 1 fällt bei mir also gut aus, wenig überraschend, weil Unabhängigkeit von Anfang an der Zweck des Vorhabens war. Bei einem Vorhaben, das mit einem großen Anbieter gestartet ist, sieht dieser Block anders aus, und das ist kein Beinbruch. Wenn Frage zwei mit „noch nicht“ beantwortet wird, ist das der Normalfall. Aber dann gehört der Test vor die nächste Ausbaustufe.
Block 2: Modellwechsel
5. Was müsste geändert werden, wenn ihr morgen das Modell tauscht?
Im Wesentlichen eine Konfigurationszeile. Anschließend müsste ich den Vorspann prüfen, weil Modelle unterschiedlich auf Anweisungen reagieren. Wie lange das dauert, habe ich nie gestoppt.
6. Steckt euer Fachwissen im Prompt oder in einer Wissensbasis daneben?
Daneben. Bibos Wissen liegt als Dateien getrennt von seiner Steuerung, und was ich veröffentliche, wandert nachts hinein. Im Vorspann stehen nur Auftrag, Grenzen und vier Beispiele, zusammen rund 1300 Token.
Frage sechs ist die wichtigste im ganzen Bogen. Wissen im Prompt geht beim Wechsel verloren. Wissen in einer eigenen Basis bleibt und macht sogar kleinere Modelle brauchbar.
7. Habt ihr irgendwo gemessen, was das System heute leistet?
Hier wird es unangenehm. Die Geschwindigkeit habe ich gemessen, und zwar gründlich: Erstes Wort nach 18,6 Sekunden ohne vorgewärmten Zwischenspeicher, nach 0,6 Sekunden mit. Ganze Kette von der Frage bis zur sichtbaren Antwort unter zwei Minuten.
Die Antwortgüte habe ich nicht gemessen. Es gibt keinen Satz echter Fragen, gegen den ich nach einem Wechsel prüfen könnte, ob Bibo besser oder schlechter geworden ist. Nach meinem eigenen Raster ist das ein Nein in Block 2, also genau der Befund, den ich für den teuersten halte.
Dreißig echte Anfragen, einmal durchgelassen und aufgehoben, genügen als Grundlage. Ich habe es noch nicht getan. Der Aufwand ist klein; ich bin nur in der falschen Reihenfolge vorgegangen. Wer das liest, bevor er anfängt, kommt billiger davon als ich.
8. Hängen Funktionen an Eigenheiten eines Modells, die ein anderes nicht hat?
Eine: das Vorwärmen des festen Vorspanns. Ohne diesen Mechanismus wartet der Fragende achtzehn statt einer Sekunde auf das erste Wort. Mit einem Modell ohne brauchbaren Zwischenspeicher fällt die Anwendung damit aus, lange bevor jemand über ihre Antwortqualität redet.
Diese Art Abhängigkeit steht in keinem Vertrag. Sie wirkt trotzdem.
Block 3: Europäische Umsetzbarkeit
9. Ließe sich dieses Vorhaben vollständig auf europäischer Infrastruktur betreiben, wenn es darauf ankäme?
Es läuft bereits so. Server in Deutschland, Modelle auf eigener Hardware, kein KI-Anbieter dazwischen.
10. Was hindert euch heute konkret daran?
Nichts mehr. Es hat allerdings Arbeit gekostet, und der Preis steht in den Zahlen oben: Bibo ist langsamer als ein großer Anbieter. Das war so gewollt.
11. Welche Daten verlassen den europäischen Rechtsraum?
Keine. Das weiß ich, statt es anzunehmen, weil kein fremder Dienst beteiligt ist: Die Modelle laufen auf meiner Hardware, und der Server steht in Deutschland. In der Datenschutzerklärung steht dasselbe. Die bleibt allerdings meine eigene Auskunft; prüfen müsste es jemand von außen.
12. Wer im Haus könnte das im Ernstfall umziehen?
Ich. Und damit genau eine Person. Bei einem Ein-Personen-Vorhaben ist das die richtige Zahl; in einem Unternehmen wäre dieselbe Antwort ein Befund.
Die Auswertung, an mir selbst
| Block | Befund |
|---|---|
| 1 Anbieterbindung | sauber, weil Unabhängigkeit der Zweck war |
| 2 Modellwechsel | ein Nein: keine gemessene Antwortgüte |
| 3 Europäische Umsetzbarkeit | erfüllt, mit einer Person als Engpass |
Ein Nein ist eine Position, die man kennen sollte, bevor Budget freigegeben wird. Ein Nein in Block 2 ist erfahrungsgemäß der teuerste Fehler, weil er erst sichtbar wird, wenn schon investiert wurde. Bis dahin läuft alles, und niemand merkt, dass das System auf einer einzigen Annahme ruht.
Bei mir ist der Schaden begrenzt, weil das Vorhaben klein ist. Genau das macht es zum brauchbaren Beispiel: Derselbe Befund in einem System, das seit einem Jahr in der Produktion steht, dürfte einen Modellwechsel lang Vertrauen kosten. Belegen kann ich das nicht, es ist meine Einschätzung aus Gesprächen.
Was dieses Raster nicht leistet
Es sagt dir nicht, ob ein Vorhaben sinnvoll ist. Es sagt dir, ob du weißt, was du tust. Das ist weniger, aber es ist die Frage, die vorher kommt.
Wenn du deinen eigenen Durchgang machst und an einer Frage hängen bleibst: Stell sie im Mitgliederbereich. Die unangenehmen Antworten sind die interessanten.
