Was eigene KI wirklich kostet: Zahlen von meinem Server

Erhoben: 11. September 2026

Über die Kosten lokaler KI wird viel geschrieben und wenig gemessen. Meistens stehen am Ende eines solchen Textes zwei Sätze: „Das kommt darauf an“ und „Gerne im persönlichen Gespräch“.

Deshalb hier einmal andersherum. Was folgt, sind Werte von Maschinen, die ich selbst betreibe, mit Modellen, die gerade laufen. Kein Angebot, keine Hochrechnung.

Die kleine Maschine: zwölf Kerne, keine Grafikkarte

Der Server, auf dem meine Website und meine Nextcloud laufen und auf dem ich den Community-Bot erprobt habe, ist ein gemieteter Rechner mit zwölf vCPU und ohne jede Grafikkarte. Ein Modell mit rund vier Milliarden Parametern belegt darauf 9,6 Gigabyte, das kleinere 7,2.

Gemessen, seriell, ein Nutzer:

Modell	Ausgabe	Antwort von rund 450 Zeichen
das kleinere	35 Token/s	3,4 s
das größere	22 Token/s	5,8 s

Das ist die Größenordnung, über die kaum jemand spricht, weil sie unspektakulär ist. Eine Antwort in unter sechs Sekunden, auf Hardware für einen mittleren zweistelligen Betrag im Monat, ohne dass ein einziges Byte das Haus verlässt.

Drei Dinge, die diese Zahl relativieren, und die in keinem Werbeversprechen stehen:

Erstens: seriell heißt seriell. Auf einer CPU teilen sich zwei gleichzeitige Anfragen dieselben Kerne. Zwei Nutzer bekommen beide die halbe Geschwindigkeit. Mein Dienst verarbeitet deshalb genau eine Anfrage zur Zeit und stellt die zweite an. Wer parallele Nutzung braucht, kommt an einer Grafikkarte nicht vorbei. Das ist der eine harte Punkt, an dem der Rechner ohne GPU an seine Grenze stößt.

Zweitens: der Arbeitsspeicher setzt die Grenze, nicht die Rechenleistung. Auf meinem Server sind rund 20 Gigabyte frei. Zwei Modelle mit zusammen 16,8 Gigabyte gleichzeitig geladen würden Nextcloud, das Git-System und die Automatisierung in den Auslagerungsspeicher drücken. Der Dienst entlädt deshalb vor jedem Wechsel das jeweils andere Modell. Diese Buchhaltung ist Arbeit, die man beim Planen vergisst.

Drittens: das Laden ist nicht das Problem, das Vorkauen ist es. Ein Modell zu laden dauert 15 bis 18 Sekunden. Der feste Vorspann aus Anweisung und Beispielen, rund 1300 Token, kostet zusätzlich noch einmal rund 18 Sekunden, bevor überhaupt ein Wort erscheint. Mit vorgewärmtem Zwischenspeicher sind es 0,6 Sekunden. Zwischen einer Anwendung, die niemand benutzt, und einer, die sich flüssig anfühlt, liegt manchmal nur dieses Detail.

Die große Maschine: ein Rechner im Wohnzimmer

Für alles, was mehr Modell braucht, steht bei mir zu Hause ein Mini-PC mit integrierter Grafikeinheit, die 65 Gigabyte als Videospeicher ansprechen kann. Er hängt über einen verschlüsselten Tunnel am Server. Das ist die Konstellation, die ich inzwischen den meisten empfehle, die ernsthaft lokal arbeiten wollen: ein billiger Mietserver für alles, was ständig erreichbar sein muss, und eine potente Maschine im eigenen Haus für das Rechnen.

Dort läuft mein Berater-Bot auf einem Modell mit 26 Milliarden Parametern. Gemessen, heute:

Vorgang	Zeit
Modell laden, einmalig	9,0 s
Kurze Antwort, warm (73 Token)	1,0 s
Ausgabe	75 Token/s
Kontext von 5627 Token einlesen	3,7 s

Fünfundsiebzig Token pro Sekunde. Das ist schneller, als man lesen kann, auf einem Gerät, das unter einem Fernseher steht.

Und damit zum eigentlichen Befund dieses Abschnitts, der mich meine eigene Dokumentation gekostet hat: In meinen Notizen stand jahrelang „rund 25 Sekunden je Antwort“. Diese Zahl war einmal richtig gemessen, aber falsch beschriftet. Sie enthielt das Laden und das Einlesen eines großen Kontextes. Beides fällt einmal an, nicht bei jeder Antwort.

Daran hängt eine praktische Regel: Zahle die Ladezeit einmal, nicht immer wieder. Ein Dienst, der das Modell nach jeder Anfrage entlädt, um Speicher zu sparen, macht aus einer Sekunde zehn. Wer knappen Speicher hat und zwischen Modellen wechseln muss, zahlt bei jedem Wechsel neu. Das ist der Grund, warum die Wahl „ein Modell für alles“ oft schneller ist als „für jede Aufgabe das beste Modell“, obwohl das Gegenteil plausibel klingt.

Ein zweiter Befund von dieser Maschine, weil er gegen die Erwartung läuft: Ein kleineres Modell war in meinem Test langsamer als das größere. 48,7 gegen 36,2 Sekunden für dieselben drei Fragen. Schuld war die Geschwätzigkeit: Es produzierte dreimal so viel Text. Ein Modell, das sich nicht kurz fassen kann, ist teuer, egal wie klein es ist.

Was es an Geld kostet

Ehrlich aufgeschlüsselt, für meinen Aufbau:

Der Mietserver: ein mittlerer zweistelliger Betrag im Monat. Er trägt neben der KI sechs weitere Dienste.
Der Rechner zu Hause: eine einmalige Anschaffung im vierstelligen Bereich, dazu Strom, wenn er rechnet.
Die Modelle: null. Offene Gewichte, kein Abonnement, keine Abrechnung nach Token.
Meine Zeit: der mit Abstand größte Posten. Die Einrichtung war an einem Abend erledigt; gekostet hat das Verstehen der Stellen, an denen es klemmt. Die vier Fallstricke oben habe ich mir erarbeitet.

Bei Anbietermodellen ist es genau umgekehrt. Der Einstieg kostet fast nichts, die Zeit bis zum ersten Ergebnis ist kurz, und die Rechnung wächst mit der Nutzung. Solange du wenig nutzt, ist das der günstigere Weg. Rechne trotzdem einmal durch, was passiert, wenn alle im Unternehmen täglich damit arbeiten. Und rechne dann noch einmal mit dem doppelten Preis. Die aktuellen Preise sind subventioniert, und die Anbieter verdienen daran bislang kein Geld.

Wofür sich der eigene Betrieb rechnet

Nicht als Ersatz für die großen Modelle. Die sind besser, und das wird auf absehbare Zeit so bleiben.

Der eigene Betrieb rechnet sich, wenn eine dieser Bedingungen gilt:

Die Daten dürfen das Haus nicht verlassen.
Die Aufgabe ist eng und wiederholt sich oft. Einordnen, Zusammenfassen, Herausziehen, Beantworten aus einem festen Bestand. Dafür reichen kleine Modelle erstaunlich weit.
Du willst nicht an einem einzelnen Anbieter hängen und brauchst einen Weg, der auch dann noch funktioniert, wenn ein Zugang wegfällt.
Du willst verstehen, was da eigentlich passiert. Ein gutes Argument, auch wenn es sich nicht rechnen lässt.

Mein Community-Bot stand etwas neben diesen Anwendungen. Er war vor allem ein Beweis: Auf zwölf gemieteten Kernen ohne Grafikkarte lief ein Assistent, der öffentlich Fragen beantwortet hat, in unter zwei Minuten von der Frage bis zum Eintrag. Das hätte vor zwei Jahren niemand geglaubt.

Die Kosten sind niedriger, als die meisten denken. Der Aufwand, es richtig hinzubekommen, ist höher.