Die Entwicklung von Künstlicher Intelligenz schreitet rasant voran. Deswegen werden sich auch technische Anforderungen und Kosten für den Betrieb eigener KI-Anwendungen fortlaufend verändern. Deswegen versuche ich, mich an dieser Stelle eher im Allgemeinen zu halten. Konkrete (aktuelle) Daten und Anforderungen können wir gerne bei Interesse einer Zusammenarbeit in einem persönlichen Gespräch erörtern. Kontaktieren Sie mich einfach.
Es gibt verschiedene Wege, KI im Unternehmen zu implementieren. Entsprechend unterschiedlich sind auch die Anforderungen und Kosten.
Alles lokal mit eigener IT umgesetzt
Die niedrigsten Betriebskosten entstehen bei einer Umsetzung komplett auf eigener Hardware und mit eigener Software. Besonders letzteres ist jedoch je nach Komplexität eher unwahrscheinlich. Sobald beispielsweise MS Office eingesetzt wird, spielen bereits externe Ressourcen eine Rolle.
Mit „alles lokal“ ist eher das konkrete KI-Dashboard als Schnittstelle zwischen Menschen, Daten und Grund-KI (Analyse-Algorithmen und „keines“ Assistenz-GPT) gemeint. Diese Schnittstelle kann danach gefilterte und gegebenenfalls anonymisierte Datenpakete kontrolliert an ein leistungsstarkes externes GPT wie MS Copilot (als Officeeinbindung) übergeben werden.
Hierfür sind anfängliche Investitionen in potente Server-Hardware nötig – sofern diese noch nicht vorhanden ist. Für kleine GPT-Anwendungen (4b bis 8b -Varianten) sollten Multicore-Server inklusive GPU und VRAM zur Verfügung stehen. In welcher Größenordnung, richtet sich nach Anzahl der potenziell gleichzeitigen Nutzer.
Mein Demo-Dashboard unter gpt.stahlpedia.de (Zugangsdaten gebe ich gerne im ersten Sondierungsgespräch) läuft jedoch schon mit einem 8-vCore CPU-Server (ohne GPU) mit 16 GB Arbeitsspeicher. Zwar benötigen GPT-Abfragen ein paar Sekunden „Nachdenkzeit“, dennoch ist es produktiv nutzbar. Größtes Manko: Nur mit GPU-Unterstützung können Sprach-KIs vernünftig und flexibel skaliert werden (parallele Nutzung). Ich behelfe mir mit einer manuellen Docker-Lösung – was im produktiven Unternehmenseinsatz aufgrund einbrechender Reaktionszeiten jedoch keine optimale und daher nicht empfehlenswerte Umsetzung ist. Zumal sie die Ressourcen nicht effizient nutzt.
Dennoch möchte ich damit eine Botschaft mitgeben: Die Kosten sind niedriger, als viele denken.
GPT über API einbinden
Noch geringere technische Anforderungen und damit Investitionskosten ergeben sich, wenn die GPT-Anwednung über API eingebunden ist. Besonders OpenAI bietet dafür eine sehr gute Umsetzung inklusive Verwaltungsplattform.
Vorteil: Man greift direkt auf die Fähigkeiten der stärksten generativen KIs zurück. Diese laufen auf externen Servern. Datenschutz ist insofern geben, als dass Roh-Daten vom Dashboard vorgefiltert werden. Es werden also nur bereits interpretierte und eingeschränkte Datensätze als Anfrage an die Server gesendet.
Nachteil: Man ist zum einen bei GPT-Anwendungen von einem externen Anbieter abhängig, was ein gewisses Risiko bedeutet. Zum anderen steht das Thema Datenschutz im Raum. Es gäbe keine Ausweichmöglichkeit für sensible Informationen. Zwar bieten die Anbieter mittlerweile an, die Verwendung von Daten für zukünftiges KI-Training ausschließen zu können. Doch ein Restrisiko bleibt und stützt sich allein auf Vertrauen.
Nicht unterschätzen sollte man die Betriebskosten bei Verwendung einer API. Jede Anfrage und Antwort wird nach Umfang abgerechnet (sogenannte Costs per million Token). In Tests stellt sich regelmäßig heraus, dass diese um ein Vielfaches höher sind als bei kleinen Open Source Modellen (Investitionskosten werden dabei anteilig einbezogen).
Komplettes Outsourcing
Es ist möglich, die gesamte Datenanalyse und Informationsverarbeitung auszulagern. Auch hier spielt die API eine Rolle. Hier jedoch nicht nur, um Anfragen zu senden und Antworten zu erhalten. Vielmehr werden alle Daten und Informationen auf den Servern eines externen Anbieters wie OpenAI gespeichert. ChatGPT ist per Code-Interpreter in der Lage, Daten professionell zu analysieren. Das, was also in einem Dashboard parallel zum GPT berechnet wird, kann die Sprach-KI in einem Guss übernehmen.
Vorteil: Niedrigste Anforderungen an die eigene IT. Selbst ältere Hardware kann entsprechende Dashboards darstellen. Unter Umständen könnte sogar auf Netzwerktechnik verzichtet werden.
Nachteil: Datenschutz und Verfügbarkeit stehen ausschließlich auf dem Vertrauen zum Anbieter. Es entstehen zudem hohe Betriebskosten, die mit dem Umfang der Verwendung nach oben skalieren.
Welche „Human-Kosten“ entstehen?
Bisher bin ich nur auf die technischen Kosten und Anforderungen eingegangen. Das hat einen einfachen Grund: Bei oben genannten Varianten entstehen Trainingsbedarf und fortlaufende Verwaltung. Wie hoch diese jeweils sind, ergibt sich eher aus der Art der Nutzung. Weniger aus der technischen Umsetzung.
Unsere Zusammenarbeit
Sie benötigen einen KI-Manager, -Berater oder -Trainer? Gerne unterstütze ich Sie bei der Einführung von Künstlicher Intelligenz. Kontaktieren Sie mich einfach.