Lokale KI Modelle im Unternehmen: wann sie sich lohnen

Die Frage kommt meist nach dem ersten Monat mit einem KI Werkzeug: Könnten wir das nicht auf einem eigenen Server laufen lassen? Dann bleiben die Daten im Haus, und die Rechnung nach Nutzung fällt weg.

Technisch geht das. Die Gewichte vieler Modelle sind öffentlich, die Software dafür ist frei, ein passender Rechner in einer Stunde gemietet. Die Frage ist, wann sich das rechnet und wann es eine Maschine mehr ist, um die sich jemand kümmern muss.

Wann lohnt sich ein lokales KI Modell für ein kleines Unternehmen?

Wenn eine Datenart das Haus nicht verlassen darf, wenn die Menge gleichmäßig hoch ist oder wenn ein Ablauf ohne Internet funktionieren muss. Sonst ist ein Modell über eine Programmierschnittstelle günstiger und in einem Bruchteil der Zeit eingerichtet.

Die Datenhaltung ist der häufigste Grund für einen eigenen Server und der schwächste: Bei einem Anbieter mit Verarbeitung in der EU und einem Vertrag zur Auftragsverarbeitung nach Artikel 28 DSGVO steht die rechtliche Konstruktion. Die Menge dagegen ist eine Rechnung.

Was ist ein lokales KI Modell?

Ein lokales KI Modell ist ein Sprachmodell, dessen Gewichte auf eigener oder gemieteter Hardware liegen und dessen Anfragen diesen Rechner nicht verlassen.

Der Unterschied zur Cloud liegt im Ort und in der Abrechnung. Sie zahlen für Rechenleistung, die auch bereitsteht, wenn niemand fragt, und arbeiten mit der Fassung, die Sie heruntergeladen haben.

Welche Hardware und welche Lizenz braucht das?

Der Speicher der Grafikkarte setzt die Grenze, weil das Modell vollständig hineinpassen soll. Vier Angaben aus den Unterlagen der Hersteller.

• Laut Google braucht Gemma 4 mit 12 Milliarden Parametern rund 6,7 GB Grafikspeicher in der verkleinerten Form Q4_0 und rund 26,7 GB in voller Genauigkeit.
• Ein gemieteter Server mit 24 GB Grafikspeicher kostet laut Preisliste von Hetzner 214 Euro im Monat plus 209 Euro Einrichtung, ohne Umsatzsteuer. Die Stufe mit 96 GB steht dort bei 999 Euro.
• Die Karte in diesem Mietserver, eine RTX PRO 4000 Blackwell SFF, ist laut NVIDIA mit 24 GB Speicher und höchstens 70 W Leistungsaufnahme angegeben. Der Strom ist hier nicht der Posten, über den man nachdenkt.
• Laut der Dokumentation von Ollama wächst der benötigte Kontextspeicher mit der Zahl gleichzeitiger Anfragen. Was für eine Person reicht, reicht nicht automatisch für zehn.

Offene Gewichte sind nicht dasselbe wie eine offene Lizenz. Mistral stellt laut seiner Modellübersicht Mistral Small 4 und die Ministral 3 Modelle unter Apache 2.0. Die Llama 4 Community License von Meta verlangt laut ihrem Text den sichtbaren Hinweis Built with Llama und ab 700 Millionen monatlich aktiven Nutzern eine eigene Lizenz von Meta. Für Gemma verlangt Google, die Nutzungsbeschränkungen bei jeder Weitergabe mitzugeben.

Was kostet der eigene Server gegenüber der Cloud?

Bei kleinen Mengen ist die Cloud deutlich günstiger, und der Abstand ist größer als geschätzt. Der eigene Server rechnet sich erst bei einem Volumen, das ein Betrieb mit zwanzig Beschäftigten selten erreicht.

Eine Rechnung mit offenen Annahmen. Ein Vorgang, etwa eine Mail einordnen und eine Antwort entwerfen, verbraucht ungefähr 1.000 Token Eingabe und 300 Token Ausgabe. Laut der Preisseite von Mistral kostet Mistral Large 0,50 Dollar je Million Token Eingabe und 1,50 Dollar je Million Token Ausgabe. Tausend solche Vorgänge im Monat kosten damit etwa 0,95 Dollar.

Bis zur Monatsmiete des Servers mit 24 GB müssten es mehr als 200.000 Vorgänge im Monat sein. Was in keiner der Zahlen steckt, ist die Arbeit am Server: Einrichtung, Aktualisierungen, Überwachung und eine Person, die zuständig ist, wenn das Modell um neun Uhr nicht antwortet. Als Richtwert liegt die Einrichtung bei zwei bis fünf Tagen.

Was ändert ein lokales Modell rechtlich?

Ein lokales Modell nimmt eine Frage weg und lässt die übrigen stehen. Gehen keine Daten zu einem Dienstleister, braucht dieser Schritt keinen Vertrag zur Auftragsverarbeitung, denn Artikel 28 DSGVO verlangt einen solchen Vertrag für die Verarbeitung durch einen Auftragsverarbeiter. Die Pflichten aus dem AI Act bleiben davon unberührt.

• Die Open Source Ausnahme im AI Act trägt hier nicht weit. Artikel 2 Absatz 12 nimmt KI Systeme aus, die unter freien und offenen Lizenzen bereitgestellt werden, gilt aber nicht, wenn sie als Hochrisiko System oder als System nach Artikel 5 oder Artikel 50 in Betrieb genommen werden.
• Die KI Kompetenz hängt am Einsatz, nicht am Standort der Festplatte. Artikel 4 AI Act verlangt von Anbietern und Betreibern Maßnahmen, die die KI Kompetenz des eigenen Personals und anderer Personen fördern, die das System in ihrem Auftrag bedienen.
• Wer ein selbst betriebenes System unter eigenem Namen anbietet, kann nach Artikel 25 Absatz 1 AI Act in die Rolle des Anbieters wechseln. Die Bestimmung betrifft Hochrisiko Systeme; ob ein Fall darunter fällt, ist rechtlich zu prüfen.

Für Fragen zum AI Act gibt es in Österreich eine Anlaufstelle. Die KI Servicestelle in der RTR versteht sich als Ansprechpartner und Informationshub, veröffentlicht Unterlagen zur Verordnung und ist unter ki@rtr.at erreichbar. Eine Rechtsberatung ist das nicht. Welche Unterlagen beim Einsatz von KI zu führen sind, steht auf unserer Seite zu DSGVO und AI Act.

Wie entscheiden Sie das in Ihrem Betrieb?

In dieser Reihenfolge. Die ersten drei Schritte brauchen keine Hardware.

1. 1.Zählen, wie viele Vorgänge im Monat anfallen. Nicht schätzen: zwei Wochen mitschreiben und hochrechnen.
2. 2.Prüfen, welche Daten in den Vorgang gehen. Eine Kategorie, die das Haus nicht verlassen darf, ist der erste belastbare Grund für einen eigenen Server.
3. 3.Den Ablauf vier Wochen über die Programmierschnittstelle aufbauen und danach die Rechnung ansehen. Was unter zehn Euro im Monat liegt, braucht keine eigene Maschine.
4. 4.Erst wenn Menge oder Datenart dafür sprechen, einen Rechner mieten und denselben Ablauf darauf stellen. Gemietet, nicht gekauft: dann ist der Ausstieg eine Kündigung.
5. 5.Festhalten, wer den Server betreut, wer das Modell aktualisiert und wann die Entscheidung geprüft wird. Ein halbes Jahr ist ein brauchbarer Abstand.

Ein Grund für das eigene Modell steht in keiner Rechnung: die Fassung bleibt stehen. OpenAI nennt in seiner Liste der Abkündigungen für zwei ältere Modelle den 14. Januar 2027 als Abschaltdatum und sichert für allgemein verfügbare Modelle mindestens sechs Monate Vorlauf zu. Wer einen geprüften Ablauf auf einem heruntergeladenen Modell betreibt, bestimmt den Wechsel selbst. Wie wir Werkzeuge auswählen, einführen und danach messen, steht auf unserer Seite zu Tool Auswahl und Rollout.