Lokales KI-Modell statt Cloud: Wann sich das rechnet

„Wir wollen unsere Daten nicht in die Cloud geben.“ Dahinter steckt eine berechtigte Sorge, oft aber auch die Annahme, ein eigenes KI-Modell im Haus sei die einfache Lösung. Diese Annahme prüfen wir hier mit den Zahlen, die sich belegen lassen.

Die kurze Antwort

Ein lokales KI-Modell ist datenschutzrechtlich meist der sauberere Weg, aber nicht automatisch DSGVO-konform und für die meisten mittelständischen Betriebe heute noch nicht wirtschaftlich. Ob es sich für Sie rechnet, hängt an drei Fragen: Wie sensibel sind die Daten, wie hoch und gleichmäßig ist die Nutzung, und wer betreibt das System im Haus?

Erst rechnen, dann kaufen. Bis dahin arbeiten Sie mit pseudonymisierten Daten.

Was lokal datenschutzrechtlich bringt

Die Datenschutzkonferenz (DSK) hat am 6. Mai 2024 ihre Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ in Version 1.0 veröffentlicht. Drei Aussagen daraus sind für Ihre Entscheidung wichtig:

• Geschlossene Systeme sind vorzugswürdig. Bei offenen Systemen, etwa Cloud-Lösungen, verlassen die Eingaben den geschützten Bereich, das Risiko ist dort größer (Abschnitt 1.7).
• Beim Eigenbetrieb sind Sie in der Regel allein verantwortlich. Wer auf eigenen Servern zu eigenen Zwecken arbeitet, braucht keinen Auftragsverarbeiter, trägt aber alle Pflichten selbst (Abschnitt 2.1).
• Bei Cloud-Anbietern brauchen Sie in der Regel einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Bei Anbietern außerhalb der EU kommen die Regeln zur Drittlandübermittlung dazu (Abschnitte 1.7 und 2.1).

Lokal heißt dabei nicht gleich konform. Sie brauchen weiterhin eine Rechtsgrundlage für jeden Verarbeitungsschritt, und bei KI ist laut DSK eine Datenschutz-Folgenabschätzung „vielfach“ erforderlich (Abschnitt 2.3). Die Orientierungshilfe stammt von 2024. Fragen Sie Ihren Datenschutzbeauftragten, ob es inzwischen eine Neufassung gibt. Wie Sie KI im Alltag datenschutzkonform nutzen, steht in unserem Ratgeber zu DSGVO und KI.

Woraus die Kosten bestehen

Der Server ist nur ein Teil der Rechnung. Rechnen Sie mit diesen Posten:

• Hardware: Laut everbright-it.de (Stand 26. Juni 2026) kostet eine Grafikkarte für kleine Modelle bis 14 Milliarden Parameter 2.000 bis 8.000 Euro plus Servergehäuse, sie bedient 10 bis 30 gleichzeitige Anfragen. Für große Modelle mit 70 Milliarden Parametern nennt dieselbe Quelle 200.000 bis 400.000 Euro Hardwarekosten, alternativ gemietete Grafikserver ab etwa 2.500 Euro im Monat.
• Einrichtung und Anbindung: Bei einfacher Chat-Nutzung wenige Personentage, bei Spezialfunktionen 20 bis 60 Personentage (everbright-it.de).
• Betrieb: Treiber, Updates, Zugriffsrechte, Ausfälle. Fällt der Server aus, steht die KI, und eine Grafikkarte zu reparieren dauert nach Angabe von ki-mittelstand.eu (Pexon Consulting, Stand 2026) typisch 3 bis 5 Werktage.
• Strom, Kühlung, Platz: Fällt bei kleinen Modellen kaum ins Gewicht, bei großen Servern gehört es ins Budget.
• Modell-Updates: Neue Modelle erscheinen schnell. Wer das jeweils beste Modell will, ist über die Cloud meist früher dran (everbright-it.de).

Beide Quellen sind Dienstleister, die Eigenbetrieb auch beraten oder anbieten. Behandeln Sie die Zahlen als Größenordnung und holen Sie für Ihren Fall eigene Angebote ein.

Wann sich lokal rechnet

everbright-it.de nennt als Prüfschwelle rund 1.500 Euro monatliche Kosten für Cloud-Schnittstellen. Erst darüber lohnt es sich, überhaupt eine Wirtschaftlichkeitsrechnung anzustellen. Dazu kommen Kriterien, die für oder gegen den Eigenbetrieb sprechen.

Das spricht für lokal

• Regulatorischer Druck, etwa bei Patientendaten, Personalakten oder Konstruktionsdaten mit Geheimhaltungspflicht
• Hohes und gleichmäßiges Volumen über das ganze Jahr
• Wunsch nach Unabhängigkeit von der Preispolitik eines einzelnen Anbieters

Das spricht dagegen

• Niedrige oder stark schwankende Auslastung, dann zahlen Sie für Bereitschaft statt für Nutzung
• Bedarf am jeweils neuesten Spitzenmodell
• Fehlendes Know-how für Betrieb, Treiber und Modellpflege

Die Unterschiede in der Rechnung können groß sein. Ein Rechenbeispiel aus dem Rechenzentrumsbereich (Developers Digest, Stand 17. Juni 2026) zeigt das: Ein gemieteter Verbund aus acht Hochleistungskarten kostet samt Betrieb etwa 16.000 US-Dollar im Monat. Selbst bei Volllast rund um die Uhr liegen die Kosten laut dieser Rechnung bei etwa 10 US-Dollar je Million erzeugter Textbausteine, die günstige Cloud-Schnittstelle im Vergleich bei 0,87 US-Dollar. Lohnen würde sich der Eigenbetrieb dort nur, wenn er ein teures Spitzenmodell ersetzt, das 15 bis 30 US-Dollar kostet. Das Beispiel ist für Betriebe in Rechenzentrumsgröße gerechnet und nicht auf Ihr Unternehmen übertragbar. Es zeigt aber, wie stark die Auslastung die Rechnung bestimmt.

Was wir bei unseren Kunden sehen

Wir prüfen die Entscheidung zwischen lokaler KI und anderen Lösungen laufend gemeinsam mit unseren Kunden. In der Regel kommen wir zum gleichen Ergebnis: Lokale KI rentiert sich noch nicht.

Dazu kommt, wie wir selbst arbeiten. Wir entwickeln für unsere Kunden vorwiegend Werkzeuge mit KI, die im laufenden Betrieb am Ende gar keine KI mehr einsetzen. Dann gibt es keinen dauerhaften KI-Betrieb, für den sich ein eigener Server lohnen würde. Solange entwickelt und getestet wird, geht das hervorragend mit pseudonymisierten Daten. Namen, Kundennummern und andere Kennzeichen werden vorher ersetzt, die KI sieht nur die ersetzten Werte. Wie das lokal auf Ihrem eigenen Rechner abläuft, zeigt SmartPseudo.

Welches Cloud-Werkzeug zu Ihrem Betrieb passt, lesen Sie in unserem Vergleich Microsoft Copilot, ChatGPT oder Claude.

Hybrid ist oft der vernünftige Weg

Muss wirklich alles lokal laufen? Meist nicht. Sensible Daten bleiben im Haus oder werden vorher pseudonymisiert, alles andere läuft über einen Cloud-Anbieter mit Vertrag zur Auftragsverarbeitung, der Ihre Eingaben nicht zum Training verwendet. Die DSK nennt Anwendungen, die Ein- und Ausgabedaten nicht zu Trainingszwecken verwenden, ausdrücklich als datenschutzrechtlich vorzugswürdig (Abschnitt 1.9). Der Aufwand für eine Trennung nach Datenart ist kleiner als der für einen eigenen Rechenzentrumsbetrieb.

Wer betreibt das System?

Wer lokal einsteigt, braucht jemanden, der sich auskennt. Ein Einsteigerwerkzeug für lokale Modelle ist laut ki-mittelstand.eu für 1 bis 3 gleichzeitige Nutzer gedacht und verliert ab etwa 5 parallelen Anfragen deutlich an Tempo. Für 5 bis 50 Nutzer braucht es eine andere Software, und die will eingerichtet und gepflegt werden. Haben Sie dieses Wissen nicht im Haus, brauchen Sie einen Dienstleister. Mit dem schließen Sie dann wieder einen Vertrag zur Auftragsverarbeitung, und der Vorteil des geschlossenen Systems schrumpft.

Betriebsrat und Mitarbeiter früh einbinden

Ein Punkt kommt in den Vergleichen, die wir gelesen haben, kaum vor: die Mitbestimmung. Uns wurde von einem großen Unternehmen berichtet, in dem es ein Jahr gedauert hat, bis der Betriebsrat dem Einsatz von Microsoft Copilot zugestimmt hat. Das ist ein Bericht aus zweiter Hand und kein Fall aus unserer eigenen Begleitung. Er zeigt aber, wie sehr sich der Einsatz moderner Technik verzögern kann, wenn die Beschäftigtenvertretung erst am Ende gefragt wird.

Das gilt für Cloud und lokal gleichermaßen. Binden Sie Betriebsrat und Mitarbeiter ein, bevor die Entscheidung gefallen ist. Wie das gelingt, lesen Sie in unserem Beitrag zu Mitarbeitern in KI-Projekten.

Förderung: Was förderfähig ist

Gefördert wird die Beratung, nicht die Hardware oder die Lizenzen. Die Entscheidung zwischen lokal, Cloud und Hybrid lässt sich in einer geförderten Beratung vorbereiten. Noch in 2026 sind bis zu 3.500 Euro (z. B. NRW) bzw. 5.600 Euro (höher geförderte Regionen und neue Bundesländer) Zuschuss möglich, verteilt auf zwei geförderte Beratungen. Der Antrag muss vor Beratungsbeginn vorliegen. Einzelheiten stehen auf der Seite zur BAFA-Förderung.

So entscheiden Sie in drei Schritten

1. Daten einordnen. Welche Daten gehen in die KI? Ohne Personenbezug und ohne Geheimhaltungspflicht spricht wenig für lokal. Mit Personenbezug prüfen Sie zuerst, ob Pseudonymisierung reicht.
2. Nutzung messen. Wie viele Anfragen, wie viele Personen, wie gleichmäßig? Liegen Ihre Cloud-Kosten unter der Prüfschwelle, bleiben Sie in der Cloud mit sauberem Vertrag.
3. Betrieb klären. Wer hält das System am Laufen, und was passiert bei einem Ausfall? Erst wenn alle drei Antworten für lokal sprechen, lohnt eine Anschaffung.

Wie Sie den Nutzen einer KI-Anwendung vorab rechnen, zeigt unser Beitrag zum KI-ROI. Einen Überblick über unser Vorgehen gibt die Seite zur KI-Beratung für den Mittelstand. Wenn Sie wissen wollen, wo Ihr Betrieb bei dieser Entscheidung steht, ist die BOOSTER-Analyse der schnellste Einstieg: 30 Minuten, kostenlos, unverbindlich.

Quellen

Datenschutzkonferenz, Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024: datenschutz-bayern.de. Kostenangaben (Anbieterseiten, nicht unabhängig geprüft): everbright-it.de, 26. Juni 2026, Developers Digest, 17. Juni 2026 und ki-mittelstand.eu (Pexon Consulting, 2026).

Häufige Fragen

Ist ein lokales KI-Modell automatisch DSGVO-konform?

Nein. Die Datenschutzkonferenz sieht technisch geschlossene Systeme zwar als vorzugswürdig an, weil die Eingaben den eigenen Bereich nicht verlassen. Die DSGVO gilt aber auch beim Eigenbetrieb: Sie brauchen eine Rechtsgrundlage, klare Regeln für die Nutzung und je nach Einsatz eine Datenschutz-Folgenabschätzung. Beim Eigenbetrieb sind Sie in der Regel allein Verantwortlicher, die Pflichten liegen also vollständig bei Ihnen.

Was kostet der Eigenbetrieb insgesamt, nicht nur der Server?

Zur Hardware kommen Einrichtung, Anbindung an Ihre Systeme, laufende Wartung, Modell-Updates und Strom. Laut everbright-it.de (Stand Juni 2026) kostet die Anbindung bei einfacher Chat-Nutzung wenige Personentage, bei Spezialfunktionen 20 bis 60 Personentage. Für die Entscheidung zählt deshalb die Gesamtrechnung über mehrere Jahre, nicht der Preis der Grafikkarte.

Ab welcher Nutzung rechnet sich lokal gegenüber der Cloud?

Nur bei hohem, gleichmäßigem Volumen. everbright-it.de nennt als Prüfschwelle etwa 1.500 Euro monatliche Kosten für Cloud-Schnittstellen. Erst darüber lohnt sich eine Wirtschaftlichkeitsrechnung. Bei schwankender Nutzung bezahlen Sie für lokale Hardware auch dann, wenn sie leer läuft. Für die meisten Betriebe, die wir begleiten, rechnet sich lokal deshalb noch nicht.

Reicht ein normaler Rechner oder brauche ich einen Server?

Das hängt von Modellgröße und Nutzerzahl ab. Kleine Modelle laufen auf einer einzelnen leistungsfähigen Grafikkarte und bedienen laut everbright-it.de ein Team von etwa 5 bis 30 Personen. Große Modelle brauchen Serverhardware, die schnell in die Größenordnung eines mittleren sechsstelligen Betrags kommt. Wichtiger als die Hardware ist die Frage, ob kleine Modelle Ihre Aufgabe überhaupt gut genug lösen. Das testen Sie am besten vor jeder Anschaffung.

Wer betreibt und wartet das System im Betrieb?

Jemand muss Treiber, Modell-Updates, Zugriffsrechte und Ausfälle im Griff haben. Fehlt dieses Wissen im Haus, brauchen Sie einen externen Dienstleister und müssen mit dem wiederum einen Vertrag zur Auftragsverarbeitung schließen. Das gehört in die Kostenrechnung, sonst fällt sie zu günstig aus.

Ist die Anschaffung förderfähig?

Gefördert wird die Beratung, nicht die Hardware oder die Lizenzen. Die Entscheidung zwischen lokal, Cloud und Hybrid lässt sich im Rahmen einer geförderten Beratung vorbereiten. Noch in 2026 sind bis zu 3.500 Euro (z. B. NRW) bzw. 5.600 Euro (höher geförderte Regionen und neue Bundesländer) Zuschuss möglich, verteilt auf zwei geförderte Beratungen. Der Antrag muss vor Beratungsbeginn vorliegen.