Lokale KI auf eigenen Servern oder Cloud mit EU-Hosting: Was passt zum Mittelstand?

Der Unterschied liegt darin, wer die Infrastruktur betreibt und welchem Recht der Betreiber unterliegt. Die Wahl des Modells ist zweitrangig, solange es für die Aufgabe genügt.

• Eigene Server mit offenen Modellen: Das Unternehmen betreibt ein Open-Weight-Modell im eigenen Rechenzentrum oder in einer gemieteten privaten Umgebung. Daten verlassen das eigene Netz nicht, Betrieb, Sicherheit und Updates liegen aber vollständig beim Unternehmen.
• Cloud mit EU-Hosting: Ein Anbieter betreibt das Modell in Rechenzentren in der EU, oft mit Vertrag zur Auftragsverarbeitung und Ausschluss des Trainings auf Kundendaten. Der Aufwand im Unternehmen ist gering.
• US-Cloud mit EU-Datengrenze: Einige US-Anbieter bieten an, Daten in der EU zu speichern und zu verarbeiten. Der Anbieter bleibt jedoch ein US-Unternehmen. Die Regeln zur Übermittlung in Drittstaaten nach Kapitel V DSGVO sind deshalb zu prüfen, ebenso Support- und Wartungszugriffe von außerhalb der EU.

Offene Modelle werden leistungsfähiger. Mistral hat am 6. Oktober 2026 Mistral Large 4 vorgestellt, zunächst als Vorschau über die eigene Plattform. Die Gewichte sollen laut Ankündigung bis Ende Oktober 2026 folgen, und das Modell soll auch in privater Cloud oder auf eigenen Servern laufen können.

Der Serverstandort löst nur einen Teil der Datenschutzfragen. Die DSGVO gilt für jede Verarbeitung personenbezogener Daten, auch auf eigener Hardware. Dieser Ratgeber ist keine Rechtsberatung.

Die Datenschutzkonferenz hält in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024 technisch geschlossene Systeme für vorzugswürdig (Rn. 20). Geschlossen bedeutet dort: Verarbeitung in einer abgegrenzten, technisch abgeschlossenen Umgebung, ein eng begrenzter Nutzerkreis, Kontrolle über Ein- und Ausgaben bei den Anwendenden und keine Nutzung der Daten zum Training durch den Anbieter (Rn. 16). Das hängt nicht allein am Standort, sondern an Zugriff, Kontrolle und Vertrag.

Auch ein lokales System braucht deshalb:

• eine Rechtsgrundlage und einen festgelegten Zweck je Anwendung
• technische und organisatorische Maßnahmen nach Art. 32 DSGVO, etwa Rollen, Verschlüsselung und Protokollierung
• Löschkonzepte für Eingaben, Verläufe und angebundene Dokumente
• eine Vorabprüfung und gegebenenfalls eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO
• Regeln für Beschäftigte, damit keine Profile aus Eingabeverläufen entstehen

Umgekehrt kann ein schlecht gewartetes lokales System riskanter sein als eine gepflegte EU-Cloud.

Für die meisten Unternehmen ist eine Cloud mit Hosting in der EU der pragmatische Start; eigene Server lohnen sich bei besonders schützenswerten Daten und vorhandener IT-Kompetenz. Die Sorge um Daten ist real: Nach einer Bitkom-Umfrage aus dem Jahr 2026 befürchten 45 Prozent der Unternehmen, die KI bereits einsetzen, dass Unternehmensdaten in falsche Hände gelangen.

• Eigene Server, wenn Berufsgeheimnisse oder besondere Kategorien von Daten verarbeitet werden, eine IT-Abteilung den Betrieb übernehmen kann und kleinere offene Modelle für die Aufgaben genügen.
• Cloud mit EU-Hosting, wenn du schnell starten und wenig Betriebsaufwand willst und vertraglich ausgeschlossenes Training sowie Verarbeitung in der EU ausreichen.
• US-Cloud mit EU-Datengrenze, wenn du bereits tief in die Bürosoftware eines US-Anbieters eingebunden bist und dessen neueste Modelle brauchst, nach Prüfung der Drittlandfragen.

Eine Übersicht datenschutzfreundlicher Werkzeuge findest du unter ChatGPT-Alternativen nach DSGVO. Hey2Ai bietet eine eigene KI-Plattform mit Verarbeitung in der EU, Hosting in Deutschland und ohne Training auf Kundendaten an.