„Unsere Daten dürfen das Haus nicht verlassen.“ Der Satz fällt in fast jedem Gespräch über KI, und er ist berechtigt. Die Lösung, die daraus abgeleitet wird, ist es seltener: ein eigener Server mit eigenem Modell, damit nichts nach außen geht.

Technisch ist das heute möglich. Frei verfügbare Modelle lassen sich auf eigener Hardware betreiben, und für einige Betriebe ist das genau richtig. Für die meisten ist es ein teurer Umweg zu einem Ziel, das auf anderem Weg billiger zu haben ist.

Was „lokal“ wirklich heißt

Hinter dem Wunsch stecken drei verschiedene Lösungen, die oft durcheinandergehen:

  • Eigene Hardware im eigenen Haus. Ein Server mit Grafikkarte im Serverraum, ein frei verfügbares Modell darauf. Kein Datenverkehr nach außen.
  • Eigene Instanz beim Cloud-Anbieter. Ein Modell, das in einem abgegrenzten Bereich in einem EU-Rechenzentrum für Sie allein läuft, gemietet statt gekauft.
  • Geschäftskundentarif mit EU-Verarbeitung. Der normale Dienst, aber mit Vertrag, europäischem Verarbeitungsort und Ausschluss vom Training.

Wer „lokal“ sagt, meint meistens: „Niemand außerhalb des Unternehmens darf unsere Inhalte sehen oder zum Training verwenden.“ Das leisten alle drei Varianten. Nur die erste kostet dafür Hardware.

Die Rechnung

Ein brauchbares offenes Modell braucht Speicher auf der Grafikkarte – für die großen Varianten rund 40 Gigabyte, auch in komprimierter Form. Eine passende Server-Grafikkarte samt Rechner liegt je nach Ausstattung bei 9.000 bis 15.000 Euro. Nach etwa drei Jahren steht der Ersatz an.

Dazu kommt der Betrieb: Ein solcher Rechner zieht im Tagesbetrieb grob 250 Watt im Mittel, bei 25 Cent je Kilowattstunde also rund 550 Euro Strom im Jahr, zuzüglich Kühlung. Und er braucht Pflege – Updates, Modellwechsel, Überwachung. Rechnet man Abschreibung, Strom und ein paar Wartungsstunden zusammen, landet man bei etwa 4.000 bis 6.000 Euro im Jahr.

Zum Vergleich: Eine flächendeckende Copilot-Einführung für 20 Büroarbeitsplätze kostet grob 4.500 Euro im Jahr – und bringt die Anbindung an Outlook, Teams und SharePoint gleich mit. Die eigene Maschine bedient dabei nur eine Handvoll gleichzeitiger Anfragen, bevor die Antwortzeiten spürbar steigen.

Was es löst – und was nicht

Gelöst ist die Frage nach dem Verarbeitungsort: kein Auftragsverarbeitungsvertrag, keine Diskussion über Drittstaaten, keine Sorge um Training mit Ihren Inhalten.

Nicht gelöst ist alles andere. Die Frage „Wer darf was sehen?“ aus dem Beitrag zu Firmendaten im Chatbot stellt sich unverändert: Ein Modell im eigenen Haus, das auf das ganze Laufwerk zugreift, gibt Gehaltslisten genauso bereitwillig aus wie ein externer Dienst. Auch die Kennzeichnungs- und Schulungspflichten aus der KI-Verordnung entfallen nicht. Und die Beschäftigten nutzen weiter ihr privates Konto, wenn das eigene Modell langsamer oder schlechter ist – offene Modelle liegen bei anspruchsvollen Aufgaben noch immer hinter den großen Diensten.

Die drei Fälle, in denen es sich lohnt

  1. Echte Geheimhaltungspflicht. Mandanten-, Patienten- oder Verteidigungsdaten, bei denen eine Weitergabe an Dritte grundsätzlich ausscheidet – unabhängig vom Vertrag.
  2. Große, gleichförmige Massenverarbeitung. Zehntausende Dokumente klassifizieren oder anonymisieren. Hier wird die gemietete Rechenleistung teuer, die eigene Karte läuft nachts durch.
  3. Vorhandene Kapazität. Wer ohnehin virtualisiert und eine passende Grafikkarte frei hat, senkt die Einstiegshürde erheblich.

Der Mittelweg

Für alle anderen: Geschäftskundentarif mit EU-Verarbeitung, Vertrag nach Art. 28 DSGVO und Trainingsausschluss, dazu die Regeln aus dem Beitrag zu sensiblen Daten. Das deckt den Wunsch hinter „die Daten sollen im Haus bleiben“ zu großen Teilen ab, ohne dass ein Server angeschafft wird, der in drei Jahren ersetzt werden will.

Checkliste

  1. Aufschreiben, welche Daten konkret nicht nach außen dürfen – und warum
  2. Prüfen, ob ein Geschäftskundentarif mit EU-Verarbeitung diese Anforderung bereits erfüllt
  3. Anzahl gleichzeitiger Nutzer und benötigte Antwortzeit abschätzen
  4. Gesamtkosten über drei Jahre rechnen: Hardware, Strom, Pflege, Ersatz
  5. Berechtigungen klären – die Frage bleibt, egal wo das Modell läuft
  6. Mit einem offenen Modell in einer gemieteten Instanz testen, bevor Hardware gekauft wird

Der letzte Punkt erspart die teuerste Überraschung: Wer erst mietet, merkt innerhalb weniger Tage, ob das offene Modell für die eigenen Aufgaben gut genug ist – und kauft die Karte erst dann.