KI, die das Haus nicht verlässt.
„Wir dürfen unsere Daten da nicht hochladen" ist der häufigste Grund, warum in Betrieben nichts passiert. Er ist berechtigt — und lösbar. Sprachmodelle lassen sich auf eigener Hardware betreiben. Das ist kein Forschungsprojekt mehr, hat aber einen Preis, über den selten jemand spricht.
Drei Gründe, es selbst zu betreiben.
Personalakten, Kalkulationen, Patientendaten, Konstruktionszeichnungen — es gibt Unterlagen, die kein Unternehmen an einen fremden Dienst gibt, und das ist keine Übervorsicht.
Ein Modell, das lokal läuft, wird nicht abgekündigt, nicht teurer und nicht über Nacht in seinem Verhalten geändert. Was heute funktioniert, funktioniert nächstes Jahr genauso.
Cloud-Modelle werden pro Anfrage bezahlt. Wenn die Nutzung steigt, steigt die Rechnung. Eigene Hardware kostet einmal und dann Strom — bei hoher Nutzung kippt die Rechnung irgendwann.
Was das an Hardware braucht.
Die entscheidende Größe ist nicht der Prozessor, sondern der Speicher auf der Grafikkarte. Das Modell muss vollständig hineinpassen, sonst wird es zäh. Daraus ergeben sich grob drei Klassen.
Eine Workstation mit einer Grafikkarte
Reicht für kleinere Modelle und einen bis wenige gleichzeitige Nutzer. Gut für Textarbeit, Zusammenfassungen, Übersetzungen und die Suche im eigenen Dokumentenbestand. Steht im Büro, braucht keinen Serverraum.
Ein Server mit einer oder mehreren Karten
Trägt größere Modelle und mehrere Nutzer gleichzeitig. Gehört in einen Raum mit Kühlung und unterbrechungsfreier Stromversorgung — und braucht jemanden, der ihn betreut. Das ist der Punkt, an dem aus Technik Betriebsverantwortung wird.
Dedizierte Hardware, gemietet, in Europa
Der Mittelweg: eigene Maschine, aber Strom, Kühlung und Anbindung übernimmt das Rechenzentrum. Die Daten liegen weiterhin nur auf Ihrer Hardware, nicht bei einem KI-Anbieter. Für die meisten Betriebe das beste Verhältnis aus Kontrolle und Aufwand.
Was darauf läuft
Offene Modelle — die bekannten Familien wie Llama, Mistral oder Qwen — laufen über eine Server-Software, die sie im Netz bereitstellt, dazu eine Oberfläche für die Mitarbeiter und die Anbindung an Ihre Systeme. Alles quelloffen, alles ohne Lizenzgebühr.
Aus eigener Erfahrung: Ich betreibe selbst Server mit Grafikkarten, auf denen Sprachmodelle laufen — seit Jahren und im täglichen Einsatz. Ich empfehle nichts, was ich nicht selbst betreibe. Was Wartung, Verfügbarkeit und Betreuung im Alltag wirklich kosten, kann ich Ihnen deshalb aus der Praxis sagen und nicht aus dem Datenblatt.
Wo lokale Modelle zurückstecken.
Wer Ihnen sagt, ein lokales Modell sei genauso gut wie die großen Dienste, hat entweder keine verglichen oder verkauft Ihnen Hardware. Der Unterschied ist real — er ist nur nicht überall entscheidend.
Dafür reicht lokal gut aus
- Suchen und Antworten im eigenen Dokumentenbestand
- Zusammenfassen, Umformulieren, Übersetzen
- Daten aus Belegen und Formularen herauslesen
- Sortieren und Einordnen — Posteingang, Tickets, Anfragen
- Alles, was regelmäßig und in großer Zahl anfällt
Dafür sind die großen Dienste besser
- Lange, verschachtelte Aufgaben mit vielen Zwischenschritten
- Anspruchsvolles Programmieren
- Fragen, die breites Weltwissen brauchen
- Alles, wo es auf die letzten Prozent Qualität ankommt
- Ausprobieren, bevor investiert wird — dafür ist die Cloud die günstigere Teststrecke
In der Praxis meistens beides: Unkritisches läuft über einen europäischen Cloud-Dienst, Vertrauliches über das Modell im eigenen Haus. Welche Daten in welche Kategorie fallen, ist keine technische, sondern eine betriebliche Entscheidung — und genau die gehört an den Anfang, nicht ans Ende.
Was wäre bei Ihnen nötig?
Das hängt davon ab, wie viele Leute damit arbeiten sollen und wie vertraulich die Unterlagen sind. Im kostenlosen Vorgespräch lässt sich das grob einordnen, bevor irgendetwas angeschafft wird.