Was ist ein KI-Computer im Unternehmenskontext?

Immer mehr Unternehmen beschäftigen sich mit der Frage, ob sie KI-Werkzeuge nicht lieber selbst betreiben sollten, statt sie über externe Dienste zu nutzen. Dabei taucht schnell ein Begriff auf: KI-Computer oder KI-Server. Was dahinter steckt, warum er sich von normaler IT-Infrastruktur grundlegend unterscheidet, und wann eine solche Anlage für ein Unternehmen Sinn ergibt, erklärt dieser Artikel.

Was ist ein KI-Computer überhaupt?

Ein KI-Computer ist kein Gaming-PC mit besonders schneller Grafikkarte, und er ist auch kein normaler Server, wie ihn Unternehmen seit Jahrzehnten für Datenbanken oder Unternehmensanwendungen einsetzen. Er ist eine speziell konfigurierte Hardware-Anlage, deren Kernaufgabe es ist, KI-Modelle zuverlässig und schnell auszuführen.

Was ihn von normaler IT unterscheidet, sind vor allem vier Merkmale: Eine oder mehrere Hochleistungs-Grafikkarten (GPUs) mit sehr großem eigenem Speicher, eine stabile und leistungsfähige Netzwerkanbindung, schnelle Festplatten für den raschen Datenaustausch, und eine Auslegung für den Dauerbetrieb rund um die Uhr. Er ist gebaut, um rechenzeitintensive Aufgaben nicht gelegentlich, sondern kontinuierlich zu bewältigen.

Warum GPUs und nicht einfach schnellere CPUs?

Diese Frage ist berechtigt, weil CPUs, also die “normalen” Prozessoren, in jedem Computer stecken und schon sehr leistungsfähig sind.

Der Unterschied liegt in der Arbeitsweise. Eine CPU ist darauf ausgelegt, nacheinander viele unterschiedliche Aufgaben zu erledigen, schnell und flexibel. Sie hat dafür einige wenige, aber sehr leistungsfähige Rechenkerne. Eine GPU hingegen hat Tausende kleinerer Kerne, die darauf ausgelegt sind, dieselbe Operation gleichzeitig auf sehr vielen Datenpunkten auszuführen.

Eine Analogie: Stellen Sie sich vor, Sie müssen 10.000 einfache Rechenaufgaben lösen. Eine CPU ist wie ein brillanter Mathematiker, der nacheinander jede Aufgabe löst. Eine GPU ist wie ein Raum mit Tausenden einfacherer Helfer, die alle gleichzeitig an einer Aufgabe arbeiten. KI-Modelle bestehen aus Milliarden einfacher mathematischer Operationen, die sich ideal parallelisieren lassen. Genau dafür sind GPUs gebaut.

Was ist VRAM, und warum ist er entscheidend?

VRAM ist der Arbeitsspeicher, der sich direkt auf der Grafikkarte befindet. Er ist der wichtigste Engpass beim Betrieb von KI-Modellen.

Stellen Sie sich einen Handwerker vor, der an einem Werktisch arbeitet. Nur was auf dem Tisch liegt, kann er direkt bearbeiten. Alles andere muss er erst aus dem Lager holen, was Zeit kostet. Der VRAM ist dieser Werktisch. Ein KI-Modell muss vollständig auf dem VRAM liegen, damit es arbeiten kann. Ist das Modell zu groß für den verfügbaren VRAM, lässt es sich gar nicht erst starten, oder es wird so langsam, dass es für den praktischen Einsatz unbrauchbar wird.

Was bedeutet das konkret? Kleine, kompakte Sprachmodelle benötigen etwa 8 bis 16 GB VRAM. Mittelgroße Modelle, die in vielen professionellen Kontexten gute Ergebnisse liefern, brauchen 40 bis 70 GB. Sehr große Modelle mit besonders hoher Qualität können 140 GB und mehr erfordern. Mehr VRAM bedeutet direkt, dass leistungsfähigere Modelle betrieben werden können. Das ist keine technische Nebensächlichkeit, sondern bestimmt wesentlich, was ein System leisten kann.

Was ist ein KI-Modell?

Bevor Sie entscheiden können, ob und welche Hardware Sie benötigen, hilft es zu verstehen, womit diese Hardware eigentlich arbeitet.

Ein KI-Modell ist eine Datei (oder eine Sammlung von Dateien), die das Ergebnis eines langen Lernprozesses speichert. Während des Trainings hat ein Modell Milliarden von Textbeispielen, Bildern oder anderen Daten gesehen und dabei mathematische Muster erlernt. Diese Muster sind als Zahlenwerte gespeichert, die Fachleute “Gewichte” oder “Parameter” nennen.

Wenn Sie heute mit einem Sprachmodell sprechen, passiert folgendes: Ihre Eingabe wird in Zahlen umgewandelt, diese Zahlen durchlaufen das Modell (das heißt, sie werden mit Milliarden gespeicherter Gewichte verrechnet), und das Ergebnis ist eine Ausgabe, zum Beispiel ein Text. Das Modell “weiß” in diesem Moment nichts Neues, es wendet nur an, was es im Training gelernt hat.

Das hat eine praktische Konsequenz für Unternehmen: Sie müssen kein eigenes Modell trainieren. Sie können fertige, öffentlich verfügbare Modelle nutzen und diese auf Ihrer eigenen Hardware betreiben.

Inferenz und Training: Was Unternehmen meistens benötigen

Im Zusammenhang mit KI begegnen Ihnen zwei Begriffe: Training und Inferenz.

Training bezeichnet den Prozess, in dem ein Modell aus Daten lernt. Das erfordert extrem viel Rechenzeit, sehr viel Daten und entsprechend leistungsstarke Hardware. Das Training eines großen Sprachmodells kann Wochen dauern und Millionen von Euro kosten, selbst wenn man auf vorhandenen Modellen aufbaut.

Inferenz hingegen bezeichnet den normalen Betrieb: Sie stellen dem fertig trainierten Modell eine Frage, und es antwortet. Das ist deutlich weniger rechenintensiv als das Training, aber es muss schnell und zuverlässig funktionieren, und das Modell muss vollständig in den VRAM passen.

Für die allermeisten Unternehmen ist Inferenz das eigentliche Ziel. Sie wollen KI-Modelle nutzen, nicht entwickeln. Ein KI-Computer für den Unternehmenseinsatz ist deshalb vor allem ein Inferenz-System, also eine Anlage, die fertige Modelle schnell und stabil ausführt.

On-Premise oder Cloud?

Das ist oft die erste strategische Frage, wenn ein Unternehmen KI ernsthaft einsetzen möchte.

Cloud-Dienste (Angebote von Google, Microsoft, OpenAI und anderen) sind schnell startbereit und erfordern keine eigene Hardware. Der Nachteil: Sensible Daten, also Kundendaten, Verträge, interne Dokumente, verlassen das Unternehmen und werden auf fremden Servern verarbeitet. Das ist für viele Branchen rechtlich problematisch oder schlicht nicht akzeptabel. Dazu kommen variable Kosten, die bei intensiver Nutzung schnell erheblich werden.

On-Premise bedeutet, dass die Hardware im eigenen Rechenzentrum oder Serverraum steht. Daten bleiben im Haus. Kosten sind planbar. Die Anlage steht zur Verfügung, wann immer sie gebraucht wird, unabhängig von externen Anbietern oder Internetverbindungen.

Die Wahl hängt vom konkreten Anwendungsfall ab. Wer mit öffentlich verfügbaren Informationen arbeitet und keine sensiblen Daten einspeist, kann Cloud-Dienste sinnvoll nutzen. Wer regelmäßig mit vertraulichen Dokumenten, Personaldaten oder Betriebsgeheimnissen arbeiten möchte, kommt um eine eigene Anlage häufig nicht herum.

Typische Komponenten eines KI-Computers

Damit ein KI-Computer zuverlässig und leistungsfähig arbeitet, müssen mehrere Komponenten aufeinander abgestimmt sein.

Die Grafikkarten (GPUs) sind das Herzstück. Sie übernehmen die eigentliche KI-Berechnung. Entscheidend sind die Anzahl der GPUs, die Rechenleistung jeder einzelnen Karte und vor allem der VRAM. Professionelle GPUs für den Serverbetrieb unterscheiden sich von Consumer-Grafikkarten unter anderem durch ECC-Speicher (der Übertragungsfehler automatisch korrigiert) und eine für Dauerbetrieb ausgelegte Kühlung.

Der Hauptprozessor (CPU) organisiert den Datenfluss, steuert das Betriebssystem und übernimmt alles, was sich nicht gut auf die GPU auslagern lässt. Im KI-Kontext braucht er viele Kerne, um Anfragen gleichzeitig vorzubereiten.

Der Arbeitsspeicher (RAM) des Systems ist vom VRAM zu unterscheiden. Er speichert Betriebssystem, laufende Prozesse und die Daten, die gerade zwischen CPU und GPU bewegt werden. Für KI-Server sind 128 GB oder mehr üblich, häufig als ECC-RAM für Fehlersicherheit.

Schnelle Datenspeicher (NVMe SSDs) sind wichtig, damit Modelle zügig in den VRAM geladen werden können und Eingabedaten nicht auf die Berechnung warten müssen. Ein RAID-Verbund aus mehreren SSDs erhöht zusätzlich die Ausfallsicherheit.

Das Gehäuse und die Kühlung werden oft unterschätzt. GPUs erzeugen erhebliche Wärme. Professionelle Anlagen kommen in standardisierten Rack-Gehäusen, die sich in bestehende Serverräume integrieren lassen und über ausgelegte Kühlsysteme verfügen.

Wer braucht einen KI-Computer?

Nicht jedes Unternehmen benötigt sofort eine eigene Anlage. Aber es gibt klare Indikatoren, wann es sinnvoll wird.

Datenschutz ist ein häufiger Auslöser. Wenn Sie KI-Werkzeuge nutzen wollen, aber keine Daten an externe Dienste übermitteln dürfen (weil Kunden, Regulierung oder interne Richtlinien das verbieten), ist eine eigene Anlage oft der einzige gangbare Weg.

Hohe Nutzungsvolumen sprechen ebenfalls dafür. Cloud-Dienste berechnen pro Anfrage. Wer täglich Tausende von Dokumenten verarbeitet, Gesprächszusammenfassungen erstellt oder automatisierte Analysen fährt, bezahlt in der Cloud schnell deutlich mehr als bei einer einmaligen Investition in eigene Hardware.

Verfügbarkeitsanforderungen spielen eine Rolle, wenn KI in kritische Prozesse integriert werden soll und externe Ausfälle oder Preisänderungen des Anbieters nicht toleriert werden können.

Compliance-Anforderungen in Branchen wie Gesundheitswesen, Finanzdienstleistungen oder öffentlicher Verwaltung lassen Cloud-Lösungen für bestimmte Datenklassen oft gar nicht erst zu.

Ein konkretes Beispiel: der BRW-B01

Um die genannten Konzepte greifbar zu machen, lohnt ein Blick auf eine konkrete Anlage.

Der BRW-B01 ist ein KI-Computer, der von Badische Rechenwerke in Baden-Baden gebaut und konfiguriert wird. Er ist für den professionellen Unternehmenseinsatz ausgelegt und auf Inferenz-Workloads optimiert.

Er ist mit vier NVIDIA RTX PRO 6000 Blackwell Grafikkarten ausgestattet, die zusammen 384 GB VRAM bereitstellen. Das bedeutet: Auch sehr große Sprachmodelle oder mehrere gleichzeitig laufende Modelle finden Platz. Als Prozessor kommt ein AMD EPYC Genoa mit 32 Kernen zum Einsatz, der genug Kapazität hat, um viele parallele Anfragen zu koordinieren. Der Systemarbeitsspeicher beträgt 192 GB DDR5 ECC, der Datenspeicher 4 TB NVMe im RAID-Verbund.

Der Preis liegt bei 75.000 € zzgl. MwSt.

Das klingt nach einer substanziellen Investition, und das ist es auch. Aber der Vergleich mit Cloud-Kosten bei intensiver Nutzung zeigt, dass sich eine solche Anlage für Unternehmen mit regelmäßigem, datenintensivem KI-Einsatz innerhalb von ein bis zwei Jahren amortisieren kann, während gleichzeitig die volle Datenkontrolle erhalten bleibt.

Empfehlung von Badische Rechenwerke

Wenn Sie überlegen, ob eine eigene KI-Anlage für Ihr Unternehmen sinnvoll ist, empfiehlt sich ein strukturiertes Vorgehen: Klären Sie zunächst, welche Daten Sie mit KI verarbeiten wollen und welche Schutzanforderungen gelten. Schätzen Sie dann das realistische Nutzungsvolumen. Vergleichen Sie die hochgerechneten Cloud-Kosten mit einer einmaligen Investition.

Badische Rechenwerke berät Unternehmen beim Einstieg in eigene KI-Infrastruktur, von der Auswahl der richtigen Konfiguration bis zur Inbetriebnahme. Alle Systeme werden in Baden-Baden gefertigt und konfiguriert.

Kontakt aufnehmen