Öffentliche Verwaltung · 100-500 Mitarbeitende
KI-Rechenstation für Behörden: Digitale Souveränität mit der BRW-B01
Wie öffentliche Verwaltungen mit der BRW-B01 KI-Rechenstation KI-Anwendungen on-premise betreiben, Bürgerdaten auf deutschem Boden halten und OZG-konforme Prozesse automatisieren.
Künstliche Intelligenz ist in der öffentlichen Verwaltung angekommen. Bund, Länder und Kommunen stehen unter Druck: Das Onlinezugangsgesetz fordert digitale Verwaltungsleistungen, der Fachkräftemangel im öffentlichen Dienst verschärft sich, und die Erwartungen der Bürger an schnelle, präzise Antworten steigen. Gleichzeitig ist klar, dass Bürgerdaten nicht in amerikanische Rechenzentren gehören.
Der Ausweg liegt auf der Hand, wird aber selten konsequent beschritten: KI-Infrastruktur, die die Behörde selbst betreibt, auf eigenem Boden, unter eigener Kontrolle.
Warum Cloud-KI für Behörden keine Option ist
US-amerikanische Cloud-Dienste wie Microsoft Azure OpenAI, AWS Bedrock oder Google Vertex AI sind technisch beeindruckend. Juristisch und sicherheitspolitisch sind sie für viele Anwendungsfälle der öffentlichen Verwaltung schlicht ungeeignet.
Der CLOUD Act verpflichtet US-Unternehmen, amerikanischen Behörden auf Anfrage Zugang zu gespeicherten Daten zu gewähren, unabhängig vom Speicherort. Eine EU-Niederlassung eines US-Konzerns ändert daran nichts. Wer also Sachakten, Sozialleistungsanträge oder Einwohnermeldedaten durch ein US-Modell verarbeitet, bewegt sich in einem rechtlichen Graubereich, den kein IT-Sicherheitsbeauftragter verantworten möchte.
Das BSI formuliert es im IT-Grundschutz klar: Daten mit hohem Schutzbedarf sind grundsätzlich in vertrauenswürdigen Umgebungen zu verarbeiten. Für personenbezogene Verwaltungsdaten bedeutet das in der Praxis: on-premise oder zertifizierte deutsche Rechenzentren.
Hinzu kommt das strategische Argument. Wer einmal KI-gestützte Prozesse auf einem bestimmten Cloud-Anbieter aufgebaut hat, ist abhängig. Preiserhöhungen, API-Änderungen, Kündigungen von Verträgen: Die Verwaltung hat keinen Hebel mehr. Digitale Souveränität ist kein Modebegriff, sondern eine operationelle Notwendigkeit.
Die BRW-B01: Leistung, die in den Serverraum passt
Die BRW-B01 ist eine KI-Rechenstation aus Baden-Baden, konzipiert für anspruchsvolle KI-Workloads in sicherheitskritischen Umgebungen. Sie nimmt fünf Höheneinheiten im Rack ein und stellt Rechenleistung bereit, die bis vor wenigen Jahren Rechenzentren im Hyperscaler-Maßstab vorbehalten war.
Im Kern arbeiten vier NVIDIA RTX PRO 6000 Blackwell GPUs. Zusammen stellen sie 384 GB GDDR7-VRAM bereit. Das ist der entscheidende Parameter für Sprachmodelle: Ein Modell mit 70 Milliarden Parametern benötigt bei 4-Bit-Quantisierung rund 35 GB VRAM. Auf der BRW-B01 lassen sich solche Modelle vollständig im VRAM halten, Inferenz erfolgt ohne Auslagerung auf Systemspeicher, die Latenz bleibt gering.
Der Prozessor ist ein AMD EPYC Genoa mit 32 Kernen. Dazu kommen 192 GB DDR5-ECC-RAM: ECC ist in Verwaltungsumgebungen kein Nice-to-have, sondern Pflicht, weil Speicherfehler unter dieser Klasse von Workloads auftreten können und dort nicht tolerierbar sind. Das Speichersystem aus 4 TB NVMe-RAID und einer 1-TB-Boot-SSD erreicht Lesebandbreiten von 59,3 GB/s, was das Laden großer Dokumentenkorpora für RAG-Anwendungen erheblich beschleunigt.
Als Betriebssystem läuft Ubuntu 24.04 LTS. Diese Version erhält bis April 2029 reguläre Sicherheitsupdates und bis 2036 erweiterten Support. Ubuntu ist die meistgenutzte Linux-Distribution in Unternehmens- und Behördenumgebungen und wird vom BSI für sicherheitskritische Serverinstallationen als geeignet eingestuft. IPMI-Fernverwaltung ermöglicht Administration ohne physischen Zugang zum Gerät.
Haushaltsplanung: CapEx statt OpEx
Hier liegt ein Punkt, den IT-Leitungen und Kämmereien zu selten diskutieren. Cloud-KI ist OpEx. Ein Abonnement für GPT-4o oder Copilot für Government kostet monatlich, jährlich, fortlaufend. Es taucht im Haushalt als Betriebsausgabe auf, muss jährlich neu bewilligt werden und bindet laufend Mittel, die dann für andere Projekte fehlen.
Die BRW-B01 kostet 75.000 € zzgl. MwSt. als Einmalinvestition. Sie wird im Anlagevermögen aktiviert und über fünf Jahre linear abgeschrieben. Im Haushaltsjahr der Anschaffung erscheint die Abschreibung, nicht der volle Kaufpreis. Das ist für viele Kämmereien und Haushaltsstellen handhabbar, weil Investitionsmittel für IT-Infrastruktur in den meisten Körperschaften eigenständig geplant werden.
Ein Cloud-Modell bei vergleichbarer Nutzung (Anfragen von 200 bis 300 Sachbearbeitern, große Dokumente, RAG-Abfragen) kommt schnell auf 25.000 bis 40.000 Euro jährlich. Nach drei Jahren hat die BRW-B01 sich gerechnet, und die Behörde ist nicht von Preiserhöhungen eines Anbieters abhängig.
Vergaberecht: Wie die Beschaffung funktioniert
Öffentliche Beschaffungen über bestimmten Schwellenwerten unterliegen europäischem Vergaberecht (VgV, GWB). Der aktuelle EU-Schwellenwert für Liefer- und Dienstleistungen öffentlicher Auftraggeber liegt bei 221.000 Euro netto. Die BRW-B01 liegt mit 75.000 Euro deutlich darunter.
Das bedeutet: Die Beschaffung kann im Rahmen nationaler Unterschwellenvergabe abgewickelt werden. Je nach Bundesland und Haushaltsgrundsätzen kann das eine beschränkte Ausschreibung mit mindestens drei Angeboten bedeuten, in einigen Fällen auch eine freihändige Vergabe. Die konkreten Schwellenwerte variieren je nach Bundesland und sollten mit der zuständigen Vergabestelle abgestimmt werden.
Ein weiterer Vorteil: Hardware ist ein klar definierter Liefergegenstand mit nachprüfbaren technischen Spezifikationen. Das Leistungsverzeichnis ist präzise zu formulieren: Anzahl GPUs, VRAM, Prozessorkerne, Speicherkonfiguration, Betriebssystem. Im Vergleich zu komplexen Softwaredienstleistungen oder Cloud-Rahmenverträgen ist die Beschaffung überschaubar.
Bürgeranfragen klassifizieren und weiterleiten
Viele Behörden erhalten täglich hunderte Anfragen per E-Mail, Online-Formular oder Post. Sachbearbeiter verbringen erhebliche Zeit damit, zu verstehen, welche Abteilung zuständig ist. Ein KI-Modell auf der BRW-B01 kann eingehende Texte analysieren, einer Kategorie (Baugenehmigung, Melderegister, Sozialleistungen, Führerscheinangelegenheiten) zuordnen und automatisch zur richtigen Stelle routen. Das Modell läuft lokal, die Nachrichtentexte verlassen das behördeneigene Netz nicht.
Dokumentenzusammenfassung für Sachbearbeiter
Akten können umfangreich sein. Widerspruchsverfahren, Sozialleistungsanträge, Baugenehmigungsunterlagen: Oft sind es Dutzende Seiten, bevor ein Sachbearbeiter zur eigentlichen Entscheidung kommt. Ein lokal laufendes Sprachmodell kann eine strukturierte Zusammenfassung in Sekunden liefern: Antragsteller, Kernpunkte, relevante Vorgeschichte, offene Fragen. Die Entscheidung trifft nach wie vor der Mensch, aber informierter und schneller.
Interne Wissensbasis mit RAG
Verwaltungsvorschriften, Dienstanweisungen, Gesetze, Rundschreiben: Jede Behörde produziert und verwaltet eine erhebliche Menge interner Dokumente. Mit einer RAG-Architektur (Retrieval-Augmented Generation) werden diese Dokumente vektorisiert und in einer lokalen Datenbank indexiert. Sachbearbeiter stellen Fragen in natürlicher Sprache, das System sucht die relevanten Textstellen und formuliert eine Antwort auf Basis der tatsächlichen Vorschriften.
Das ist kein Ersatz für Rechtssicherheit, aber eine erhebliche Beschleunigung der Recherche. Und weil das Modell die Quelle jeder Aussage angeben kann, ist Nachvollziehbarkeit gewährleistet.
Mehrsprachige Bürgerkommunikation
In Landkreisen mit hohem Migrationsanteil ist Sprachbarriere ein reales operationelles Problem. Ein lokal laufendes Modell kann Standardbriefe oder Formulartexte in Echtzeit übersetzen, ohne dass Dokumente zu einem externen Dienst übermittelt werden müssen. DeepL, Google Translate und ähnliche Dienste sind für behördliche Dokumente mit Personenbezug problematisch. Eine lokale Lösung ist es nicht.
Anonymisierung und Pseudonymisierung
Für Forschungskooperationen, Statistikauswertungen oder die Weitergabe von Daten an andere Stellen müssen Dokumente häufig anonymisiert werden. Aktuelle Sprachmodelle erkennen Personennamen, Adressen, Geburtsdaten und andere identifizierende Merkmale zuverlässig und können diese automatisch schwärzen oder ersetzen. Dieser Prozess läuft vollständig lokal, Originaldaten verlassen das System nicht.
BSI-Konformität und IT-Grundschutz
Der IT-Grundschutz des BSI definiert Anforderungen für den Betrieb von IT-Systemen in Bundesbehörden und wird von vielen Länder- und Kommunalbehörden als Referenz übernommen. Die BRW-B01 erfüllt zentrale Voraussetzungen.
Ubuntu 24.04 LTS ist eine gut dokumentierte, aktiv gepflegte Plattform mit langem Supportzeitraum. Sicherheitsupdates sind zeitnah verfügbar. Die Plattform unterstützt gängige Härtungsmaßnahmen: AppArmor, UFW-Firewall, SSH-Schlüsselauthentifizierung, SELinux-kompatible Konfigurationen. IPMI erlaubt Remote-Management über ein separates Management-Netz, was dem IT-Grundschutz-Baustein SYS.1.1 entspricht.
Das 5U-Rackmount-Format passt in Standard-Schränke bestehender Rechenzentren. Behörden, die bereits ein Rechenzentrum oder einen gesicherten Serverraum betreiben, benötigen keine zusätzliche Infrastruktur.
Open Source: Kein Vendor Lock-in
Die Entscheidung für quelloffene Sprachmodelle ist für Behörden keine ideologische, sondern eine strategische. Llama 3 von Meta, Mistral und Mixtral sind frei verfügbar, können lokal betrieben werden, und ihre Gewichte können ohne laufende Lizenzgebühren heruntergeladen werden. Wenn ein Modell in zwei Jahren durch ein besseres ersetzt wird, tauscht die Behörde die Gewichte aus. Es gibt keine API-Abhängigkeit, keine Vertragsbindung, keine Konditionen, die ein Anbieter einseitig ändern kann.
Das ist ein grundlegender Unterschied zur Nutzung proprietärer Modelle. Microsoft kann Azure OpenAI Service-Konditionen ändern. OpenAI kann API-Zugang einschränken oder einstellen. Llama-Gewichte, einmal heruntergeladen, laufen so lange, wie die Hardware läuft.
Für eine Verwaltung, die Prozesse auf KI aufbaut, ist dieser Punkt nicht trivial. Wenn ein KI-gestütztes Routing-System ausfällt, weil ein API-Anbieter seinen Service ändert, hat das operative Konsequenzen. On-premise und open-source zusammen eliminieren diese Abhängigkeit.
Betrieb und Administration
Der Betrieb der BRW-B01 setzt keine spezialisierte KI-Expertise voraus. Wer Linux-Server administrieren kann, kann dieses System betreiben. Die übliche Software für den Betrieb von Sprachmodellen (Ollama, vLLM, llama.cpp) ist gut dokumentiert und hat aktive Communities. Modelle werden heruntergeladen und gestartet, das API-Interface ist kompatibel mit Standard-Clients.
Für Behörden, die eigene Entwickler beschäftigen, ist die Integration in bestehende Anwendungen unkompliziert: Das lokale Modell ist über eine OpenAI-kompatible API ansprechbar, sodass vorhandene Integrationen ohne Anpassung funktionieren. Wer keinen eigenen Betrieb aufbauen möchte, kann Badische Rechenwerke nach Wartungs- und Betriebsoptionen fragen.
Die acht Lüfter des Systems sind auf aktive Kühlung im Dauerbetrieb ausgelegt. Unter Last liegt die Leistungsaufnahme typisch bei 1.500 bis 2.000 Watt. Das stellt für Rechenzentren mit Standard-Stromversorgung kein Problem dar.
Empfehlung von Badische Rechenwerke
Für Behörden, die KI-gestützte Prozesse einführen wollen, ohne digitale Souveränität und Datenschutzkonformität zu gefährden, ist die BRW-B01 die direkteste Lösung. Sie ist kein Experiment und keine Nischenhardware, sondern eine Produktionsmaschine für reale Verwaltungsaufgaben.
Das Gesamtsystem ist ab 75.000 € zzgl. MwSt. erhältlich, aktivierbar als Sachanlageinvestition, abschreibbar über fünf Jahre.
Die BRW-B01 wird in Baden-Baden gefertigt. Lieferung, Inbetriebnahme und optionaler Support durch Badische Rechenwerke sind möglich.
FAQ
Dürfen Behörden Bürgerdaten für KI-Anwendungen in die Cloud schicken?
Die Datenschutz-Grundverordnung (DSGVO), das BDSG und die BSI-Empfehlungen schließen die Verarbeitung sensibler Bürgerdaten auf Servern außerhalb der EU faktisch aus, sofern keine explizite Rechtsgrundlage vorliegt. US-amerikanische Cloud-Anbieter unterliegen dem CLOUD Act, was ein zusätzliches Risiko darstellt. On-Premise-Systeme wie die BRW-B01 vermeiden dieses Problem vollständig.
Wie lässt sich eine Investition von 75.000 € haushaltsmäßig abbilden?
Als einmalige Investition ist die BRW-B01 eine Sachanschaffung (CapEx), die im Anlagevermögen aktiviert und über fünf Jahre abgeschrieben wird. Das ist in der kommunalen und staatlichen Haushaltsplanung deutlich einfacher darzustellen als jährlich wiederkehrende Cloud-Aufwände, die als Betriebsausgaben (OpEx) laufend Haushaltsmittel binden und jährlicher Bewilligung bedürfen.
Welche Vergaberegelungen gelten für die Anschaffung?
Unterhalb der EU-Schwellenwerte (aktuell 221.000 € für Liefer- und Dienstleistungen im Oberschwellenbereich) kann eine Beschaffung im Wege der nationalen Unterschwellenvergabe erfolgen. Bei 75.000 € netto ist je nach Landesregelung eine beschränkte Ausschreibung oder freihändige Vergabe mit Preisanfragen bei mehreren Bietern zulässig.
Welche KI-Modelle kann die BRW-B01 in der Verwaltung betreiben?
Die BRW-B01 ist für quelloffene Sprachmodelle ausgelegt: Llama 3 (Meta), Mistral, Mixtral und vergleichbare Modelle laufen lokal ohne API-Abhängigkeit. Mit 384 GB GDDR7-VRAM über vier GPUs lassen sich Modelle mit 70 Milliarden Parametern und mehr vollständig im VRAM halten. Es besteht keine Abhängigkeit von OpenAI, Microsoft Azure oder Google Cloud.
Wie wird die BRW-B01 in die bestehende IT-Infrastruktur einer Behörde integriert?
Das System ist als 5U-Rackmount ausgelegt und passt in Standard-Rechenzentrumsschränke. Als Betriebssystem läuft Ubuntu 24.04 LTS. IPMI ermöglicht Fernverwaltung, sodass das System ohne lokalen Zugriff administriert werden kann. Die Integration in vorhandene Netzwerke, Active Directory oder LDAP ist über Standardschnittstellen möglich.
Was versteht man unter RAG und wie hilft es Sachbearbeitern?
RAG steht für Retrieval-Augmented Generation. Das KI-System durchsucht eine lokale Wissensdatenbank (z. B. Verwaltungsvorschriften, Dienstanweisungen, Gesetze) und generiert auf Basis der gefundenen Dokumente präzise Antworten. Sachbearbeiter können in natürlicher Sprache fragen, ohne lange in Vorschriftensammlungen zu suchen. Die Quelle jeder Antwort ist nachvollziehbar.
Ist die BRW-B01 auch für kleinere Kommunalverwaltungen geeignet?
Ja. Für eine Kommunalverwaltung mit 100 bis 500 Mitarbeitenden ist das System ausreichend dimensioniert. Kleinere Gemeinden können eine gemeinsame Beschaffung im Rahmen interkommunaler Zusammenarbeit prüfen, was die Kosten pro teilnehmender Stelle reduziert.
Welche Wartung und Betriebskosten fallen nach der Anschaffung an?
Die laufenden Betriebskosten beschränken sich auf Strom (typisch 1.500 bis 2.000 Watt unter Last), Rack-Stellplatz und den internen Administrationsaufwand. Es gibt keine Lizenzgebühren, da quelloffene Modelle eingesetzt werden. Im Vergleich zu Cloud-Abonnements, die bei vergleichbarer Nutzung schnell 20.000 bis 40.000 € pro Jahr kosten, amortisiert sich die Investition innerhalb weniger Jahre.