KI-Infrastruktur

Generative KI kann heute weit mehr sein als ein öffentlicher Chatdienst. Unternehmen können eine eigene KI-Umgebung betreiben, in der Mitarbeiter mit unterschiedlichen Modellen arbeiten, interne Dokumente verarbeiten und wiederkehrende Aufgaben unterstützen lassen.

Mit Open WebUI steht dafür eine leistungsfähige, frei verfügbare Oberfläche zur Verfügung. Sie kann mit unterschiedlichen KI-Modellen verbunden werden und bietet eine gemeinsame Umgebung für Benutzer, Gespräche und weitere Funktionen.

Die entscheidende Frage ist deshalb nicht, ob Open WebUI installiert werden kann.

Die entscheidende Frage ist, wie die Umgebung dahinter aufgebaut wird und wer sie betreibt.

Wie ist eine KI-Umgebung aufgebaut?

Bei einer KI-Anwendung sind mehrere Komponenten voneinander zu unterscheiden.

Open WebUI ist die Oberfläche, mit der die Benutzer arbeiten. Hier melden sie sich an, führen Gespräche, durchsuchen ihre Chatverläufe und können – je nach Konfiguration – Dateien und Dokumente einbinden.

Chatverläufe, Benutzerinformationen und weitere Daten werden auf dem dafür vorgesehenen Server gespeichert.

Das eigentliche KI-Modell verarbeitet die übermittelten Eingaben und erzeugt daraus eine Antwort.

Vereinfacht sieht der Ablauf so aus:

Benutzer
   │
   ▼
Open WebUI
   │
   ├── auf einem eigenen Server
   │     ├── im Unternehmen
   │     └── bei einem geeigneten Hoster
   │
   ├── Chatverläufe / Dateien
   │
   ▼
KI-Rechner
   │
   ├── im Unternehmen
   └── bei einem geeigneten Hoster
   │
   ▼
Open WebUI

Server und KI-Rechner können am selben Ort stehen, aber auch an unterschiedlichen Standorten betrieben werden. Entscheidend ist, dass die technische Infrastruktur und die Datenflüsse transparent bleiben. Das Unternehmen entscheidet, welche Komponenten in den eigenen Räumlichkeiten betrieben und welche extern bereitgestellt werden. Ich berate bei der Planung, Auswahl und Umsetzung der passenden Lösung.

Open WebUI ist mehr als ein Chatfenster

Open WebUI kann vereinfacht als eine eigene ChatGPT-artige Umgebung für ein Unternehmen verstanden werden.

Open WebUI selbst ist frei verfügbar. Es gibt keine Abonnements und keine Werbung. Die Software wird auf selbst ausgewählter Infrastruktur betrieben und mit den gewünschten KI-Modellen verbunden.

Mitarbeiter können dort mit ihren Chatverläufen arbeiten, Gespräche durchsuchen, Dokumente einbinden und – abhängig von der Konfiguration – unterschiedliche KI-Modelle verwenden.

Benutzer und Zugriffsrechte lassen sich innerhalb der Umgebung verwalten. Welche Funktionen und Modelle zur Verfügung stehen, kann für die jeweilige Umgebung festgelegt werden.

Kernfunktionen im Überblick:

• Chatverläufe
• Suche in Gesprächen
• Dokumente und Dateien
• verschiedene KI-Modelle
• Benutzer und Rechte
• je nach Konfiguration weitere Funktionen, z. B. Websuche

Damit kann Open WebUI im Unternehmen eine zentrale Oberfläche für generative KI bilden.

Open WebUI selbst ausprobieren

WebConcept One betreibt eine eigene Open-WebUI-Instanz, an der Sie sich einen direkten Eindruck von der Oberfläche und den Möglichkeiten verschaffen können.

Open WebUI ausprobieren

Praktische Unterstützung durch KI

Lokale Modelle erreichen nicht grundsätzlich die Leistungsfähigkeit aktueller Frontier-Modelle.
Für die genannten Aufgaben können bereits kleinere KI-Modelle ausreichen, die sich auf vergleichsweise preiswerter Hardware betreiben lassen. Mit stärkerer Hardware können auch größere lokale Modelle eingesetzt werden, die zudem kontinuierlich weiterentwickelt werden.

Zum Beispiel:

• Entwürfe für E-Mails aus Stichpunkten
• Aufbereitung und Strukturierung von Informationen
• Zusammenfassungen längerer Texte
• Übersetzungsentwürfe
• Vorbereitung wiederkehrender Kommunikation
• Unterstützung bei der Recherche in internen Dokumenten
• Prüfung von Texten und erste Hinweise auf Unstimmigkeiten

Ein Sprachdienst kann beispielsweise ein lokales Modell verwenden, um einen ersten Übersetzungsentwurf zu erstellen. Die fachliche und sprachliche Prüfung bleibt beim Mitarbeiter.

Die KI ersetzt damit nicht die eigentliche Leistung. Sie kann einen Teil der Vorarbeit übernehmen.

Gerade bei solchen Aufgaben können lokale Modelle interessant sein, wenn die zu verarbeitenden Inhalte das Unternehmen nicht verlassen sollen.

Datenschutz beginnt mit der technischen Architektur

Die Frage nach dem Datenschutz lässt sich bei einer KI-Umgebung nicht allein mit einem Schlagwort beantworten.

Entscheidend ist, welche Daten tatsächlich verarbeitet werden und welche Systeme daran beteiligt sind.

Dazu gehören unter anderem:

• gespeicherte Chatverläufe
• Benutzerkonten
• hochgeladene Dateien und Dokumente
• Daten, die an ein KI-Modell übermittelt werden
• Protokoll- und Administrationsdaten
• Backups und deren Speicherorte

Werden lokale Modelle eingesetzt, kann die Verarbeitung innerhalb der eigenen Infrastruktur stattfinden.

Wenn eine KI-Umgebung auf einer von WebConcept One betriebenen Infrastruktur läuft, werden die entsprechenden Zuständigkeiten und Zugriffsrechte transparent festgelegt. Soweit eine Auftragsverarbeitung vorliegt, wird dies entsprechend vertraglich geregelt, beispielsweise durch einen AV-Vertrag.

Transparenz über die Infrastruktur ist die Grundlage für einen nachvollziehbaren Umgang mit den verarbeiteten Daten.

Nicht die Aussage „alles ist DSGVO-konform“ steht am Anfang, sondern die Frage:

Was genau passiert mit welchen Daten an welcher Stelle – und wer kann auf was zugreifen?

Welche Modelle und welche Rechenleistung?

Für die KI-Verarbeitung können unterschiedliche Modelle eingesetzt werden. Welche Modelle sinnvoll sind, hängt unter anderem von den Aufgaben, der gewünschten Qualität und der dafür benötigten Rechenleistung ab.

Neben leistungsfähigen proprietären Modellen großer Anbieter gibt es Open-Weight-Modelle, die – abhängig von Modell, Lizenz und benötigter Rechenleistung – auch auf eigener Hardware betrieben werden können.

Lokale Modelle erreichen nicht grundsätzlich die Leistungsfähigkeit aktueller Frontier-Modelle. Für viele praktische Aufgaben ist die maximale Leistungsfähigkeit eines Modells aber auch nicht erforderlich.

Ein kleineres Modell kann beispielsweise einen E-Mail-Entwurf aus Stichpunkten erstellen, einen Text zusammenfassen, Informationen strukturieren oder einen Übersetzungsentwurf vorbereiten.

Entscheidend ist deshalb, welches Modell für die konkrete Aufgabe ausreichend gute Ergebnisse liefert und welche Rechenleistung dafür benötigt wird.

Ich berate bei der Auswahl geeigneter Modelle, erprobe sie für die vorgesehenen Aufgaben und beurteile die dafür benötigte KI-Rechenleistung.

Die benötigte Rechenleistung kann dabei unterschiedlich bereitgestellt werden. Sie kann von WebConcept One zur Verfügung gestellt oder innerhalb des Unternehmens aufgebaut werden.

Wenn eine eigene KI-Infrastruktur im Unternehmen sinnvoll ist, unterstütze ich bei Auswahl, Dimensionierung und Aufbau des KI-Rechners.

Modelle können getestet und miteinander verglichen werden. Neue Modelle können später ergänzt oder bestehende Modelle ersetzt werden.

Die Modellwahl ist damit keine einmalige Entscheidung, die die gesamte Umgebung festlegt.

Wie sich das Angebot darstellt

Der konkrete Umfang der Leistungen richtet sich nach der gewünschten Architektur und den Anforderungen des Unternehmens.

Möglich sind unter anderem:

• Planung der technischen Architektur
• Installation und Konfiguration von Open WebUI
• Auswahl und Erprobung geeigneter KI-Modelle
• Einrichtung von Benutzern und Zugriffsrechten
• Konfiguration von Speicher und Datenhaltung
• Einrichtung eines KI-Rechners
• Anbindung und Konfiguration der KI-Rechenleistung
• Konfiguration von Backups
• Dokumentation der Umgebung
• Einweisung von Mitarbeitern und Administratoren
• Unterstützung bei der späteren Administration

Welche Komponenten selbst betrieben werden und welche Aufgaben übernommen werden sollen, kann individuell festgelegt werden.

Selbst betreiben oder betreuen lassen

Eine eigene KI-Infrastruktur muss nicht dauerhaft durch einen externen Dienstleister betrieben werden.

Nach der technischen Einrichtung wird dokumentiert, wie die Umgebung aufgebaut ist und welche Aufgaben im laufenden Betrieb anfallen.

Dazu gehören beispielsweise:

• Aktualisierung von Open WebUI
• Betriebssystem- und Sicherheitsupdates
• Kontrolle des verfügbaren Speicherplatzes
• Benutzer- und Rechteverwaltung
• Backups und Wiederherstellung
• Aktualisierung und Austausch von KI-Modellen
• Wartung und Erweiterung der KI-Hardware

Die notwendige Administration kann anschließend selbst übernommen oder bei Bedarf unterstützt werden.

Die Leistung endet also nicht zwangsläufig mit der Installation. Sie kann ebenso in Planung, Schulung, Dokumentation und Übergabe einer vollständig verstandenen Umgebung bestehen.

Individuelle KI-Umgebung, die sich an konkreten Anforderungen orientiert

Welche Infrastruktur sinnvoll ist, hängt von den Anforderungen des Unternehmens ab. Ich berate Sie bei der Planung, kläre die technischen Voraussetzungen und setze die gewählte Umgebung gemeinsam mit Ihnen um.

Wenn eine KI-Infrastruktur im Unternehmen betrieben werden soll, können vorhandene Systeme einbezogen oder Server und KI-Hardware passend zu den Anforderungen aufgebaut und eingerichtet werden. Ebenso kann die benötigte Infrastruktur extern bereitgestellt werden.

Auch nach der Einrichtung bleibt die Lösung erweiterbar. Modelle, Rechenleistung und weitere Komponenten können angepasst werden, wenn sich die Anforderungen ändern.

Sie möchten wissen, wie eine solche KI-Umgebung in Ihrem Unternehmen aussehen könnte? In einem unverbindlichen Erstgespräch klären wir die Anforderungen und die möglichen Wege der Umsetzung.