Use Case: GenAI Transformation zu Open Web UI
–
Schluss mit dem Schatten-Chatten: Ihr sicheres Firmen-GPT

Use Case: Open Web UI – das sichere Firmen-GPT – beliebig viele Nutzer, LLMs bei geringen Kosten

Die Ausgangslage: GenAI JA, aber bitte ohne unkontrolliertem Abfluss sensibler Daten – gerade wer persönliche Daten verarbeiten möchte

Interne Prüfungen zeigten, dass fast 60% der Mitarbeiter private OpenAI-Accounts nutzten, um Texte zu generieren, Codes zu debuggen oder Ideen zu testen – ein alarmierendes Ausmaß an Schatten-AI. Festgestellt werden konnte dies über die gezielte Suche nach Aufrufen von ChatGPT über Firmen eigene PCs und Mobiltelefone. Dabei liegt die Dunkelziffer noch höher, denn Mitarbeitende nutzen auch private Handys, Tablets und Computer um schnell mal eine E-Mail zu beantworten ohne dabei vom Arbeitgeber erwischt zu werden.

Das Problem: Auf diesem Weg können sensible Firmendaten und geistiges Eigentum unbeabsichtigt an externe, nicht DSGVO-konforme Server übertragen werden. Das Unternehmen benötigte dringend eine sichere, aber leistungsstarke Alternative.

Die GO!-Lösung: On-Premise-Hosting und Open Source LLMs – günstig und leistungsstark

Das GO! Institut implementierte schon mehrfach Open Web UI – die Open-Source-Plattform für ein eigenes, sicheres Firmen-GPT . Die Lösung wurde auch auf kundeneigenen Servern installiert (On-Premise). Dies garantierte, dass die gesamte Kommunikation und alle verarbeiteten Daten die Unternehmensgrenzen niemals verlassen. Aber auch gehostete Varianten werden angeboten um die Vorteile der tokengenauen Abrechnung zu nutzen bei gleichzeitiger Verfügbarkeit mehrere LLMs. Die Kostenfalle der „Nutzerbasierten“ Abrechnung von Google, Microsoft, Mistral, OpenAI & Co. wird somit ausgehebelt. Die Nutzung von GenAI für die gesamte Belegschaft und sogar Familien ist dadurch für die Unternehmen nicht nur sicherer, sondern auch noch günstiger.

Um die Leistungsfähigkeit zu sichern und gleichzeitig die Datenhoheit zu gewährleisten, setzten wir sowohl auf leistungsstarke Open Source LLMs (z.B. Mistral oder Llama), die für interne Zwecke auch feinjustiert werden. Aber auch die Modelle von OpenAI sind über gesicherte Instanzen Datenschutzkonform nutzbar. Die größte technische Herausforderung, nämlich die Bereitstellung einer User Experience, die der von ChatGPT in nichts nachsteht, wurde durch ein intuitives Design der Open Web UI gelöst. In Schulungen erfahren dabei die Nutzer wie sie bestehende Chats aus anderen Systemen importieren lassen und welche Vorteile die UX von Open Web UI den Nutzern bringt.

Die Ergebnisse: 98% Nutzung der sicheren Umgebung

Der Erfolg der Implementierung zeigt sich in der sofortigen Akzeptanz durch die Mitarbeiter:
Sicherheitsverlagerung: 98% der internen KI-Nutzung findet nun über die sichere Firmenlösung statt. Die Nutzung privater Accounts konnte fast vollständig eliminiert werden.
Datensouveränität: Das Unternehmen gewährleistet nun 100% Datensouveränität und Compliance, da alle Daten im eigenen Rechenzentrum verbleiben.
Kosteneffizienz: Durch die Nutzung von Open Source Modellen konnten die laufenden Kosten für API-Nutzung im Vergleich zu proprietären Cloud-Diensten optimiert werden.

Die Open Web UI, implementiert durch das GO! Institut, ist die Lösung für Unternehmen, die Innovation ohne Kompromisse bei der Sicherheit suchen. Wir beraten bei der eigenständigen Umsetzung oder Implementieren ein FirmenGPT inkl. Schulungen als externes Team in wenigen Wochen.