Generative AI ist für viele Organisationen interessant – gleichzeitig dürfen vertrauliche Dokumente, Fachverfahren und interne Wissensbestände nicht unkontrolliert an öffentliche KI-Dienste übertragen werden. Private AI und Retrieval-Augmented Generation (RAG) bieten dafür einen anderen Ansatz.

Was bedeutet Private AI?

Bei einer Private-AI-Architektur laufen Modelle und AI-Workloads in einer kontrollierten Infrastruktur. Je nach Schutzbedarf kann dies vollständig im eigenen Rechenzentrum und ohne direkten Internetzugang erfolgen. GPU- oder vGPU-Ressourcen, Storage, Netzwerk, Identitäten, Logging, Backup und Lifecycle werden dabei als Teil der Plattform geplant.

Was macht RAG?

RAG verbindet ein Sprachmodell mit freigegebenen eigenen Wissensquellen. Dokumente werden aufbereitet, indexiert und bei einer Anfrage gezielt als Kontext bereitgestellt. Dadurch kann ein Modell Antworten auf interne Inhalte stützen, ohne den gesamten Datenbestand in einen öffentlichen KI-Service übertragen zu müssen.

Besonders relevant für Behörden und Gemeinden

Für öffentliche Verwaltungen und regulierte Organisationen stehen Datenklassifizierung, Nachvollziehbarkeit, Rollenmodelle und kontrollierte Betriebsprozesse im Vordergrund. virtiQ konzipiert On-Premises-Plattformen mit diesen Anforderungen als Ausgangspunkt – inklusive der Möglichkeit abgeschotteter Betriebsmodelle.

VMware Cloud Foundation 9 unterstützt AI-Workloads und stellt mit seinen Private-AI-Funktionen eine Grundlage für GPU-basierte, kontrolliert betriebene AI-Services bereit.

Quelle: VMware by Broadcom, Private Cloud und AI mit VCF 9.