Beim Aufbau eigener KI-Fabriken stellen Unternehmen häufig fest, dass der Schritt von der Beschaffung und Bereitstellung der KI-Infrastruktur bis zum Betrieb im Fabrik-Maßstab eine eigenständige und anspruchsvolle Phase ist. Die Bereitstellung von GPU-Nodes ist dabei nur der erste Schritt. Anschließend müssen Teams Orchestrierungsschichten integrieren, komplexe Operator-Abhängigkeiten sequenzieren, Netzwerk- und Ressourcenzuteilung konfigurieren sowie die gesamte Infrastruktur validieren, bevor überhaupt ein einziger Trainings- oder Inferenz-Job ausgeführt werden kann.

„Unternehmen scheitern nicht daran, GPUs zu beschaffen – sie scheitern daran, sie in den Betrieb zu überführen“, erklärt Richard Borenstein, Senior Vice President Business Development bei Mirantis. „Durch die automatisierte Bereitstellung von NVIDIA Run:ai als Teil einer Full-Stack-KI-Factory-Plattform ermöglicht es k0rdent AI Unternehmen, in einem Bruchteil der bisherigen Zeit von der Infrastruktur zur Workload-Ausführung zu gelangen – mit reproduzierbaren Ergebnissen in Produktionsqualität.“

„Unternehmen und Cloud-Anbieter suchen nach Möglichkeiten, den Weg von der Infrastruktur zur produktionsreifen KI zu beschleunigen“, sagt Omri Geller, Vice President und General Manager bei NVIDIA. „Durch die Integration von NVIDIA Run:ai mit Mirantis k0rdent AI können Kunden die Bereitstellung von KI-Factory-Umgebungen automatisieren. Dies ermöglicht eine kürzere Time-to-Value, eine verbesserte GPU-Auslastung und eine effizientere Skalierung von KI-Workloads in Multi-Tenant-Umgebungen.“

Mirantis k0rdent AI automatisiert diesen mehrschichtigen Prozess – von Bare Metal bis zur KI-Workload-Orchestrierung – einschließlich der automatisierten Bereitstellung von NVIDIA Run:ai, der KI-Workload- und GPU-Scheduling-Schicht innerhalb der NVIDIA-AI-Factory-Referenzarchitektur.

NVIDIA Run:ai im AI-Factory-Stack

NVIDIA Run:ai bildet die KI-Workload- und GPU-Orchestrierungsschicht unmittelbar über der Infrastruktur-Ebene. Die Lösung ermöglicht es Data Scientists, Machine-Learning-Spezialisten und Plattformbetreibern, Trainings-Jobs einzureichen, Inferenz-Workloads auszuführen und interaktive Tools über eine Benutzeroberfläche, eine Kommandozeile oder eine API zu starten – ohne dafür Kubernetes-Cluster oder die zugrundeliegende GPU-Konfiguration verwalten zu müssen.

Inferenz-Kontrollebenen und GPU-Scheduler sind leistungsstark. Bereitstellung und Betrieb können sich jedoch als komplex erweisen. Dies gilt insbesondere dann, wenn organisatorische Grenzen zwischen IT- und Data-Science-Teams bestehen. Die Mirantis-Integration zielt darauf ab, diese Komplexität zu reduzieren.

Als validiertes Mitglied der NVIDIA-AI-Cloud-Ready-Initiative hat Mirantis k0rdent AI so entwickelt, dass die KI-Factory-Infrastrukturschichten von der Bare-Metal-Bereitstellung bis hin zu den Plattform-Services automatisiert werden. Die Plattform installiert, konfiguriert und sequenziert automatisch:

Ingress & externes DNS
Cert-manager
NVIDIA GPU Operator
NVIDIA Network Operator
Dynamic Resource Allocation (DRA) Operator
MPI Operator
Training Operator
NVIDIA Run:ai-Plattform-Templates

k0rdent AI übernimmt dabei die Sequenzierung von Abhängigkeiten, die Konfigurationsvalidierung und die Prüfung der Bereitschaft der Infrastruktur. Dadurch entfallen manuelle Eingriffe und es ist keine weitere Erfahrung für den Betrieb von KI-Infrastruktur erforderlich.

Was Spezialisten bislang typischerweise Tage oder Wochen beschäftigt hat, lässt sich nun in wenigen Minuten abschließen. Neocloud-Anbietern ermöglicht dies eine On-Demand KI-Factory-Bereitstellung mit dem schnellen Aufsetzen einer vollständigen NVIDIA-Run:ai-Umgebung bei Bedarf und dem ebenso einfachen „Abbau“ bei Nichtnutzung, um so die GPU-Auslastung zu maximieren. Für Unternehmen wiederum bedeutet es konsistente, reproduzierbare KI-Factory-Deployments über unterschiedliche Teams, Regionen und IT-Infrastrukturen hinweg.

Für regulierte und souveräne KI-Umgebungen ausgelegt

Die Integration unterstützt Air-Gapped-Deployments und ermöglicht damit vollständig isolierte KI-Factory-Umgebungen ohne externe Netzwerkabhängigkeiten. Dies gewährleistet eine reproduzierbare Automatisierung für regulierte Branchen und Behörden, die in netzwerkbeschränkten Infrastrukturen arbeiten.

k0rdent AI unterstützt zudem aktuelle Rack-Scale-GPU-Architekturen. Dies umfasst auch native Unterstützung für NVIDIA Grace Blackwell NVL72-Systeme über den NVIDIA NCX Infra Controller (NICo). NICo ermöglicht Zero-Touch-Lifecycle-Automatisierung für Bare-Metal-Systeme und sichert damit die Basis der Rechenzentrumsinfrastruktur ab.

Zertifizierte NVIDIA Run:ai-Kompatibilität

Die Integration von k0rdent AI und NVIDIA Run:ai wurde im Rahmen des NVIDIA-Run:ai-Zertifizierungsprogramms getestet und validiert. Mirantis hat dabei mehr als 100 funktionale Tests durchgeführt, die Bereiche wie Workload-Einreichung, Scheduling-Verhalten, Multi-Tenant-Betrieb und Plattform-Lifecycle-Management abdecken und hat den Status eines zertifizierten Partners erreicht. Mirantis k0rdent ist unter den offiziell zertifizierten NVIDIA-Run:ai-Partnerdistributionen gelistet.

Vollständige Lifecycle-Automatisierung für KI-Fabriken

Die aktuelle Integration legt das Fundament für ein umfassendes KI-Factory-Lifecycle-Management. Im Rahmen der Roadmap geplante Erweiterungen umfassen beispielsweise deklarative Upgrades, das Management von Abweichungen von der ursprünglich definierten Konfiguration sowie eine erweiterte Day-2-Operations-Automatisierung – alles verwaltet über die Kubernetes-native Kontrollebene von k0rdent AI.

Das KI-Factory-Modell entwickelt sich zunehmend zum Standard für Unternehmens-KI und Neocloud-GPU-Dienste. Die Integration von Mirantis und NVIDIA Run:ai soll die Zeit bis zur Produktionsreife verkürzen und gleichzeitig sicherstellen, dass die Infrastruktur automatisiert, reproduzierbar und skalierbar bleibt.