KI-Starthilfe für Unternehmen
Allgemeinsrcset=”https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?quality=50&strip=all 5760w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=300%2C168&quality=50&strip=all 300w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=768%2C432&quality=50&strip=all 768w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1024%2C576&quality=50&strip=all 1024w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1536%2C864&quality=50&strip=all 1536w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=2048%2C1152&quality=50&strip=all 2048w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1240%2C697&quality=50&strip=all 1240w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=150%2C84&quality=50&strip=all 150w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=854%2C480&quality=50&strip=all 854w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=640%2C360&quality=50&strip=all 640w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=444%2C250&quality=50&strip=all 444w” width=”1024″ height=”576″ sizes=”(max-width: 1024px) 100vw, 1024px”>Komplettpakete sollen Unternehmen beim Aufbau einer passenden lokalen Infrastruktur für ihre KI-Aktivitäten helfen. DC Studio / Shutterstock Die meisten Unternehmen, die KI-Technologie einsetzen, wenden sich an Hyperscaler wie Amazon, Google und Microsoft, um die gesamte erforderliche Infrastruktur bereitzustellen. Dies bestätigen auch in letzten Monat veröffentlichte IDC-Daten, denen zufolge die meisten Ausgaben für KI-Server auf Cloud- und gemeinsam genutzten Umgebungen getätigt werden. Im ersten Halbjahr 2024 machten sie einen Anteil von 72 Prozent aus. Als Grund dafür nennen die Marktforscher, dass traditionelle Unternehmen beim Aufbau einer lokalen KI-Infrastruktur weit hinterherhinken. Mehr als eine Notlösung Dabei bietet On-Premises-KI einige Vorteile. Beispielsweise können Unternehmen ihre Daten lokal speichern oder Latenzzeiten reduzieren, indem sie Rechenkapazität in der Nähe des Bedarfs bereitstellen. Und wenn Unternehmen wissen, dass sie jeden Monat eine vorhersehbare Menge an Rechenleistung benötigen, können lokale Deployments sogar die Kosten senken. Viele Unternehmen befinden sich jedoch noch in der Experimentierphase und wissen nicht, wie viel Rechenleistung sie benötigen werden. Und es gibt noch ein weiteres Problem: Die herkömmliche Infrastruktur ist für KI einfach nicht geeignet. Diese Anwendungen benötigen KI-optimierte Server, Speicher und Netzwerke und alle Komponenten müssen so konfiguriert werden, dass sie gut zusammenarbeiten. „Der benötigte Technologie-Stack ist völlig anders“, erklärte Neil MacDonald, EVP und GM für High Performance Computing und KI bei HPE, in einer Präsentation Ende letzten Jahres. „Er ähnelt in keinster Weise der Technologie, über die selbst erfahrene Unternehmen verfügen.“ „Eine der Herausforderungen bei KI – wie bei jeder brandneuen Technologie – besteht darin, die richtige Infrastruktur zu kombinieren, damit die Technologie funktioniert“, führt Zeus Kerravala, Gründer und leitender Analyst bei ZK Research, aus. „Wenn eine dieser Komponenten nicht mit den beiden anderen mithalten kann, verschwenden Sie Geld.“ Das Problem, die benötigte Rechenleistung einzuschätzen, löst sich mit der Zeit: Immer mehr Unternehmen gehen von Pilotprojekten zur Produktion über und bekommen eine bessere Vorstellung davon, wie viel KI-Kapazität sie tatsächlich benötigen. Was das zweite Problem betrifft, so integrieren die Hersteller jetzt Server, Speicher und Netzwerke in ein praktisches KI-Komplettpaket, das On-Premises oder in einer Colocation-Einrichtung eingesetzt werden kann. Alle großen Anbieter, darunter Cisco, HPE und Dell, steigen in das Geschäft ein – und Nvidia schließt schnell Verträge ab, um seine KI-fähigen GPUs in möglichst viele dieser Pakete zu integrieren. So haben Cisco und Nvidia beispielsweise gerade ihre Partnerschaft erweitert, um die KI im Rechenzentrum zu stärken. Die beiden Unternehmen kündigten an, dass Nvidia Ciscos Silicon-One-Technologie mit Nvidia SuperNICs als Teil seiner Ethernet-Netzwerkplattform Spectrum X koppeln wird und dass Cisco Systeme bauen wird, die Nvidia Spectrum-Silizium mit Cisco OS-Software kombinieren. Dieses Angebot ist nur das jüngste in einer langen Reihe von Ankündigungen der beiden Unternehmen. So stellte Cisco beispielsweise im Oktober seine KI-Pods vor. Diese nutzen Nvidia-Grafikprozessoren in Servern nutzen, die speziell für groß angelegtes KI-Training entwickelt wurden, sowie die erforderliche Vernetzung und Speicherung. Aber auch andere Unternehmen mischen mit. So kündigte HPE beispielsweise Mitte Februar die Auslieferung seines Rack-Scale-Systems an, das ebenfalls Nvidia-Grafikprozessoren verwendet. Die Besonderheit des HPE-Angebots besteht darin, dass es eine direkte Flüssigkeitskühlung verwendet, wodurch es für sehr große und komplexe KI-Cluster geeignet ist. Dell wiederum kündigte Ende 2024 ein neues integriertes Rack für KI an, das sowohl Luft- als auch Flüssigkeitskühlung bietet. Hohe Nachfrage im Markt Diese und andere KI-Komplettlösungen werden es nach Ansicht von Experten mehr Unternehmen erleichtern, KI einzusetzen – wenngleich Cisco und HPE die stärksten Angebote und die robustesten Ökosysteme hätten. „Ich würde die von HPE validierte Lösung und die von Cisco validierte Lösung nehmen und sie gegeneinander testen“, erklärte Kerravala. Der Preis ist heiß: Laut Gartner gaben Unternehmen im vergangenen Jahr 28 Milliarden Dollar für KI-optimierte Server aus. In diesem Jahr wird diese Zahl auf 34 Milliarden Dollar steigen und bis 2028 auf 44 Milliarden Dollar, prognostiziert Gartner-Analyst Tony Harvey. Das Timing ist entscheidend. In einer Cisco-Umfrage unter fast 8.000 leitenden Führungskräften mit KI-Verantwortung bestätigten 98 Prozent, dass die Dringlichkeit, KI-Lösungen zu liefern, gestiegen ist. Nur jeder Fünfte von ihnen (21 Prozent) gab aber an, über genügend GPUs zu verfügen. Hinzu kommt, dass nicht alle Unternehmen ihre gesamten KI-Workloads in der Public Cloud ausführen wollen. „Es gibt Unternehmen, die KI heute implementieren möchten, aber nicht wollen, dass ihre Daten in eine öffentliche Umgebung gelangen“, erklärt Harvey. Sie würden ihre Daten auch nicht unbedingt den großen KI-Anbietern anvertrauen. „Wir wissen, dass sie Urheberrechte verletzt und alle möglichen Dinge getan haben“, so der Gartner-Analyst. Und dann ist da noch das Kostenproblem. „Ab einem gewissen Punkt ist es günstiger, die KI auf eigener Hardware laufen zu lassen, als in der Cloud“, erläutert Harvey. Spezialisierte Infrastrukturumgebungen Was aber macht den Einsatz von KI anders? Am offensichtlichsten ist natürlich, dass KI-Workloads spezialisierte Prozessoren benötigen. Am häufigsten kommen hier Nvidia-GPUs zum Einsatz. Außerdem werden für das KI-Training, aber auch für die Feinabstimmung und die RAG-Einbettung, sehr viele Daten benötigt. Und diese sind nicht mit den Daten vergleichbar, die normalerweise bereitgestellt werden. „Man braucht eine andere Art von Speicher – wahrscheinlich eher Objektspeicher als Blockspeicher“, konkretisiert Harvey. Und schließlich müssen alle GPUs miteinander kommunizieren. KI erzeugt riesige Datenströme zwischen GPUs, die Standardnetzwerke überlasten können. „Die Vernetzung in der KI unterscheidet sich sehr stark von der Vernetzung in einer Standardumgebung“, erklärt Harvey. “Wenn ich meinen KI-Cluster an ein Core-Backbone-Netzwerk anschließen, funktioniert dieses nicht mehr.“ Die KI-Pakete lösen dieses Problem, indem sie ein separates Netzwerk nur für die KI einrichten. „In einem großen GPU-Cluster gibt es ein Frontend-Netzwerk, das die Verbindung zum Cluster herstellt, und ein Backend-Netzwerk, das alle GPUs im Cluster miteinander verbindet“, erläutert Kevin Wollenweber, SVP & GM für Cisco Networking. “Es ist so konzipiert, dass es frei von Überlastung und Datenverlusten ist.“ Der letzte Unterschied besteht darin, dass für die intensivsten KI-Anwendungsfälle, etwa das Training großer Sprachmodelle, eine herkömmliche Luftkühlung möglicherweise nicht ausreicht. „Große, leistungsstarke KI-Systeme benötigen eine direkte Flüssigkeitskühlung, da Flüssigkeit im Vergleich zu Luft mehr als 3.000-mal mehr Wärme pro Volumen abführt“, so Trish Damkroger, SVP und GM für High Performance Computing und KI-Infrastrukturlösungen bei HPE. Ist zu viel Nvidia jemals genug? Ein weiterer gemeinsamer Nenner dieser KI-Komplettlösungen ist die Abhängigkeit von Nvidia-Grafikprozessoren, was Bedenken hinsichtlich Vendor-Lock-in und der Belastbarkeit der Lieferkette aufwerfen kann. „Alle benötigen die gleichen Nvidia-Kernbausteine“, betont John Sheehy, Senior Vice President für Forschung und Strategie bei IOActive, einem Cybersicherheitsunternehmen. Dadurch entstehe eine Monokultur, in der ein Anbieter zum kritischen Glied in der KI-Lieferkette werde, was alle einer inakzeptablen Risikokonzentration aussetzt‘. „Ähnlich verhält es sich mit TSMC“, fügt er hinzu. “Diese Abhängigkeit von einer einzigen Chip-Foundry direkt vor der Küste einer expansionistischen und revisionistischen Macht sollte allen Anlass zur Sorge geben.“ Ein Ausweg aus diesem Dilemma ist nicht in Sicht. In Sachen KI hinken andere Chiphersteller Nvidia weit hinterher, was Leistungsfähigkeit und Größe angeht. „Sie sind Marktführer und werden es auch weiterhin bleiben“, erklärt Jason Carolan, Chief Innovation Officer beim Colocation-Anbieter Flexential. „Nvidia ist ein zentraler Akteur und wird auch in den kommenden Jahren einige der fortschrittlichsten und leistungsfähigsten Plattformen bauen.“ Allerdings eröffne DeepSeek neue Innovationen, die sich auf den Markt auswirken und zeige neue Wege der Optimierung auf, so Carolan.
KI-Starthilfe für Unternehmen srcset=”https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?quality=50&strip=all 5760w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=300%2C168&quality=50&strip=all 300w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=768%2C432&quality=50&strip=all 768w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1024%2C576&quality=50&strip=all 1024w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1536%2C864&quality=50&strip=all 1536w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=2048%2C1152&quality=50&strip=all 2048w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=1240%2C697&quality=50&strip=all 1240w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=150%2C84&quality=50&strip=all 150w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=854%2C480&quality=50&strip=all 854w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=640%2C360&quality=50&strip=all 640w, https://b2b-contenthub.com/wp-content/uploads/2024/08/shutterstock_2390279459.jpg?resize=444%2C250&quality=50&strip=all 444w” width=”1024″ height=”576″ sizes=”(max-width: 1024px) 100vw, 1024px”>Komplettpakete sollen Unternehmen beim Aufbau einer passenden lokalen Infrastruktur für ihre KI-Aktivitäten helfen. DC Studio / Shutterstock
Die meisten Unternehmen, die KI-Technologie einsetzen, wenden sich an Hyperscaler wie Amazon, Google und Microsoft, um die gesamte erforderliche Infrastruktur bereitzustellen. Dies bestätigen auch in letzten Monat veröffentlichte IDC-Daten, denen zufolge die meisten Ausgaben für KI-Server auf Cloud- und gemeinsam genutzten Umgebungen getätigt werden. Im ersten Halbjahr 2024 machten sie einen Anteil von 72 Prozent aus. Als Grund dafür nennen die Marktforscher, dass traditionelle Unternehmen beim Aufbau einer lokalen KI-Infrastruktur weit hinterherhinken.
Mehr als eine Notlösung
Dabei bietet On-Premises-KI einige Vorteile. Beispielsweise können Unternehmen ihre Daten lokal speichern oder Latenzzeiten reduzieren, indem sie Rechenkapazität in der Nähe des Bedarfs bereitstellen. Und wenn Unternehmen wissen, dass sie jeden Monat eine vorhersehbare Menge an Rechenleistung benötigen, können lokale Deployments sogar die Kosten senken.
Viele Unternehmen befinden sich jedoch noch in der Experimentierphase und wissen nicht, wie viel Rechenleistung sie benötigen werden.
Und es gibt noch ein weiteres Problem: Die herkömmliche Infrastruktur ist für KI einfach nicht geeignet. Diese Anwendungen benötigen KI-optimierte Server, Speicher und Netzwerke und alle Komponenten müssen so konfiguriert werden, dass sie gut zusammenarbeiten.
„Der benötigte Technologie-Stack ist völlig anders“, erklärte Neil MacDonald, EVP und GM für High Performance Computing und KI bei HPE, in einer Präsentation Ende letzten Jahres. „Er ähnelt in keinster Weise der Technologie, über die selbst erfahrene Unternehmen verfügen.“
„Eine der Herausforderungen bei KI – wie bei jeder brandneuen Technologie – besteht darin, die richtige Infrastruktur zu kombinieren, damit die Technologie funktioniert“, führt Zeus Kerravala, Gründer und leitender Analyst bei ZK Research, aus. „Wenn eine dieser Komponenten nicht mit den beiden anderen mithalten kann, verschwenden Sie Geld.“
Das Problem, die benötigte Rechenleistung einzuschätzen, löst sich mit der Zeit: Immer mehr Unternehmen gehen von Pilotprojekten zur Produktion über und bekommen eine bessere Vorstellung davon, wie viel KI-Kapazität sie tatsächlich benötigen.
Was das zweite Problem betrifft, so integrieren die Hersteller jetzt Server, Speicher und Netzwerke in ein praktisches KI-Komplettpaket, das On-Premises oder in einer Colocation-Einrichtung eingesetzt werden kann. Alle großen Anbieter, darunter Cisco, HPE und Dell, steigen in das Geschäft ein – und Nvidia schließt schnell Verträge ab, um seine KI-fähigen GPUs in möglichst viele dieser Pakete zu integrieren.
So haben Cisco und Nvidia beispielsweise gerade ihre Partnerschaft erweitert, um die KI im Rechenzentrum zu stärken. Die beiden Unternehmen kündigten an, dass Nvidia Ciscos Silicon-One-Technologie mit Nvidia SuperNICs als Teil seiner Ethernet-Netzwerkplattform Spectrum X koppeln wird und dass Cisco Systeme bauen wird, die Nvidia Spectrum-Silizium mit Cisco OS-Software kombinieren.
Dieses Angebot ist nur das jüngste in einer langen Reihe von Ankündigungen der beiden Unternehmen. So stellte Cisco beispielsweise im Oktober seine KI-Pods vor. Diese nutzen Nvidia-Grafikprozessoren in Servern nutzen, die speziell für groß angelegtes KI-Training entwickelt wurden, sowie die erforderliche Vernetzung und Speicherung.
Aber auch andere Unternehmen mischen mit. So kündigte HPE beispielsweise Mitte Februar die Auslieferung seines Rack-Scale-Systems an, das ebenfalls Nvidia-Grafikprozessoren verwendet. Die Besonderheit des HPE-Angebots besteht darin, dass es eine direkte Flüssigkeitskühlung verwendet, wodurch es für sehr große und komplexe KI-Cluster geeignet ist.
Dell wiederum kündigte Ende 2024 ein neues integriertes Rack für KI an, das sowohl Luft- als auch Flüssigkeitskühlung bietet.
Hohe Nachfrage im Markt
Diese und andere KI-Komplettlösungen werden es nach Ansicht von Experten mehr Unternehmen erleichtern, KI einzusetzen – wenngleich Cisco und HPE die stärksten Angebote und die robustesten Ökosysteme hätten. „Ich würde die von HPE validierte Lösung und die von Cisco validierte Lösung nehmen und sie gegeneinander testen“, erklärte Kerravala.
Der Preis ist heiß: Laut Gartner gaben Unternehmen im vergangenen Jahr 28 Milliarden Dollar für KI-optimierte Server aus. In diesem Jahr wird diese Zahl auf 34 Milliarden Dollar steigen und bis 2028 auf 44 Milliarden Dollar, prognostiziert Gartner-Analyst Tony Harvey.
Das Timing ist entscheidend. In einer Cisco-Umfrage unter fast 8.000 leitenden Führungskräften mit KI-Verantwortung bestätigten 98 Prozent, dass die Dringlichkeit, KI-Lösungen zu liefern, gestiegen ist. Nur jeder Fünfte von ihnen (21 Prozent) gab aber an, über genügend GPUs zu verfügen.
Hinzu kommt, dass nicht alle Unternehmen ihre gesamten KI-Workloads in der Public Cloud ausführen wollen.
„Es gibt Unternehmen, die KI heute implementieren möchten, aber nicht wollen, dass ihre Daten in eine öffentliche Umgebung gelangen“, erklärt Harvey. Sie würden ihre Daten auch nicht unbedingt den großen KI-Anbietern anvertrauen. „Wir wissen, dass sie Urheberrechte verletzt und alle möglichen Dinge getan haben“, so der Gartner-Analyst.
Und dann ist da noch das Kostenproblem. „Ab einem gewissen Punkt ist es günstiger, die KI auf eigener Hardware laufen zu lassen, als in der Cloud“, erläutert Harvey.
Spezialisierte Infrastrukturumgebungen
Was aber macht den Einsatz von KI anders? Am offensichtlichsten ist natürlich, dass KI-Workloads spezialisierte Prozessoren benötigen. Am häufigsten kommen hier Nvidia-GPUs zum Einsatz. Außerdem werden für das KI-Training, aber auch für die Feinabstimmung und die RAG-Einbettung, sehr viele Daten benötigt. Und diese sind nicht mit den Daten vergleichbar, die normalerweise bereitgestellt werden.
„Man braucht eine andere Art von Speicher – wahrscheinlich eher Objektspeicher als Blockspeicher“, konkretisiert Harvey.
Und schließlich müssen alle GPUs miteinander kommunizieren. KI erzeugt riesige Datenströme zwischen GPUs, die Standardnetzwerke überlasten können.
„Die Vernetzung in der KI unterscheidet sich sehr stark von der Vernetzung in einer Standardumgebung“, erklärt Harvey. “Wenn ich meinen KI-Cluster an ein Core-Backbone-Netzwerk anschließen, funktioniert dieses nicht mehr.“
Die KI-Pakete lösen dieses Problem, indem sie ein separates Netzwerk nur für die KI einrichten.
„In einem großen GPU-Cluster gibt es ein Frontend-Netzwerk, das die Verbindung zum Cluster herstellt, und ein Backend-Netzwerk, das alle GPUs im Cluster miteinander verbindet“, erläutert Kevin Wollenweber, SVP & GM für Cisco Networking. “Es ist so konzipiert, dass es frei von Überlastung und Datenverlusten ist.“
Der letzte Unterschied besteht darin, dass für die intensivsten KI-Anwendungsfälle, etwa das Training großer Sprachmodelle, eine herkömmliche Luftkühlung möglicherweise nicht ausreicht.
„Große, leistungsstarke KI-Systeme benötigen eine direkte Flüssigkeitskühlung, da Flüssigkeit im Vergleich zu Luft mehr als 3.000-mal mehr Wärme pro Volumen abführt“, so Trish Damkroger, SVP und GM für High Performance Computing und KI-Infrastrukturlösungen bei HPE.
Ist zu viel Nvidia jemals genug?
Ein weiterer gemeinsamer Nenner dieser KI-Komplettlösungen ist die Abhängigkeit von Nvidia-Grafikprozessoren, was Bedenken hinsichtlich Vendor-Lock-in und der Belastbarkeit der Lieferkette aufwerfen kann.
„Alle benötigen die gleichen Nvidia-Kernbausteine“, betont John Sheehy, Senior Vice President für Forschung und Strategie bei IOActive, einem Cybersicherheitsunternehmen. Dadurch entstehe eine Monokultur, in der ein Anbieter zum kritischen Glied in der KI-Lieferkette werde, was alle einer inakzeptablen Risikokonzentration aussetzt‘.
„Ähnlich verhält es sich mit TSMC“, fügt er hinzu. “Diese Abhängigkeit von einer einzigen Chip-Foundry direkt vor der Küste einer expansionistischen und revisionistischen Macht sollte allen Anlass zur Sorge geben.“
Ein Ausweg aus diesem Dilemma ist nicht in Sicht. In Sachen KI hinken andere Chiphersteller Nvidia weit hinterher, was Leistungsfähigkeit und Größe angeht.
„Sie sind Marktführer und werden es auch weiterhin bleiben“, erklärt Jason Carolan, Chief Innovation Officer beim Colocation-Anbieter Flexential. „Nvidia ist ein zentraler Akteur und wird auch in den kommenden Jahren einige der fortschrittlichsten und leistungsfähigsten Plattformen bauen.“ Allerdings eröffne DeepSeek neue Innovationen, die sich auf den Markt auswirken und zeige neue Wege der Optimierung auf, so Carolan.
KI-Starthilfe für Unternehmen Weiterlesen »