KI-Agenten werden immer beliebter – und dank Open-Source-Technik bald auch schneller. shutterstock.com – Master1305 KI-Agenten sind die neuen Stars am Firmament der Künstlichen Intelligenz (KI). Laut Gartner wird bis zum Jahr 2028 jede dritte Unternehmenssoftware agentenbasierte KI-Technik nutzen und es ermöglichen, dass 15 Prozent der täglichen Arbeitsentscheidungen autonom getroffen werden. Voraussetzung für den Erfolg von Agentic AI ist allerdings, dass die KI-Agenten in der Lage sind, nicht nur sicher und genau, sondern auch relativ schnell Aufgaben in digitalen Umgebungen auszuführen. Aktuell hapert es hier noch, und viele Unternehmen haben immer noch mit niedrigen Durchsätzen bei ihren Modellen zu kämpfen. Schnellere Agenten dank Open-Source Eine Lösung für dieses Problem könnte von Katanemo kommen, ein 2022 in den USA gegründetes Startup, das eine intelligente Infrastruktur für KI-native Anwendungen aufbaut. Katanemo stellt mit Arch-Function eine Sammlung hochmoderner großer Sprachmodelle (LLMs) als Open Source zur Verfügung. Diese LLMs versprechen ultraschnelle Geschwindigkeiten bei Funktionsaufrufen, die für agentenbasierte Arbeitsabläufe von entscheidender Bedeutung sind. Wie Salman Paracha, Gründer und CEO von Katanemo auf X ausführt, sind die neuen quelloffenen Modelle fast zwölfmal schneller als GPT-4 von OpenAI. Sie überträfensogar die Angebote von Anthropic und böten gleichzeitig erhebliche Kosteneinsparungen. Paracha zufolge sind die Arch-Function LLMs, die auf Qwen 2.5 mit 3B- und 7B-Parametern basieren, für die Verarbeitung von Funktionsaufrufen ausgelegt. Das soll ihnen im Wesentlichen die Interaktion mit externen Tools und Systemen zur Ausführung digitaler Aufgaben und den Zugriff auf aktuelle Informationen ermöglicht. Den Großen der Branche den Kampf angesagt Sie sollen in der Lage sein, komplexe Funktionssignaturen zu verstehen, Parameter zu identifizieren und präzise Aufrufe auszuführen. Dies soll Unternehmen die Entwicklung agentenbasierter Anwendungen und personalisierter Workflows, etwa für Versicherungsansprüche oder Werbekampagnen erleichtern. Im Vergleich zu GPT-4 vom (Noch-)Platzhirsch OpenAI bietet Arch-Function-3B dabei laut den Entwicklern eine 12-fache Durchsatzsteigerung und 44-fache Kosteneinsparungen. Ähnliche Vorteile wurden gegenüber GPT-4o und Claude 3.5 Sonnet festgestellt. Die Benchmarks wurden auf einem kostengünstigeren L40S Nvidia-Grafikprozessor durchgeführt.
Wie Open Source KI-Agenten auf Trab bringt
KI-Agenten werden immer beliebter – und dank Open-Source-Technik bald auch schneller. shutterstock.com – Master1305 KI-Agenten sind die neuen Stars am Firmament der Künstlichen Intelligenz (KI). Laut Gartner wird bis zum Jahr 2028 jede dritte Unternehmenssoftware agentenbasierte KI-Technik nutzen und es ermöglichen, dass 15 Prozent der täglichen Arbeitsentscheidungen autonom getroffen werden. Voraussetzung für den Erfolg von Agentic AI ist allerdings, dass die KI-Agenten in der Lage sind, nicht nur sicher und genau, sondern auch relativ schnell Aufgaben in digitalen Umgebungen auszuführen. Aktuell hapert es hier noch, und viele Unternehmen haben immer noch mit niedrigen Durchsätzen bei ihren Modellen zu kämpfen. Schnellere Agenten dank Open-Source Eine Lösung für dieses Problem könnte von Katanemo kommen, ein 2022 in den USA gegründetes Startup, das eine intelligente Infrastruktur für KI-native Anwendungen aufbaut. Katanemo stellt mit Arch-Function eine Sammlung hochmoderner großer Sprachmodelle (LLMs) als Open Source zur Verfügung. Diese LLMs versprechen ultraschnelle Geschwindigkeiten bei Funktionsaufrufen, die für agentenbasierte Arbeitsabläufe von entscheidender Bedeutung sind. Wie Salman Paracha, Gründer und CEO von Katanemo auf X ausführt, sind die neuen quelloffenen Modelle fast zwölfmal schneller als GPT-4 von OpenAI. Sie überträfensogar die Angebote von Anthropic und böten gleichzeitig erhebliche Kosteneinsparungen. Paracha zufolge sind die Arch-Function LLMs, die auf Qwen 2.5 mit 3B- und 7B-Parametern basieren, für die Verarbeitung von Funktionsaufrufen ausgelegt. Das soll ihnen im Wesentlichen die Interaktion mit externen Tools und Systemen zur Ausführung digitaler Aufgaben und den Zugriff auf aktuelle Informationen ermöglicht. Den Großen der Branche den Kampf angesagt Sie sollen in der Lage sein, komplexe Funktionssignaturen zu verstehen, Parameter zu identifizieren und präzise Aufrufe auszuführen. Dies soll Unternehmen die Entwicklung agentenbasierter Anwendungen und personalisierter Workflows, etwa für Versicherungsansprüche oder Werbekampagnen erleichtern. Im Vergleich zu GPT-4 vom (Noch-)Platzhirsch OpenAI bietet Arch-Function-3B dabei laut den Entwicklern eine 12-fache Durchsatzsteigerung und 44-fache Kosteneinsparungen. Ähnliche Vorteile wurden gegenüber GPT-4o und Claude 3.5 Sonnet festgestellt. Die Benchmarks wurden auf einem kostengünstigeren L40S Nvidia-Grafikprozessor durchgeführt.
Wie Open Source KI-Agenten auf Trab bringt KI-Agenten werden immer beliebter – und dank Open-Source-Technik bald auch schneller. shutterstock.com – Master1305 KI-Agenten sind die neuen Stars am Firmament der Künstlichen Intelligenz (KI). Laut Gartner wird bis zum Jahr 2028 jede dritte Unternehmenssoftware agentenbasierte KI-Technik nutzen und es ermöglichen, dass 15 Prozent der täglichen Arbeitsentscheidungen autonom getroffen werden. Voraussetzung für den Erfolg von Agentic AI ist allerdings, dass die KI-Agenten in der Lage sind, nicht nur sicher und genau, sondern auch relativ schnell Aufgaben in digitalen Umgebungen auszuführen. Aktuell hapert es hier noch, und viele Unternehmen haben immer noch mit niedrigen Durchsätzen bei ihren Modellen zu kämpfen. Schnellere Agenten dank Open-Source Eine Lösung für dieses Problem könnte von Katanemo kommen, ein 2022 in den USA gegründetes Startup, das eine intelligente Infrastruktur für KI-native Anwendungen aufbaut. Katanemo stellt mit Arch-Function eine Sammlung hochmoderner großer Sprachmodelle (LLMs) als Open Source zur Verfügung. Diese LLMs versprechen ultraschnelle Geschwindigkeiten bei Funktionsaufrufen, die für agentenbasierte Arbeitsabläufe von entscheidender Bedeutung sind. Wie Salman Paracha, Gründer und CEO von Katanemo auf X ausführt, sind die neuen quelloffenen Modelle fast zwölfmal schneller als GPT-4 von OpenAI. Sie überträfensogar die Angebote von Anthropic und böten gleichzeitig erhebliche Kosteneinsparungen. Paracha zufolge sind die Arch-Function LLMs, die auf Qwen 2.5 mit 3B- und 7B-Parametern basieren, für die Verarbeitung von Funktionsaufrufen ausgelegt. Das soll ihnen im Wesentlichen die Interaktion mit externen Tools und Systemen zur Ausführung digitaler Aufgaben und den Zugriff auf aktuelle Informationen ermöglicht. Den Großen der Branche den Kampf angesagt Sie sollen in der Lage sein, komplexe Funktionssignaturen zu verstehen, Parameter zu identifizieren und präzise Aufrufe auszuführen. Dies soll Unternehmen die Entwicklung agentenbasierter Anwendungen und personalisierter Workflows, etwa für Versicherungsansprüche oder Werbekampagnen erleichtern. Im Vergleich zu GPT-4 vom (Noch-)Platzhirsch OpenAI bietet Arch-Function-3B dabei laut den Entwicklern eine 12-fache Durchsatzsteigerung und 44-fache Kosteneinsparungen. Ähnliche Vorteile wurden gegenüber GPT-4o und Claude 3.5 Sonnet festgestellt. Die Benchmarks wurden auf einem kostengünstigeren L40S Nvidia-Grafikprozessor durchgeführt.
