AiSuite bietet einen einheitlichen Ansatz, um mit mehreren LLM-Anbietern zu arbeiten.Chaosamran_Studio | shutterstock.com Large Language Models (LLMs) haben in der Softwareentwicklung diverse neue Möglichkeiten eröffnet. Allerdings verfügt jedes KI-Modell über eigene API-Strukturen, Authentifizierungsmechanismen und Output-Formate. Entwickler müssen sich deshalb regelmäßig mit anbieterspezifischen Dokumentationen und Integrationsanforderungen auseinandersetzen. Das macht die Dev-Arbeit nicht nur komplexer, es sorgt auch für Projektverzögerungen und erhebliche technische Schulden – insbesondere, wenn mehrere Anbieter, respektive LLMs parallel integriert werden sollen. Das soll sich künftig ändern – mit dem quelloffenen Projekt AiSuite. AiSuite – Projektübersicht Die Open-Source-Lösung auf Python-Basis wurde von dem KI-Spezialisten Andrew Ng (und seinem Team) entwickelt. Es handelt sich um ein simples, vereinheitlichtes Interface, um mehrere Generative-AI-Anbieter zu managen – quasi eine Art “Universaladapter für die LLM-Welt”. Im Kern bietet AiSuite eine standardisierte API (ähnlich der von OpenAI), über die Entwickler mit mehreren großen Sprachmodellen interagieren können. Dieser Ansatz ermöglicht es, zwischen den Modellen verschiedener Anbieter hin und her zu wechseln, ohne Code neu schreiben zu müssen. Das Projekt unterstützt bereits eine Vielzahl von LLM-Anbietern, darunter etwa: OpenAI, Anthropic, AWS, Azure, Cerebras, Groq, Hugging Face, Mistral, Ollama, Sambanova und Watsonx. Das einheitliche Interface von AiSuite abstrahiert die Unterschiede zwischen den Anbietern. So können sich Entwickler darauf fokussieren, Anwendungen zu erstellen statt sich mit API-Feinheiten aufzuhalten. AiSuite im Praxiseinsatz AiSuite ist sowohl flexibel als auch leistungsstark. Im Mittelpunkt steht die Fähigkeit, alle API-Calls in ein vertrautes Format zu übersetzen, unabhängig vom zugrundeliegenden Anbieter. Developer können so zwischen Modellen wechseln, indem sie einfach einen String in ihrem Code ändern – etwa von openai:gpt-4o zu anthropic:claude-3-7-sonnet. Entwickler, die mit der API von OpenAI bereits vertraut sind, dürften sich besonders leicht tun, mit AiSuite zu arbeiten. Ein simpler Installationsprozess gehört auch zu den Features, die AiSuite auszeichnen. Devs können je nach Bedarf einfach nur das Basis-Package installieren – oder spezifische Anbieter-Bibliotheken hinzufügen: pip install aisuite # Installs just the base package pip install ‘aisuite[anthropic]’ # Installs aisuite with Anthropic support pip install ‘aisuite[all]’ # Installs all provider-specific libraries Die Open-Source-LLM-Suite einzurichten, gestaltet sich ebenfalls unkompliziert: Alles was Sie brauchen, sind die API-Keys der Anbieter, die Sie nutzen möchten. Diese Schlüssel lassen sich als Umgebungsvariablen definieren oder können direkt an den Client-Konstruktor von AiSuite übergeben werden. Nachfolgend ein einfaches Beispiel, das zeigt, wie sich AiSuite dazu nutzen lässt, Outputs verschiedener KI-Modelle zu generieren: import aisuite as ai client = ai.Client() messages = [ {“role”: “system”, “content”: “Respond in Pirate English.”}, {“role”: “user”, “content”: “Tell me a joke.”} ] # Using OpenAI’s model response = client.chat.completions.create( model=”openai:gpt-4o”, messages=messages, temperature=0.75 ) print(response.choices[0].message.content) # Using Anthropic’s model response = client.chat.completions.create( model=”anthropic:claude-3-5-sonnet-20240620″, messages=messages, temperature=0.75 ) print(response.choices[0].message.content) AiSuite – Anwendungsfälle AiSuite eignet sich dank seiner Vielseitigkeit für diverse wichtige Use Cases. Zum Beispiel die folgenden vier. 1. Mehrere GenAI-Anbieter integrieren Mit AiSuite können Entwickler mehrere LLM-Anbieter einfach in ihre Anwendungen integrieren und vergleichen. Das ermöglicht, unterschiedliche Modelle für bestimmte Tasks entsprechend ihrer jeweiligen Stärken einzusetzen. Anbieter-übergreifende A/B-Tests, um die optimale Leistung zu ermitteln. Fallback-Mechanismen erstellen, um eine hohe Verfügbarkeit zu gewährleisten. 2. Entwicklungs-Workflow vereinfachen Indem AiSuite eine einheitliche API für verschiedene LLM-Anbieter bereitstellt, optimiert das quelloffene Tool den Entwicklungsprozess. Das versetzt Developer in die Lage, schnell Prototypen mit verschiedenen Modellen zu erstellen, ohne den Code zu verändern. einfach zwischen Modellen zu wechseln, um zu testen und zu vergleichen. ihre Lernkurve bei neuen Anbietern zu verkürzen. 3. Bildung und Forschung antreiben Das einheitliche Interface von AiSuite macht es zudem zu einem hervorragenden Werkzeug für Bildungs- und Forschungszwecke. Benutzer könnten so etwa, die Antworten verschiedener Modelle zum identischen Input miteinander vergleichen. die Performance verschiedener Anbieter für bestimmte Aufgaben evaluieren. mit verschiedenen Parametern in unterschiedlichen Modellen experimentieren. 4. KI-Agenten erstellen Eine relativ neue Funktion von AiSuite sind erweiterte Funktionsaufrufe, die es vereinfachen, agentenbasierte Workflows zu implementieren. Mit dieser Funktion können Entwickler Funktionen definieren, die LLMs aufrufen können. Das erleichtert es erheblich, komplexe KI-Anwendungen zu erstellen, die mit externen Tools und Diensten interagieren. AiSuite lohnt sich für KI-Entwickler AiSuite stellt einen bedeutenden Fortschritt im Bereich der KI-Entwicklungswerkzeuge dar. Es beseitigt die API-Fragmentierung im aktuellen KI-Ökosystem und reduziert drastisch die Komplexität, wenn mehrere KI-Modelle zum Einsatz kommen sollen. Die quelloffene MIT-Lizenz, die aktive Community und der umfassende Support der Anbieter machen das Projekt zu einer attraktiven Option für Entwickler, die flexible und robuste KI-Anwendungen erstellen wollen. Künftig werden Tools wie AiSuite eine zunehmend wichtigere Rolle spielen, wenn es darum geht, Lock-In-Effekte in Zusammenhang mit LLM-Anbietern zu vermeiden. Mit seinem simplen Installationsprozess, seiner intuitiven Benutzeroberfläche und seinem wachsenden Funktionsumfang ist AiSuite gut positioniert, um sich als Standardwerkzeug im Toolkit von KI-Entwicklern zu etablieren. Ganz gleich, ob Sie einen einfachen Chatbot oder ein komplexes KI-System entwickeln – der optimierte Ansatz dieses Open-Source-Projekts kann sowohl die Entwicklungszeit als auch -komplexität drastisch reduzieren. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
AiSuite – ein quelloffenes KI-Gateway
AiSuite bietet einen einheitlichen Ansatz, um mit mehreren LLM-Anbietern zu arbeiten.Chaosamran_Studio | shutterstock.com Large Language Models (LLMs) haben in der Softwareentwicklung diverse neue Möglichkeiten eröffnet. Allerdings verfügt jedes KI-Modell über eigene API-Strukturen, Authentifizierungsmechanismen und Output-Formate. Entwickler müssen sich deshalb regelmäßig mit anbieterspezifischen Dokumentationen und Integrationsanforderungen auseinandersetzen. Das macht die Dev-Arbeit nicht nur komplexer, es sorgt auch für Projektverzögerungen und erhebliche technische Schulden – insbesondere, wenn mehrere Anbieter, respektive LLMs parallel integriert werden sollen. Das soll sich künftig ändern – mit dem quelloffenen Projekt AiSuite. AiSuite – Projektübersicht Die Open-Source-Lösung auf Python-Basis wurde von dem KI-Spezialisten Andrew Ng (und seinem Team) entwickelt. Es handelt sich um ein simples, vereinheitlichtes Interface, um mehrere Generative-AI-Anbieter zu managen – quasi eine Art “Universaladapter für die LLM-Welt”. Im Kern bietet AiSuite eine standardisierte API (ähnlich der von OpenAI), über die Entwickler mit mehreren großen Sprachmodellen interagieren können. Dieser Ansatz ermöglicht es, zwischen den Modellen verschiedener Anbieter hin und her zu wechseln, ohne Code neu schreiben zu müssen. Das Projekt unterstützt bereits eine Vielzahl von LLM-Anbietern, darunter etwa: OpenAI, Anthropic, AWS, Azure, Cerebras, Groq, Hugging Face, Mistral, Ollama, Sambanova und Watsonx. Das einheitliche Interface von AiSuite abstrahiert die Unterschiede zwischen den Anbietern. So können sich Entwickler darauf fokussieren, Anwendungen zu erstellen statt sich mit API-Feinheiten aufzuhalten. AiSuite im Praxiseinsatz AiSuite ist sowohl flexibel als auch leistungsstark. Im Mittelpunkt steht die Fähigkeit, alle API-Calls in ein vertrautes Format zu übersetzen, unabhängig vom zugrundeliegenden Anbieter. Developer können so zwischen Modellen wechseln, indem sie einfach einen String in ihrem Code ändern – etwa von openai:gpt-4o zu anthropic:claude-3-7-sonnet. Entwickler, die mit der API von OpenAI bereits vertraut sind, dürften sich besonders leicht tun, mit AiSuite zu arbeiten. Ein simpler Installationsprozess gehört auch zu den Features, die AiSuite auszeichnen. Devs können je nach Bedarf einfach nur das Basis-Package installieren – oder spezifische Anbieter-Bibliotheken hinzufügen: pip install aisuite # Installs just the base package pip install 'aisuite[anthropic]' # Installs aisuite with Anthropic support pip install 'aisuite[all]' # Installs all provider-specific libraries Die Open-Source-LLM-Suite einzurichten, gestaltet sich ebenfalls unkompliziert: Alles was Sie brauchen, sind die API-Keys der Anbieter, die Sie nutzen möchten. Diese Schlüssel lassen sich als Umgebungsvariablen definieren oder können direkt an den Client-Konstruktor von AiSuite übergeben werden. Nachfolgend ein einfaches Beispiel, das zeigt, wie sich AiSuite dazu nutzen lässt, Outputs verschiedener KI-Modelle zu generieren: import aisuite as ai client = ai.Client() messages = [ {"role": "system", "content": "Respond in Pirate English."}, {"role": "user", "content": "Tell me a joke."} ] # Using OpenAI's model response = client.chat.completions.create( model="openai:gpt-4o", messages=messages, temperature=0.75 ) print(response.choices[0].message.content) # Using Anthropic's model response = client.chat.completions.create( model="anthropic:claude-3-5-sonnet-20240620", messages=messages, temperature=0.75 ) print(response.choices[0].message.content) AiSuite – Anwendungsfälle AiSuite eignet sich dank seiner Vielseitigkeit für diverse wichtige Use Cases. Zum Beispiel die folgenden vier. 1. Mehrere GenAI-Anbieter integrieren Mit AiSuite können Entwickler mehrere LLM-Anbieter einfach in ihre Anwendungen integrieren und vergleichen. Das ermöglicht, unterschiedliche Modelle für bestimmte Tasks entsprechend ihrer jeweiligen Stärken einzusetzen. Anbieter-übergreifende A/B-Tests, um die optimale Leistung zu ermitteln. Fallback-Mechanismen erstellen, um eine hohe Verfügbarkeit zu gewährleisten. 2. Entwicklungs-Workflow vereinfachen Indem AiSuite eine einheitliche API für verschiedene LLM-Anbieter bereitstellt, optimiert das quelloffene Tool den Entwicklungsprozess. Das versetzt Developer in die Lage, schnell Prototypen mit verschiedenen Modellen zu erstellen, ohne den Code zu verändern. einfach zwischen Modellen zu wechseln, um zu testen und zu vergleichen. ihre Lernkurve bei neuen Anbietern zu verkürzen. 3. Bildung und Forschung antreiben Das einheitliche Interface von AiSuite macht es zudem zu einem hervorragenden Werkzeug für Bildungs- und Forschungszwecke. Benutzer könnten so etwa, die Antworten verschiedener Modelle zum identischen Input miteinander vergleichen. die Performance verschiedener Anbieter für bestimmte Aufgaben evaluieren. mit verschiedenen Parametern in unterschiedlichen Modellen experimentieren. 4. KI-Agenten erstellen Eine relativ neue Funktion von AiSuite sind erweiterte Funktionsaufrufe, die es vereinfachen, agentenbasierte Workflows zu implementieren. Mit dieser Funktion können Entwickler Funktionen definieren, die LLMs aufrufen können. Das erleichtert es erheblich, komplexe KI-Anwendungen zu erstellen, die mit externen Tools und Diensten interagieren. AiSuite lohnt sich für KI-Entwickler AiSuite stellt einen bedeutenden Fortschritt im Bereich der KI-Entwicklungswerkzeuge dar. Es beseitigt die API-Fragmentierung im aktuellen KI-Ökosystem und reduziert drastisch die Komplexität, wenn mehrere KI-Modelle zum Einsatz kommen sollen. Die quelloffene MIT-Lizenz, die aktive Community und der umfassende Support der Anbieter machen das Projekt zu einer attraktiven Option für Entwickler, die flexible und robuste KI-Anwendungen erstellen wollen. Künftig werden Tools wie AiSuite eine zunehmend wichtigere Rolle spielen, wenn es darum geht, Lock-In-Effekte in Zusammenhang mit LLM-Anbietern zu vermeiden. Mit seinem simplen Installationsprozess, seiner intuitiven Benutzeroberfläche und seinem wachsenden Funktionsumfang ist AiSuite gut positioniert, um sich als Standardwerkzeug im Toolkit von KI-Entwicklern zu etablieren. Ganz gleich, ob Sie einen einfachen Chatbot oder ein komplexes KI-System entwickeln – der optimierte Ansatz dieses Open-Source-Projekts kann sowohl die Entwicklungszeit als auch -komplexität drastisch reduzieren. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
AiSuite – ein quelloffenes KI-Gateway AiSuite bietet einen einheitlichen Ansatz, um mit mehreren LLM-Anbietern zu arbeiten.Chaosamran_Studio | shutterstock.com Large Language Models (LLMs) haben in der Softwareentwicklung diverse neue Möglichkeiten eröffnet. Allerdings verfügt jedes KI-Modell über eigene API-Strukturen, Authentifizierungsmechanismen und Output-Formate. Entwickler müssen sich deshalb regelmäßig mit anbieterspezifischen Dokumentationen und Integrationsanforderungen auseinandersetzen. Das macht die Dev-Arbeit nicht nur komplexer, es sorgt auch für Projektverzögerungen und erhebliche technische Schulden – insbesondere, wenn mehrere Anbieter, respektive LLMs parallel integriert werden sollen. Das soll sich künftig ändern – mit dem quelloffenen Projekt AiSuite. AiSuite – Projektübersicht Die Open-Source-Lösung auf Python-Basis wurde von dem KI-Spezialisten Andrew Ng (und seinem Team) entwickelt. Es handelt sich um ein simples, vereinheitlichtes Interface, um mehrere Generative-AI-Anbieter zu managen – quasi eine Art “Universaladapter für die LLM-Welt”. Im Kern bietet AiSuite eine standardisierte API (ähnlich der von OpenAI), über die Entwickler mit mehreren großen Sprachmodellen interagieren können. Dieser Ansatz ermöglicht es, zwischen den Modellen verschiedener Anbieter hin und her zu wechseln, ohne Code neu schreiben zu müssen. Das Projekt unterstützt bereits eine Vielzahl von LLM-Anbietern, darunter etwa: OpenAI, Anthropic, AWS, Azure, Cerebras, Groq, Hugging Face, Mistral, Ollama, Sambanova und Watsonx. Das einheitliche Interface von AiSuite abstrahiert die Unterschiede zwischen den Anbietern. So können sich Entwickler darauf fokussieren, Anwendungen zu erstellen statt sich mit API-Feinheiten aufzuhalten. AiSuite im Praxiseinsatz AiSuite ist sowohl flexibel als auch leistungsstark. Im Mittelpunkt steht die Fähigkeit, alle API-Calls in ein vertrautes Format zu übersetzen, unabhängig vom zugrundeliegenden Anbieter. Developer können so zwischen Modellen wechseln, indem sie einfach einen String in ihrem Code ändern – etwa von openai:gpt-4o zu anthropic:claude-3-7-sonnet. Entwickler, die mit der API von OpenAI bereits vertraut sind, dürften sich besonders leicht tun, mit AiSuite zu arbeiten. Ein simpler Installationsprozess gehört auch zu den Features, die AiSuite auszeichnen. Devs können je nach Bedarf einfach nur das Basis-Package installieren – oder spezifische Anbieter-Bibliotheken hinzufügen: pip install aisuite # Installs just the base package pip install 'aisuite[anthropic]' # Installs aisuite with Anthropic support pip install 'aisuite[all]' # Installs all provider-specific libraries Die Open-Source-LLM-Suite einzurichten, gestaltet sich ebenfalls unkompliziert: Alles was Sie brauchen, sind die API-Keys der Anbieter, die Sie nutzen möchten. Diese Schlüssel lassen sich als Umgebungsvariablen definieren oder können direkt an den Client-Konstruktor von AiSuite übergeben werden. Nachfolgend ein einfaches Beispiel, das zeigt, wie sich AiSuite dazu nutzen lässt, Outputs verschiedener KI-Modelle zu generieren: import aisuite as ai client = ai.Client() messages = [ {"role": "system", "content": "Respond in Pirate English."}, {"role": "user", "content": "Tell me a joke."} ] # Using OpenAI's model response = client.chat.completions.create( model="openai:gpt-4o", messages=messages, temperature=0.75 ) print(response.choices[0].message.content) # Using Anthropic's model response = client.chat.completions.create( model="anthropic:claude-3-5-sonnet-20240620", messages=messages, temperature=0.75 ) print(response.choices[0].message.content) AiSuite – Anwendungsfälle AiSuite eignet sich dank seiner Vielseitigkeit für diverse wichtige Use Cases. Zum Beispiel die folgenden vier. 1. Mehrere GenAI-Anbieter integrieren Mit AiSuite können Entwickler mehrere LLM-Anbieter einfach in ihre Anwendungen integrieren und vergleichen. Das ermöglicht, unterschiedliche Modelle für bestimmte Tasks entsprechend ihrer jeweiligen Stärken einzusetzen. Anbieter-übergreifende A/B-Tests, um die optimale Leistung zu ermitteln. Fallback-Mechanismen erstellen, um eine hohe Verfügbarkeit zu gewährleisten. 2. Entwicklungs-Workflow vereinfachen Indem AiSuite eine einheitliche API für verschiedene LLM-Anbieter bereitstellt, optimiert das quelloffene Tool den Entwicklungsprozess. Das versetzt Developer in die Lage, schnell Prototypen mit verschiedenen Modellen zu erstellen, ohne den Code zu verändern. einfach zwischen Modellen zu wechseln, um zu testen und zu vergleichen. ihre Lernkurve bei neuen Anbietern zu verkürzen. 3. Bildung und Forschung antreiben Das einheitliche Interface von AiSuite macht es zudem zu einem hervorragenden Werkzeug für Bildungs- und Forschungszwecke. Benutzer könnten so etwa, die Antworten verschiedener Modelle zum identischen Input miteinander vergleichen. die Performance verschiedener Anbieter für bestimmte Aufgaben evaluieren. mit verschiedenen Parametern in unterschiedlichen Modellen experimentieren. 4. KI-Agenten erstellen Eine relativ neue Funktion von AiSuite sind erweiterte Funktionsaufrufe, die es vereinfachen, agentenbasierte Workflows zu implementieren. Mit dieser Funktion können Entwickler Funktionen definieren, die LLMs aufrufen können. Das erleichtert es erheblich, komplexe KI-Anwendungen zu erstellen, die mit externen Tools und Diensten interagieren. AiSuite lohnt sich für KI-Entwickler AiSuite stellt einen bedeutenden Fortschritt im Bereich der KI-Entwicklungswerkzeuge dar. Es beseitigt die API-Fragmentierung im aktuellen KI-Ökosystem und reduziert drastisch die Komplexität, wenn mehrere KI-Modelle zum Einsatz kommen sollen. Die quelloffene MIT-Lizenz, die aktive Community und der umfassende Support der Anbieter machen das Projekt zu einer attraktiven Option für Entwickler, die flexible und robuste KI-Anwendungen erstellen wollen. Künftig werden Tools wie AiSuite eine zunehmend wichtigere Rolle spielen, wenn es darum geht, Lock-In-Effekte in Zusammenhang mit LLM-Anbietern zu vermeiden. Mit seinem simplen Installationsprozess, seiner intuitiven Benutzeroberfläche und seinem wachsenden Funktionsumfang ist AiSuite gut positioniert, um sich als Standardwerkzeug im Toolkit von KI-Entwicklern zu etablieren. Ganz gleich, ob Sie einen einfachen Chatbot oder ein komplexes KI-System entwickeln – der optimierte Ansatz dieses Open-Source-Projekts kann sowohl die Entwicklungszeit als auch -komplexität drastisch reduzieren. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!