Ein symbolischer Blick auf die LLM-App-Framework-Landkarte.Andis Rea | shutterstock.com Isoliert betrachtet könnte man Large Language Models (LLMs) durchaus als stochastische Papageien bezeichnen. Erst in Verbindung mit Retrieval Augmented Generation (RAG) und Software entstehen KI-Systeme, die Nutzwert erzeugen. Damit das funktioniert, benötigen die KI-Apps jedoch ein Rahmenwerk, das die Komponenten miteinander verbindet und koordiniert. In diesem Artikel werfen wir einen Blick auf die vier wichtigsten LLM-App-Frameworks. Alle vier sind quelloffen – Sie können sie also jederzeit kostenlos austesten (idealerweise mit einem möglichst simplen Use Case). 1. Haystack Das Open-Source-Framework Haystack ist darauf konzipiert, LLM- und RAG-Anwendungen sowie Suchsysteme für große Dokumentensammlungen zu erstellen. Haystack integriert mit: KI-Modellen, die auf Plattformen wie Hugging Face, OpenAI und Cohere gehostet werden; KI-Modellen, die auf Plattformen wie Amazon SageMaker, Microsoft Azure AI und Google Cloud Vertex AI bereitgestellt werden; Dokumentenspeichern wie OpenSearch, Pinecone und Qdrant. Über die Haystack-Community stehen zudem weitere Integrationen bereit – beispielsweise für Evaluierung, Monitoring und Datenerfassung. Zu den Anwendungsfällen für Haystack zählen: RAG, Chatbots, Agenten, multimodale Fragen sowie Informationsextraktion aus Dokumenten. Haystack deckt funktional die volle Bandbreite von LLM-Projekten ab – inklusive Datenquellenintegration, Datenbereinigung und -vorverarbeitung, Modelle, Protokollierung und Instrumentierung. Tiefgehendere Einblicke in Haystack bietet unser ausführlicher Test des Frameworks. 2. LangChain LangChain verbindet Sprachmodelle mit Datenquellen und ermöglicht ihnen auch, mit ihrer Umgebung zu interagieren. Dieses quelloffene Framework besteht aus sechs Modulen: Model I/O ist ein Interface mit Sprachmodellen. Data connection ist eine Schnittstelle mit anwendungsspezifischen Daten. Chains konstruieren Call-Sequenzen. Agents lassen Chains anhand übergeordneter Anweisungen auswählen, welche Tools verwendet werden sollen. Memory speichert den Anwendungsstatus zwischen den Chain-Durchläufen. Callbacks protokollieren und streamen Zwischenschritte jeder Chain. Im Fall von LangChain gibt es zwei Arten von Sprachmodellen, LLMs und ChatModels. Erstere nutzen einen String als Input und geben auch einen solchen zurück. Zweiteren dient eine Liste von Nachrichten als Input, der Output ist eine ChatMessage. Einen umfassenden Überblick über LangChain verschafft unser Grundlagenartikel zum Thema. 3. LlamaIndex LlamaIndex ist darauf ausgelegt, Anwender dabei zu unterstützen, kontextbezogene LLM-Anwendungen auf die Beine zu stellen. Im Klartext ermöglicht dieses Framework also, Large Language Models und eigene Daten zusammenzubringen – etwa in Form eines Chatbots oder eines autonomen Agenten. Dieses Framework stellt folgende Tools bereit, um Daten zu verarbeiten: Data Connectors nehmen vorhandene Daten aus ihrer nativen Quelle und in ihrem nativen Format auf. Data Indexes (auch Embeddings genannt), strukturieren Daten in Zwischendarstellungen. Engines bieten natürlichsprachlichen Zugriff auf die Daten. Agenten sind LLM-gestützte Knowledge Worker, die von Software-Tools unterstützt werden. Integrationen für Observability-, Tracing- und Evaluierungs-Tools ermöglichen es, LLM-basierte App zu testen, zu bewerten und zu überwachen. Ausführliche Infos zu LlamaIndex entnehmen Sie unserem umfassenden Test. 4. Semantic Kernel Das quelloffene SDK Semantic Kernel übernimmt innerhalb des Open-Source-LLM-Stacks von Microsoft dieselbe Funktion wie die KI-Orchestrierung im internen Stack für Copilot: Es fungiert als Herz- und Verbindungsstück. Anders ausgedrückt: Semantic Kernel verbindet große Sprachmodelle mit Daten und Code. Darüber hinaus ist es mit diesem Framework möglich, mit Hilfe von LLMs und Templates Pläne zu generieren. Das geht über das hinaus, was man mit Funktionsaufrufen erreichen kann, und ist ein Alleinstellungsmerkmal von Semantic Kernel. Die Funktion nimmt einen User Request entgegen und gibt einen Plan darüber zurück, wie dessen Anforderungen erfüllt werden können. Semantic Kernel ist im Wesentlichen so etwas wie ein „Verkehrspolizist“ für KI-Anwendungen, der: KI-Services auswählt und aufruft, Prompts rendert, LLM-Outputs analysiert und Funktionsergebnisse generiert. In unserem englischsprachigen Review zu Semnatic Kernel erfahren Sie mehr über dieses LLM-App-Framework. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
Die 4 wichtigsten LLM-App-Frameworks
Ein symbolischer Blick auf die LLM-App-Framework-Landkarte.Andis Rea | shutterstock.com Isoliert betrachtet könnte man Large Language Models (LLMs) durchaus als stochastische Papageien bezeichnen. Erst in Verbindung mit Retrieval Augmented Generation (RAG) und Software entstehen KI-Systeme, die Nutzwert erzeugen. Damit das funktioniert, benötigen die KI-Apps jedoch ein Rahmenwerk, das die Komponenten miteinander verbindet und koordiniert. In diesem Artikel werfen wir einen Blick auf die vier wichtigsten LLM-App-Frameworks. Alle vier sind quelloffen – Sie können sie also jederzeit kostenlos austesten (idealerweise mit einem möglichst simplen Use Case). 1. Haystack Das Open-Source-Framework Haystack ist darauf konzipiert, LLM- und RAG-Anwendungen sowie Suchsysteme für große Dokumentensammlungen zu erstellen. Haystack integriert mit: KI-Modellen, die auf Plattformen wie Hugging Face, OpenAI und Cohere gehostet werden; KI-Modellen, die auf Plattformen wie Amazon SageMaker, Microsoft Azure AI und Google Cloud Vertex AI bereitgestellt werden; Dokumentenspeichern wie OpenSearch, Pinecone und Qdrant. Über die Haystack-Community stehen zudem weitere Integrationen bereit – beispielsweise für Evaluierung, Monitoring und Datenerfassung. Zu den Anwendungsfällen für Haystack zählen: RAG, Chatbots, Agenten, multimodale Fragen sowie Informationsextraktion aus Dokumenten. Haystack deckt funktional die volle Bandbreite von LLM-Projekten ab – inklusive Datenquellenintegration, Datenbereinigung und -vorverarbeitung, Modelle, Protokollierung und Instrumentierung. Tiefgehendere Einblicke in Haystack bietet unser ausführlicher Test des Frameworks. 2. LangChain LangChain verbindet Sprachmodelle mit Datenquellen und ermöglicht ihnen auch, mit ihrer Umgebung zu interagieren. Dieses quelloffene Framework besteht aus sechs Modulen: Model I/O ist ein Interface mit Sprachmodellen. Data connection ist eine Schnittstelle mit anwendungsspezifischen Daten. Chains konstruieren Call-Sequenzen. Agents lassen Chains anhand übergeordneter Anweisungen auswählen, welche Tools verwendet werden sollen. Memory speichert den Anwendungsstatus zwischen den Chain-Durchläufen. Callbacks protokollieren und streamen Zwischenschritte jeder Chain. Im Fall von LangChain gibt es zwei Arten von Sprachmodellen, LLMs und ChatModels. Erstere nutzen einen String als Input und geben auch einen solchen zurück. Zweiteren dient eine Liste von Nachrichten als Input, der Output ist eine ChatMessage. Einen umfassenden Überblick über LangChain verschafft unser Grundlagenartikel zum Thema. 3. LlamaIndex LlamaIndex ist darauf ausgelegt, Anwender dabei zu unterstützen, kontextbezogene LLM-Anwendungen auf die Beine zu stellen. Im Klartext ermöglicht dieses Framework also, Large Language Models und eigene Daten zusammenzubringen – etwa in Form eines Chatbots oder eines autonomen Agenten. Dieses Framework stellt folgende Tools bereit, um Daten zu verarbeiten: Data Connectors nehmen vorhandene Daten aus ihrer nativen Quelle und in ihrem nativen Format auf. Data Indexes (auch Embeddings genannt), strukturieren Daten in Zwischendarstellungen. Engines bieten natürlichsprachlichen Zugriff auf die Daten. Agenten sind LLM-gestützte Knowledge Worker, die von Software-Tools unterstützt werden. Integrationen für Observability-, Tracing- und Evaluierungs-Tools ermöglichen es, LLM-basierte App zu testen, zu bewerten und zu überwachen. Ausführliche Infos zu LlamaIndex entnehmen Sie unserem umfassenden Test. 4. Semantic Kernel Das quelloffene SDK Semantic Kernel übernimmt innerhalb des Open-Source-LLM-Stacks von Microsoft dieselbe Funktion wie die KI-Orchestrierung im internen Stack für Copilot: Es fungiert als Herz- und Verbindungsstück. Anders ausgedrückt: Semantic Kernel verbindet große Sprachmodelle mit Daten und Code. Darüber hinaus ist es mit diesem Framework möglich, mit Hilfe von LLMs und Templates Pläne zu generieren. Das geht über das hinaus, was man mit Funktionsaufrufen erreichen kann, und ist ein Alleinstellungsmerkmal von Semantic Kernel. Die Funktion nimmt einen User Request entgegen und gibt einen Plan darüber zurück, wie dessen Anforderungen erfüllt werden können. Semantic Kernel ist im Wesentlichen so etwas wie ein „Verkehrspolizist“ für KI-Anwendungen, der: KI-Services auswählt und aufruft, Prompts rendert, LLM-Outputs analysiert und Funktionsergebnisse generiert. In unserem englischsprachigen Review zu Semnatic Kernel erfahren Sie mehr über dieses LLM-App-Framework. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
Die 4 wichtigsten LLM-App-Frameworks Ein symbolischer Blick auf die LLM-App-Framework-Landkarte.Andis Rea | shutterstock.com Isoliert betrachtet könnte man Large Language Models (LLMs) durchaus als stochastische Papageien bezeichnen. Erst in Verbindung mit Retrieval Augmented Generation (RAG) und Software entstehen KI-Systeme, die Nutzwert erzeugen. Damit das funktioniert, benötigen die KI-Apps jedoch ein Rahmenwerk, das die Komponenten miteinander verbindet und koordiniert. In diesem Artikel werfen wir einen Blick auf die vier wichtigsten LLM-App-Frameworks. Alle vier sind quelloffen – Sie können sie also jederzeit kostenlos austesten (idealerweise mit einem möglichst simplen Use Case). 1. Haystack Das Open-Source-Framework Haystack ist darauf konzipiert, LLM- und RAG-Anwendungen sowie Suchsysteme für große Dokumentensammlungen zu erstellen. Haystack integriert mit: KI-Modellen, die auf Plattformen wie Hugging Face, OpenAI und Cohere gehostet werden; KI-Modellen, die auf Plattformen wie Amazon SageMaker, Microsoft Azure AI und Google Cloud Vertex AI bereitgestellt werden; Dokumentenspeichern wie OpenSearch, Pinecone und Qdrant. Über die Haystack-Community stehen zudem weitere Integrationen bereit – beispielsweise für Evaluierung, Monitoring und Datenerfassung. Zu den Anwendungsfällen für Haystack zählen: RAG, Chatbots, Agenten, multimodale Fragen sowie Informationsextraktion aus Dokumenten. Haystack deckt funktional die volle Bandbreite von LLM-Projekten ab – inklusive Datenquellenintegration, Datenbereinigung und -vorverarbeitung, Modelle, Protokollierung und Instrumentierung. Tiefgehendere Einblicke in Haystack bietet unser ausführlicher Test des Frameworks. 2. LangChain LangChain verbindet Sprachmodelle mit Datenquellen und ermöglicht ihnen auch, mit ihrer Umgebung zu interagieren. Dieses quelloffene Framework besteht aus sechs Modulen: Model I/O ist ein Interface mit Sprachmodellen. Data connection ist eine Schnittstelle mit anwendungsspezifischen Daten. Chains konstruieren Call-Sequenzen. Agents lassen Chains anhand übergeordneter Anweisungen auswählen, welche Tools verwendet werden sollen. Memory speichert den Anwendungsstatus zwischen den Chain-Durchläufen. Callbacks protokollieren und streamen Zwischenschritte jeder Chain. Im Fall von LangChain gibt es zwei Arten von Sprachmodellen, LLMs und ChatModels. Erstere nutzen einen String als Input und geben auch einen solchen zurück. Zweiteren dient eine Liste von Nachrichten als Input, der Output ist eine ChatMessage. Einen umfassenden Überblick über LangChain verschafft unser Grundlagenartikel zum Thema. 3. LlamaIndex LlamaIndex ist darauf ausgelegt, Anwender dabei zu unterstützen, kontextbezogene LLM-Anwendungen auf die Beine zu stellen. Im Klartext ermöglicht dieses Framework also, Large Language Models und eigene Daten zusammenzubringen – etwa in Form eines Chatbots oder eines autonomen Agenten. Dieses Framework stellt folgende Tools bereit, um Daten zu verarbeiten: Data Connectors nehmen vorhandene Daten aus ihrer nativen Quelle und in ihrem nativen Format auf. Data Indexes (auch Embeddings genannt), strukturieren Daten in Zwischendarstellungen. Engines bieten natürlichsprachlichen Zugriff auf die Daten. Agenten sind LLM-gestützte Knowledge Worker, die von Software-Tools unterstützt werden. Integrationen für Observability-, Tracing- und Evaluierungs-Tools ermöglichen es, LLM-basierte App zu testen, zu bewerten und zu überwachen. Ausführliche Infos zu LlamaIndex entnehmen Sie unserem umfassenden Test. 4. Semantic Kernel Das quelloffene SDK Semantic Kernel übernimmt innerhalb des Open-Source-LLM-Stacks von Microsoft dieselbe Funktion wie die KI-Orchestrierung im internen Stack für Copilot: Es fungiert als Herz- und Verbindungsstück. Anders ausgedrückt: Semantic Kernel verbindet große Sprachmodelle mit Daten und Code. Darüber hinaus ist es mit diesem Framework möglich, mit Hilfe von LLMs und Templates Pläne zu generieren. Das geht über das hinaus, was man mit Funktionsaufrufen erreichen kann, und ist ein Alleinstellungsmerkmal von Semantic Kernel. Die Funktion nimmt einen User Request entgegen und gibt einen Plan darüber zurück, wie dessen Anforderungen erfüllt werden können. Semantic Kernel ist im Wesentlichen so etwas wie ein „Verkehrspolizist“ für KI-Anwendungen, der: KI-Services auswählt und aufruft, Prompts rendert, LLM-Outputs analysiert und Funktionsergebnisse generiert. In unserem englischsprachigen Review zu Semnatic Kernel erfahren Sie mehr über dieses LLM-App-Framework. (fm) Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
