Am 25.09.2024 hat Meta die neuste Version 3.2 seines Llama Stacks veröffentlicht, in der mehrere Llama Stack-APIs gebündelt werden. Ziel ist es, die Entwicklung generativer KI-Anwendungen sowie grundsätzlich die Arbeit mit Llama Large Language Models (LLMs) in verschiedenen Umgebungen zu erleichtern. Doch woraus besteht der Stack und was kann er? Allgemein beinhaltet der Llama Stack folgende Schnittstellen (APIs): Schlussfolgerung Sicherheit Speicher Agentisches System Bewertung Post-Training Erzeugung synthetischer Daten Bewertung von Belohnungen Was Llama alles kann Zwei der größten Modelle der Llama 3.2-Kollektion, 11B und 90B, lassen sich dem Anbieter zufolge zum Beispiel im Bereich des sogenannten Image Reasoning anwenden. Dort sind sie dann zuständig für das Verstehen von Dokumenten, einschließlich Diagrammen und Graphen, das Beschriften von Bildern und visuelle Aufgaben wie das gezielte Auffinden von Objekten in Bildern auf der Grundlage von Beschreibungen in natürlicher Sprache. Ein User könnte beispielsweise eine Frage stellen, in welchem Monat im vergangenen Jahr das eigene Unternehmen die besten Umsätze erzielt hatte. Llama 3.2 kann dann auf der Grundlage eines verfügbaren Diagramms Schlussfolgerungen ziehen und schnell die Antwort geben. In einem anderen Beispiel könnte das Modell auf eine Karte zugreifen und Fragen beantworten, zum Beispiel an welchen Stellen einer Wanderung das Gelände steiler wird oder wie weit ein bestimmter Weg auf der Karte ist. Die Modelle 11B und 90B könnten den Meta-Verantwortlichen zufolge auch die Kluft zwischen Sehen und Sprechen überbrücken, indem sie Details aus einem Bild extrahieren, die Szene verstehen und dann einen oder zwei Sätze formulieren, die als Bildunterschrift verwendet werden können, um die abgebildete Geschichte zu erzählen. Der technische Unterbau Technisch gesehen setzt der Llama Stack hierbei auf verschiedene Bausteine, die den gesamten Entwicklungszyklus umfassen, vom Modelltraining und der Feinabstimmung über die Produktevaluierung bis hin zum Aufbau und Betrieb von KI-Agenten und RAG-Anwendungen (Retrieval-Augmented Generation) in der Produktion. Immer mehr Anbieter Auf GitHub findet sich zudem ein Repository für die Llama Stack API-Spezifikationen.Meta möchte darüber hinaus auch weitere Anbieter für die Entwicklung von Llama Stack APIs gewinnen. Dadurch soll sichergestellt werden, dass Entwickler KI-Lösungen aus konsistenten, ineinandergreifenden Teilen plattformübergreifend zusammenstellen können. Die Llama Stack-Distributionen sollen es Entwicklern ermöglichen, mit Llama-Modellen in verschiedenen Umgebungen zu arbeiten. Hierzu zählen laut Meta On-Prem, Cloud, Single-Node und On-Device. Jede API besteht aus einer Sammlung von REST-Endpunkten. Die Einführung der Llama Stack-Distributionen erfolgt zeitgleich mit der Veröffentlichung von Meta’s Llama 3.2, das eine kleine und eine mittelgroße LLM-Version (11B und 90B) sowie leichtgewichtige, reine Textmodelle (1B und 3B) enthält, die auf Edge- und Mobilgeräte passen.
Metas Llama-Herde wächst
Am 25.09.2024 hat Meta die neuste Version 3.2 seines Llama Stacks veröffentlicht, in der mehrere Llama Stack-APIs gebündelt werden. Ziel ist es, die Entwicklung generativer KI-Anwendungen sowie grundsätzlich die Arbeit mit Llama Large Language Models (LLMs) in verschiedenen Umgebungen zu erleichtern. Doch woraus besteht der Stack und was kann er? Allgemein beinhaltet der Llama Stack folgende Schnittstellen (APIs): Schlussfolgerung Sicherheit Speicher Agentisches System Bewertung Post-Training Erzeugung synthetischer Daten Bewertung von Belohnungen Was Llama alles kann Zwei der größten Modelle der Llama 3.2-Kollektion, 11B und 90B, lassen sich dem Anbieter zufolge zum Beispiel im Bereich des sogenannten Image Reasoning anwenden. Dort sind sie dann zuständig für das Verstehen von Dokumenten, einschließlich Diagrammen und Graphen, das Beschriften von Bildern und visuelle Aufgaben wie das gezielte Auffinden von Objekten in Bildern auf der Grundlage von Beschreibungen in natürlicher Sprache. Ein User könnte beispielsweise eine Frage stellen, in welchem Monat im vergangenen Jahr das eigene Unternehmen die besten Umsätze erzielt hatte. Llama 3.2 kann dann auf der Grundlage eines verfügbaren Diagramms Schlussfolgerungen ziehen und schnell die Antwort geben. In einem anderen Beispiel könnte das Modell auf eine Karte zugreifen und Fragen beantworten, zum Beispiel an welchen Stellen einer Wanderung das Gelände steiler wird oder wie weit ein bestimmter Weg auf der Karte ist. Die Modelle 11B und 90B könnten den Meta-Verantwortlichen zufolge auch die Kluft zwischen Sehen und Sprechen überbrücken, indem sie Details aus einem Bild extrahieren, die Szene verstehen und dann einen oder zwei Sätze formulieren, die als Bildunterschrift verwendet werden können, um die abgebildete Geschichte zu erzählen. Der technische Unterbau Technisch gesehen setzt der Llama Stack hierbei auf verschiedene Bausteine, die den gesamten Entwicklungszyklus umfassen, vom Modelltraining und der Feinabstimmung über die Produktevaluierung bis hin zum Aufbau und Betrieb von KI-Agenten und RAG-Anwendungen (Retrieval-Augmented Generation) in der Produktion. Immer mehr Anbieter Auf GitHub findet sich zudem ein Repository für die Llama Stack API-Spezifikationen.Meta möchte darüber hinaus auch weitere Anbieter für die Entwicklung von Llama Stack APIs gewinnen. Dadurch soll sichergestellt werden, dass Entwickler KI-Lösungen aus konsistenten, ineinandergreifenden Teilen plattformübergreifend zusammenstellen können. Die Llama Stack-Distributionen sollen es Entwicklern ermöglichen, mit Llama-Modellen in verschiedenen Umgebungen zu arbeiten. Hierzu zählen laut Meta On-Prem, Cloud, Single-Node und On-Device. Jede API besteht aus einer Sammlung von REST-Endpunkten. Die Einführung der Llama Stack-Distributionen erfolgt zeitgleich mit der Veröffentlichung von Meta’s Llama 3.2, das eine kleine und eine mittelgroße LLM-Version (11B und 90B) sowie leichtgewichtige, reine Textmodelle (1B und 3B) enthält, die auf Edge- und Mobilgeräte passen.
Metas Llama-Herde wächst Am 25.09.2024 hat Meta die neuste Version 3.2 seines Llama Stacks veröffentlicht, in der mehrere Llama Stack-APIs gebündelt werden. Ziel ist es, die Entwicklung generativer KI-Anwendungen sowie grundsätzlich die Arbeit mit Llama Large Language Models (LLMs) in verschiedenen Umgebungen zu erleichtern. Doch woraus besteht der Stack und was kann er? Allgemein beinhaltet der Llama Stack folgende Schnittstellen (APIs): Schlussfolgerung Sicherheit Speicher Agentisches System Bewertung Post-Training Erzeugung synthetischer Daten Bewertung von Belohnungen Was Llama alles kann Zwei der größten Modelle der Llama 3.2-Kollektion, 11B und 90B, lassen sich dem Anbieter zufolge zum Beispiel im Bereich des sogenannten Image Reasoning anwenden. Dort sind sie dann zuständig für das Verstehen von Dokumenten, einschließlich Diagrammen und Graphen, das Beschriften von Bildern und visuelle Aufgaben wie das gezielte Auffinden von Objekten in Bildern auf der Grundlage von Beschreibungen in natürlicher Sprache. Ein User könnte beispielsweise eine Frage stellen, in welchem Monat im vergangenen Jahr das eigene Unternehmen die besten Umsätze erzielt hatte. Llama 3.2 kann dann auf der Grundlage eines verfügbaren Diagramms Schlussfolgerungen ziehen und schnell die Antwort geben. In einem anderen Beispiel könnte das Modell auf eine Karte zugreifen und Fragen beantworten, zum Beispiel an welchen Stellen einer Wanderung das Gelände steiler wird oder wie weit ein bestimmter Weg auf der Karte ist. Die Modelle 11B und 90B könnten den Meta-Verantwortlichen zufolge auch die Kluft zwischen Sehen und Sprechen überbrücken, indem sie Details aus einem Bild extrahieren, die Szene verstehen und dann einen oder zwei Sätze formulieren, die als Bildunterschrift verwendet werden können, um die abgebildete Geschichte zu erzählen. Der technische Unterbau Technisch gesehen setzt der Llama Stack hierbei auf verschiedene Bausteine, die den gesamten Entwicklungszyklus umfassen, vom Modelltraining und der Feinabstimmung über die Produktevaluierung bis hin zum Aufbau und Betrieb von KI-Agenten und RAG-Anwendungen (Retrieval-Augmented Generation) in der Produktion. Immer mehr Anbieter Auf GitHub findet sich zudem ein Repository für die Llama Stack API-Spezifikationen.Meta möchte darüber hinaus auch weitere Anbieter für die Entwicklung von Llama Stack APIs gewinnen. Dadurch soll sichergestellt werden, dass Entwickler KI-Lösungen aus konsistenten, ineinandergreifenden Teilen plattformübergreifend zusammenstellen können. Die Llama Stack-Distributionen sollen es Entwicklern ermöglichen, mit Llama-Modellen in verschiedenen Umgebungen zu arbeiten. Hierzu zählen laut Meta On-Prem, Cloud, Single-Node und On-Device. Jede API besteht aus einer Sammlung von REST-Endpunkten. Die Einführung der Llama Stack-Distributionen erfolgt zeitgleich mit der Veröffentlichung von Meta’s Llama 3.2, das eine kleine und eine mittelgroße LLM-Version (11B und 90B) sowie leichtgewichtige, reine Textmodelle (1B und 3B) enthält, die auf Edge- und Mobilgeräte passen.
