Kleine Sprachmodelle können für Unternehmen eine kostengünstige LLM-Alternative darstellen.Akimov Igor | shutterstock.com Seit ChatGPT Ende 2022 veröffentlicht wurde, haben Large Language Models (LLMs) die Messlatte für die Leistungsfähigkeit von Generative-AI-Systemen kontinuierlich höhergelegt. Und obwohl der KI-Hype weiterhin anhält, ist die Technologie auf dem Weg ins „Tal der Ernüchterung“, wie die Marktforscher von Gartner in ihrem aktuellen Hype Cycle für künstliche Intelligenz festhalten. Die Gründe dafür sind (unter anderem): hohe Kosten, Datenschutz- und Sicherheitsbedenken, sowie Transparenzprobleme. Eine mögliche Lösung für diese Herausforderungen bieten Small Language Models (SLMs). Sie sind einerseits einfacher und kostengünstiger zu trainieren. Andererseits lassen sich kleine Sprachmodelle auch problemlos On-Premises betreiben, was eine bessere Kontrolle über die genutzten Daten ermöglicht. Eine Herausforderung bei SLMs besteht hingegen darin, dass sie tendenziell weniger akkurat sind als große Sprachmodelle. Um diesen Nachteil auszugleichen und sich parallel die Stärken von SLMs zunutze zu machen, setzen Unternehmen zunehmend darauf, kleine Sprachmodelle gezielt auf domänenspezifische Anwendungsfälle zu trainieren. Im Folgenden haben wir fünf der beliebtesten SLM-Anwendungsfälle sowie die dafür jeweils am besten geeigneten Sprachmodelle für Sie zusammengefasst. 1. Personenbezogene Daten maskieren Eine wesentliche Sorge von Unternehmen, die LLMs einsetzen, ist es, dass KI-Systeme personenbezogene Daten offenlegen. Lösungen zu entwickeln, die diese Informationen maskieren, ist deshalb essenziell. Dabei muss allerdings parallel die Data Lineage gewahrt bleiben. Um persönliche Daten zu maskieren, schneiden die SLMs Phi-3 und Gliner gut ab. Allerdings können beide in dieser Hinsicht (aktuell) nicht mit Llama-3.1-8B mithalten. 2. Toxische Inhalte erkennen Bei diesem Anwendungsfall werden kleine Sprachmodelle eingesetzt, um unerwünschte, toxische oder hasserfüllte Inhalte auf Textbasis zu identifizieren. Zu verhindern, dass Content dieser Art in KI-Systeme einfließt, ist essenziell. Schließlich setzen immer mehr Unternehmen diese ein, um automatisiert mit ihren Kunden zu interagieren. Für diesen Use Case eignet sich das RoBERTa-Modell besonders gut. 3. Softwareentwickler unterstützen Bei Programmieraufgaben zu assistieren, ist ein „OG“-Anwendungsfall für generative KI. Entsprechende Assistenten sind inzwischen von diversen Anbietern verfügbar und im Unternehmensumfeld weit verbreitet. Dabei bieten die speziell auf Coding-Aufgaben ausgerichteten Varianten von Llama (Code Llama) und Gemma (CodeGemma) ansprechende Alternativen zu LLMs. 4. Medizinische Daten zusammenfassen Medizinische Daten zusammenzufassen und zu verstehen, ist ein spezialisierter Anwendungsfall aus dem Gesundheitswesen. Dieser wird relevant, wenn KI-Systeme zum Beispiel Gespräche zwischen Arzt und Patient analysieren sollen. Für diese Aufgabe kommen in erster Linie KI-Modelle zum Einsatz, die auf spezifischen, medizinischen Datensätzen trainiert wurden. Entsprechend ist das ein Bereich, der sich für Small Language Models besonders gut eignet – und in dem sie erheblichen Impact erzielen können. Unter den kleinen Sprachmodellen ist das T5-SML ein besonders gut geeigneter Kandidat für diese Aufgabe. 5. Rechnungen bearbeiten Die Procurement-Abteilungen großer Unternehmen haben mit einem erheblichen Rechnungsaufkommen zu kämpfen. Diese Rechnungen automatisiert zu scannen und die enthaltenen Informationen zu extrahieren, ist entsprechend keine triviale Aufgabe. Auch dieser Use Case eignet sich in besonderem Maße für SLMs. Das Phi-3-vision-Modell sticht dabei besonders hervor. (fm) Aravind Chandramouli ist Head of the AI Center of Excellence beim Data-Science-Spezialisten Tredence. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
Die 5 besten SLM-Anwendungsfälle
Kleine Sprachmodelle können für Unternehmen eine kostengünstige LLM-Alternative darstellen.Akimov Igor | shutterstock.com Seit ChatGPT Ende 2022 veröffentlicht wurde, haben Large Language Models (LLMs) die Messlatte für die Leistungsfähigkeit von Generative-AI-Systemen kontinuierlich höhergelegt. Und obwohl der KI-Hype weiterhin anhält, ist die Technologie auf dem Weg ins „Tal der Ernüchterung“, wie die Marktforscher von Gartner in ihrem aktuellen Hype Cycle für künstliche Intelligenz festhalten. Die Gründe dafür sind (unter anderem): hohe Kosten, Datenschutz- und Sicherheitsbedenken, sowie Transparenzprobleme. Eine mögliche Lösung für diese Herausforderungen bieten Small Language Models (SLMs). Sie sind einerseits einfacher und kostengünstiger zu trainieren. Andererseits lassen sich kleine Sprachmodelle auch problemlos On-Premises betreiben, was eine bessere Kontrolle über die genutzten Daten ermöglicht. Eine Herausforderung bei SLMs besteht hingegen darin, dass sie tendenziell weniger akkurat sind als große Sprachmodelle. Um diesen Nachteil auszugleichen und sich parallel die Stärken von SLMs zunutze zu machen, setzen Unternehmen zunehmend darauf, kleine Sprachmodelle gezielt auf domänenspezifische Anwendungsfälle zu trainieren. Im Folgenden haben wir fünf der beliebtesten SLM-Anwendungsfälle sowie die dafür jeweils am besten geeigneten Sprachmodelle für Sie zusammengefasst. 1. Personenbezogene Daten maskieren Eine wesentliche Sorge von Unternehmen, die LLMs einsetzen, ist es, dass KI-Systeme personenbezogene Daten offenlegen. Lösungen zu entwickeln, die diese Informationen maskieren, ist deshalb essenziell. Dabei muss allerdings parallel die Data Lineage gewahrt bleiben. Um persönliche Daten zu maskieren, schneiden die SLMs Phi-3 und Gliner gut ab. Allerdings können beide in dieser Hinsicht (aktuell) nicht mit Llama-3.1-8B mithalten. 2. Toxische Inhalte erkennen Bei diesem Anwendungsfall werden kleine Sprachmodelle eingesetzt, um unerwünschte, toxische oder hasserfüllte Inhalte auf Textbasis zu identifizieren. Zu verhindern, dass Content dieser Art in KI-Systeme einfließt, ist essenziell. Schließlich setzen immer mehr Unternehmen diese ein, um automatisiert mit ihren Kunden zu interagieren. Für diesen Use Case eignet sich das RoBERTa-Modell besonders gut. 3. Softwareentwickler unterstützen Bei Programmieraufgaben zu assistieren, ist ein „OG“-Anwendungsfall für generative KI. Entsprechende Assistenten sind inzwischen von diversen Anbietern verfügbar und im Unternehmensumfeld weit verbreitet. Dabei bieten die speziell auf Coding-Aufgaben ausgerichteten Varianten von Llama (Code Llama) und Gemma (CodeGemma) ansprechende Alternativen zu LLMs. 4. Medizinische Daten zusammenfassen Medizinische Daten zusammenzufassen und zu verstehen, ist ein spezialisierter Anwendungsfall aus dem Gesundheitswesen. Dieser wird relevant, wenn KI-Systeme zum Beispiel Gespräche zwischen Arzt und Patient analysieren sollen. Für diese Aufgabe kommen in erster Linie KI-Modelle zum Einsatz, die auf spezifischen, medizinischen Datensätzen trainiert wurden. Entsprechend ist das ein Bereich, der sich für Small Language Models besonders gut eignet – und in dem sie erheblichen Impact erzielen können. Unter den kleinen Sprachmodellen ist das T5-SML ein besonders gut geeigneter Kandidat für diese Aufgabe. 5. Rechnungen bearbeiten Die Procurement-Abteilungen großer Unternehmen haben mit einem erheblichen Rechnungsaufkommen zu kämpfen. Diese Rechnungen automatisiert zu scannen und die enthaltenen Informationen zu extrahieren, ist entsprechend keine triviale Aufgabe. Auch dieser Use Case eignet sich in besonderem Maße für SLMs. Das Phi-3-vision-Modell sticht dabei besonders hervor. (fm) Aravind Chandramouli ist Head of the AI Center of Excellence beim Data-Science-Spezialisten Tredence. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
Die 5 besten SLM-Anwendungsfälle Kleine Sprachmodelle können für Unternehmen eine kostengünstige LLM-Alternative darstellen.Akimov Igor | shutterstock.com Seit ChatGPT Ende 2022 veröffentlicht wurde, haben Large Language Models (LLMs) die Messlatte für die Leistungsfähigkeit von Generative-AI-Systemen kontinuierlich höhergelegt. Und obwohl der KI-Hype weiterhin anhält, ist die Technologie auf dem Weg ins „Tal der Ernüchterung“, wie die Marktforscher von Gartner in ihrem aktuellen Hype Cycle für künstliche Intelligenz festhalten. Die Gründe dafür sind (unter anderem): hohe Kosten, Datenschutz- und Sicherheitsbedenken, sowie Transparenzprobleme. Eine mögliche Lösung für diese Herausforderungen bieten Small Language Models (SLMs). Sie sind einerseits einfacher und kostengünstiger zu trainieren. Andererseits lassen sich kleine Sprachmodelle auch problemlos On-Premises betreiben, was eine bessere Kontrolle über die genutzten Daten ermöglicht. Eine Herausforderung bei SLMs besteht hingegen darin, dass sie tendenziell weniger akkurat sind als große Sprachmodelle. Um diesen Nachteil auszugleichen und sich parallel die Stärken von SLMs zunutze zu machen, setzen Unternehmen zunehmend darauf, kleine Sprachmodelle gezielt auf domänenspezifische Anwendungsfälle zu trainieren. Im Folgenden haben wir fünf der beliebtesten SLM-Anwendungsfälle sowie die dafür jeweils am besten geeigneten Sprachmodelle für Sie zusammengefasst. 1. Personenbezogene Daten maskieren Eine wesentliche Sorge von Unternehmen, die LLMs einsetzen, ist es, dass KI-Systeme personenbezogene Daten offenlegen. Lösungen zu entwickeln, die diese Informationen maskieren, ist deshalb essenziell. Dabei muss allerdings parallel die Data Lineage gewahrt bleiben. Um persönliche Daten zu maskieren, schneiden die SLMs Phi-3 und Gliner gut ab. Allerdings können beide in dieser Hinsicht (aktuell) nicht mit Llama-3.1-8B mithalten. 2. Toxische Inhalte erkennen Bei diesem Anwendungsfall werden kleine Sprachmodelle eingesetzt, um unerwünschte, toxische oder hasserfüllte Inhalte auf Textbasis zu identifizieren. Zu verhindern, dass Content dieser Art in KI-Systeme einfließt, ist essenziell. Schließlich setzen immer mehr Unternehmen diese ein, um automatisiert mit ihren Kunden zu interagieren. Für diesen Use Case eignet sich das RoBERTa-Modell besonders gut. 3. Softwareentwickler unterstützen Bei Programmieraufgaben zu assistieren, ist ein „OG“-Anwendungsfall für generative KI. Entsprechende Assistenten sind inzwischen von diversen Anbietern verfügbar und im Unternehmensumfeld weit verbreitet. Dabei bieten die speziell auf Coding-Aufgaben ausgerichteten Varianten von Llama (Code Llama) und Gemma (CodeGemma) ansprechende Alternativen zu LLMs. 4. Medizinische Daten zusammenfassen Medizinische Daten zusammenzufassen und zu verstehen, ist ein spezialisierter Anwendungsfall aus dem Gesundheitswesen. Dieser wird relevant, wenn KI-Systeme zum Beispiel Gespräche zwischen Arzt und Patient analysieren sollen. Für diese Aufgabe kommen in erster Linie KI-Modelle zum Einsatz, die auf spezifischen, medizinischen Datensätzen trainiert wurden. Entsprechend ist das ein Bereich, der sich für Small Language Models besonders gut eignet – und in dem sie erheblichen Impact erzielen können. Unter den kleinen Sprachmodellen ist das T5-SML ein besonders gut geeigneter Kandidat für diese Aufgabe. 5. Rechnungen bearbeiten Die Procurement-Abteilungen großer Unternehmen haben mit einem erheblichen Rechnungsaufkommen zu kämpfen. Diese Rechnungen automatisiert zu scannen und die enthaltenen Informationen zu extrahieren, ist entsprechend keine triviale Aufgabe. Auch dieser Use Case eignet sich in besonderem Maße für SLMs. Das Phi-3-vision-Modell sticht dabei besonders hervor. (fm) Aravind Chandramouli ist Head of the AI Center of Excellence beim Data-Science-Spezialisten Tredence. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
