RAG kann für Unternehmen vieles besser machen, aber auch neue Probleme schaffen. Koshiro K – shutterstock.com Das RAG-Framework (Retrieval-Augmented Generation) wird bei Unternehmen zunehmend beliebter, da es generative KI (GenAI) mit firmeneigenem Wissen kombiniert. RAG ist eine KI-Architektur, die generative Sprachmodelle mit unternehmensinternen Daten verknüpft. Sie ermöglicht es, bei Anfragen relevantes Wissen aus Datenbanken und Dokumenten abzurufen und gemeinsam mit der Anfrage ins Modell einzuspeisen. Dadurch können präzisere und kontextbezogene Antworten entstehen, die über das vortrainierte Wissen des Modells hinausgehen. Indem auf interne Datenquellen wie PDFs oder FAQs bei der Anfrage zugriffen wird, reduziert RAG zudem Halluzinationen deutlich, da Antworten auf überprüfbaren Informationen basieren und nachvollziehbar sind. Datenqualität entscheidet über Ergebnisqualität Ein weiterer Vorteil von RAG soll laut den KI-Experten von Bloomberg darin bestehen, dass beispielsweise Unternehmen nützliche Informationen aus Ihren jahrelang angelegten, unorganisierten Datenquellen extrahieren können, auf die Sie sonst nur schwer zugreifen könnten. Wenn die zugrunde liegenden Daten allerdings veraltet oder von schlechter Qualität sind, liefert das System unzuverlässige Ergebnisse. Da RAG die Daten nicht automatisch bereinigt, müssen Unternehmen sie sorgfältig pflegen, strukturieren und aktuell halten, um zuverlässige Resultate zu erhalten. Erhöhte Risiken durch RAG Laut den Experten kann RAG aber auch die Sicherheit von KI-Modellen beeinträchtigen. Selbst normalerweise „sichere“ Modelle lieferten bei aktiviertem RAG deutlich mehr problematische Antworten. In Tests von elf führenden LLMs, darunter GPT-4o, Claude-3.5-Sonnet und Llama-3-8 B, mit über 5.000 schädlichen Eingaben stieg die Rate unsicherer Ausgaben um 15 bis 30 Prozent. Besonders kritisch war der Umgang mit langen Dokumenten, der zu Datenlecks, irreführenden Analysen und voreingenommenen Empfehlungen führte. Außerdem war es wahrscheinlicher, dass die RAG-fähigen Modelle gefährliche Antworten lieferten, die für Malware und politische Kampagnen verwendet werden könnten. Dynamische Daten erhöhen Risiko RAG birgt laut den Forschern von Bloomberg noch weitere Risiken mit sich: Aufgrund seines Designs, das externe Daten dynamisch einbindet, entstehen neue, schwer kontrollierbare Schwachstellen. Daher fordern Experten mehrschichtige Schutzmaßnahmen und einen verantwortungsvollen Umgang mit RAG. Hiermit ließen sich sichere und zuverlässige Ergebnisse gewährleisten. Mehrschichtige Sicherheitsmaßnahmen empfohlen Weitere Experten empfehlen zudem, für RAG bereichsspezifische Gefahrenklassifizierungen zu entwickeln und Sicherheitsmaßnahmen wie Geschäftslogikprüfungen, Faktenchecks und Red-Team-Tests zu kombinieren. Besonders im Finanzsektor seien strenge Prüfungen notwendig, da fehlerhafte oder vertrauliche Inhalte rechtliche Konsequenzen nach sich ziehen können. Angesichts zunehmender regulatorischer Kontrolle in den USA und der EU ist ein verantwortungsvoller sowie sicherer Einsatz von RAG unerlässlich.
RAG-Framework verbindet GenAI mit Unternehmenswissen
RAG kann für Unternehmen vieles besser machen, aber auch neue Probleme schaffen. Koshiro K – shutterstock.com Das RAG-Framework (Retrieval-Augmented Generation) wird bei Unternehmen zunehmend beliebter, da es generative KI (GenAI) mit firmeneigenem Wissen kombiniert. RAG ist eine KI-Architektur, die generative Sprachmodelle mit unternehmensinternen Daten verknüpft. Sie ermöglicht es, bei Anfragen relevantes Wissen aus Datenbanken und Dokumenten abzurufen und gemeinsam mit der Anfrage ins Modell einzuspeisen. Dadurch können präzisere und kontextbezogene Antworten entstehen, die über das vortrainierte Wissen des Modells hinausgehen. Indem auf interne Datenquellen wie PDFs oder FAQs bei der Anfrage zugriffen wird, reduziert RAG zudem Halluzinationen deutlich, da Antworten auf überprüfbaren Informationen basieren und nachvollziehbar sind. Datenqualität entscheidet über Ergebnisqualität Ein weiterer Vorteil von RAG soll laut den KI-Experten von Bloomberg darin bestehen, dass beispielsweise Unternehmen nützliche Informationen aus Ihren jahrelang angelegten, unorganisierten Datenquellen extrahieren können, auf die Sie sonst nur schwer zugreifen könnten. Wenn die zugrunde liegenden Daten allerdings veraltet oder von schlechter Qualität sind, liefert das System unzuverlässige Ergebnisse. Da RAG die Daten nicht automatisch bereinigt, müssen Unternehmen sie sorgfältig pflegen, strukturieren und aktuell halten, um zuverlässige Resultate zu erhalten. Erhöhte Risiken durch RAG Laut den Experten kann RAG aber auch die Sicherheit von KI-Modellen beeinträchtigen. Selbst normalerweise „sichere“ Modelle lieferten bei aktiviertem RAG deutlich mehr problematische Antworten. In Tests von elf führenden LLMs, darunter GPT-4o, Claude-3.5-Sonnet und Llama-3-8 B, mit über 5.000 schädlichen Eingaben stieg die Rate unsicherer Ausgaben um 15 bis 30 Prozent. Besonders kritisch war der Umgang mit langen Dokumenten, der zu Datenlecks, irreführenden Analysen und voreingenommenen Empfehlungen führte. Außerdem war es wahrscheinlicher, dass die RAG-fähigen Modelle gefährliche Antworten lieferten, die für Malware und politische Kampagnen verwendet werden könnten. Dynamische Daten erhöhen Risiko RAG birgt laut den Forschern von Bloomberg noch weitere Risiken mit sich: Aufgrund seines Designs, das externe Daten dynamisch einbindet, entstehen neue, schwer kontrollierbare Schwachstellen. Daher fordern Experten mehrschichtige Schutzmaßnahmen und einen verantwortungsvollen Umgang mit RAG. Hiermit ließen sich sichere und zuverlässige Ergebnisse gewährleisten. Mehrschichtige Sicherheitsmaßnahmen empfohlen Weitere Experten empfehlen zudem, für RAG bereichsspezifische Gefahrenklassifizierungen zu entwickeln und Sicherheitsmaßnahmen wie Geschäftslogikprüfungen, Faktenchecks und Red-Team-Tests zu kombinieren. Besonders im Finanzsektor seien strenge Prüfungen notwendig, da fehlerhafte oder vertrauliche Inhalte rechtliche Konsequenzen nach sich ziehen können. Angesichts zunehmender regulatorischer Kontrolle in den USA und der EU ist ein verantwortungsvoller sowie sicherer Einsatz von RAG unerlässlich.
RAG-Framework verbindet GenAI mit Unternehmenswissen RAG kann für Unternehmen vieles besser machen, aber auch neue Probleme schaffen. Koshiro K – shutterstock.com Das RAG-Framework (Retrieval-Augmented Generation) wird bei Unternehmen zunehmend beliebter, da es generative KI (GenAI) mit firmeneigenem Wissen kombiniert. RAG ist eine KI-Architektur, die generative Sprachmodelle mit unternehmensinternen Daten verknüpft. Sie ermöglicht es, bei Anfragen relevantes Wissen aus Datenbanken und Dokumenten abzurufen und gemeinsam mit der Anfrage ins Modell einzuspeisen. Dadurch können präzisere und kontextbezogene Antworten entstehen, die über das vortrainierte Wissen des Modells hinausgehen. Indem auf interne Datenquellen wie PDFs oder FAQs bei der Anfrage zugriffen wird, reduziert RAG zudem Halluzinationen deutlich, da Antworten auf überprüfbaren Informationen basieren und nachvollziehbar sind. Datenqualität entscheidet über Ergebnisqualität Ein weiterer Vorteil von RAG soll laut den KI-Experten von Bloomberg darin bestehen, dass beispielsweise Unternehmen nützliche Informationen aus Ihren jahrelang angelegten, unorganisierten Datenquellen extrahieren können, auf die Sie sonst nur schwer zugreifen könnten. Wenn die zugrunde liegenden Daten allerdings veraltet oder von schlechter Qualität sind, liefert das System unzuverlässige Ergebnisse. Da RAG die Daten nicht automatisch bereinigt, müssen Unternehmen sie sorgfältig pflegen, strukturieren und aktuell halten, um zuverlässige Resultate zu erhalten. Erhöhte Risiken durch RAG Laut den Experten kann RAG aber auch die Sicherheit von KI-Modellen beeinträchtigen. Selbst normalerweise „sichere“ Modelle lieferten bei aktiviertem RAG deutlich mehr problematische Antworten. In Tests von elf führenden LLMs, darunter GPT-4o, Claude-3.5-Sonnet und Llama-3-8 B, mit über 5.000 schädlichen Eingaben stieg die Rate unsicherer Ausgaben um 15 bis 30 Prozent. Besonders kritisch war der Umgang mit langen Dokumenten, der zu Datenlecks, irreführenden Analysen und voreingenommenen Empfehlungen führte. Außerdem war es wahrscheinlicher, dass die RAG-fähigen Modelle gefährliche Antworten lieferten, die für Malware und politische Kampagnen verwendet werden könnten. Dynamische Daten erhöhen Risiko RAG birgt laut den Forschern von Bloomberg noch weitere Risiken mit sich: Aufgrund seines Designs, das externe Daten dynamisch einbindet, entstehen neue, schwer kontrollierbare Schwachstellen. Daher fordern Experten mehrschichtige Schutzmaßnahmen und einen verantwortungsvollen Umgang mit RAG. Hiermit ließen sich sichere und zuverlässige Ergebnisse gewährleisten. Mehrschichtige Sicherheitsmaßnahmen empfohlen Weitere Experten empfehlen zudem, für RAG bereichsspezifische Gefahrenklassifizierungen zu entwickeln und Sicherheitsmaßnahmen wie Geschäftslogikprüfungen, Faktenchecks und Red-Team-Tests zu kombinieren. Besonders im Finanzsektor seien strenge Prüfungen notwendig, da fehlerhafte oder vertrauliche Inhalte rechtliche Konsequenzen nach sich ziehen können. Angesichts zunehmender regulatorischer Kontrolle in den USA und der EU ist ein verantwortungsvoller sowie sicherer Einsatz von RAG unerlässlich.