Kriminelle suchen gezielt nach nicht registrierten Websites, um diese zu übernehmen und zu infizieren FGC – shutterstock.com Chatbots leisten sich immer wieder Aussetzer, sei es, dass sie Nutzende beleidigen oder Ergebnisse halluzinieren. Mit falschen Adressen von Websites kommt nun ein weiterer Punkt auf die Liste der Fehltritte: Wie die Cybersecurity-Firma Netcraft herausfand, liefert die Künstliche Intelligenz (KI) oft falsche Informationen, wenn sie nach Web-Adressen gefragt wird. Entdeckt hatte das Team von Netcraft diesen Lapsus, als es GPT-4.1-Modelle um die Links zu Anmeldeseiten bekannter Marken aus verschiedenen Bereichen bat. Zwar gab die KI in zwei Dritteln der Fälle die korrekte Website an, 29 Prozent der Links führten jedoch ins Leere, fünf Prozent zu falschen, aber immerhin legitimen Seiten. Phisher nutzen Chatbot-Schwächen gezielt aus Laut Netcraft-Experte Rob Duncan könnten Phisher solche Fehler ausnutzen, indem sie ChatGPT &Co. gezielt nach einer bekannten URL fragen. Ist das erste Ergebnis dann eine nicht registrierte Website bestehe die Chance, dass die Kriminellen diese kaufen und eine Phishing-Website einrichten. Das dieses Szenario bereits jetzt möglich ist, zeigt die von ChatGPT empfohlene Seite des großen Finanzdienstleister Wells Fargo: Der Link führe eine lange bekannte Phishing-Seite, so die Experten. Phishing passt sich an KI-Nutzung an Zusätzlich passen Phishing-Angreifer ihre Strategie zunehmend an die Nutzung von KI-Systemen an, wie The Register berichtet, anstatt sich auf klassische Suchmaschinenoptimierung zu konzentrieren. So gestalteten sie ihre gefälschten Websites nun gezielt so, dass sie in den Ergebnissen von KI-Chatbots wie ChatGPT erscheinen. Technisch sei dies möglich, da die KI nach Wörtern und Assoziationen sucht und nicht Dinge wie URLs oder den Ruf einer Website bewertet, so der Experte. Duncan erklärt auch, dass immer mehr Internetnutzende KI-Modelle statt herkömmlicher Suchmaschinen verwenden. Dabei seien sie sich aber oft der möglichen Fehler von KI gar nicht bewusst. Alles damit die KI einen wahrnimmt Die Forscher von Netcraft entdeckten auch eine ausgeklügelte Methode zur Manipulation von KI-gestützten Programmierassistenten. Die Kriminellen erstellten dazu eine gefälschte API namens SolanaApis, die die legitime Solana-Blockchain-Schnittstelle imitieren sollte. Anschließend erhöhten die Betrüger dann gezielt die Sichtbarkeit ihres schadhaften Codes in KI-generierten Antworten, indem sie zahlreiche gefälschte GitHub-Repositories, Q&A-Dokumente, Anleitungen sowie manipulierte Social-Media- und Entwicklerkonten erstellen. So sollte der Eindruck gegenüber Large Language Models (LLMs) entstehen, der Code sei legitim. Laut Rob Duncan von Netcraft ähnelt dieses Vorgehen einem Supply-Chain-Angriff: eine langfristige Täuschungsstrategie, die darauf abzielt, Vertrauen zu gewinnen und Nutzer zur Nutzung kompromittierter Inhalte zu verleiten. Vibe-Coding“ als Schwachstelle Der Unterschied zu „traditionellen“ Angriffen liege darin, dass hier gezielt Entwickler angesprochen werden. Das Ganze funktioniere wie „einige der Supply-Chain-Angriffe, die wir schon gesehen haben“, so Duncan. Es sei allerdings ein ziemlich langwieriges Spiel, eine Person davon zu überzeugen, eine Pull-Anfrage zu akzeptieren. Die präsentierten Fälle seien zudem „ein bisschen anders, weil man versucht, jemanden, der ein wenig Vibe-Coding betreibt, dazu zu bringen, die falsche API zu verwenden. Es ist ein ähnlich langes Spiel, aber man erhält ein ähnliches Ergebnis“, erklärte Duncan gegenüber The Register. Und es funktioniert: Die Experten von Netcraft fanden mindestens fünf Opfer, die diesen Schadcode in ihre eigenen öffentlichen Projekte kopiert haben – einige davon weisen Anzeichen dafür auf, dass sie mit Code-Assistenten, darunter Cursor, erstellt wurden. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
KI-Chatbot als Phishing-Assistent
Kriminelle suchen gezielt nach nicht registrierten Websites, um diese zu übernehmen und zu infizieren FGC – shutterstock.com Chatbots leisten sich immer wieder Aussetzer, sei es, dass sie Nutzende beleidigen oder Ergebnisse halluzinieren. Mit falschen Adressen von Websites kommt nun ein weiterer Punkt auf die Liste der Fehltritte: Wie die Cybersecurity-Firma Netcraft herausfand, liefert die Künstliche Intelligenz (KI) oft falsche Informationen, wenn sie nach Web-Adressen gefragt wird. Entdeckt hatte das Team von Netcraft diesen Lapsus, als es GPT-4.1-Modelle um die Links zu Anmeldeseiten bekannter Marken aus verschiedenen Bereichen bat. Zwar gab die KI in zwei Dritteln der Fälle die korrekte Website an, 29 Prozent der Links führten jedoch ins Leere, fünf Prozent zu falschen, aber immerhin legitimen Seiten. Phisher nutzen Chatbot-Schwächen gezielt aus Laut Netcraft-Experte Rob Duncan könnten Phisher solche Fehler ausnutzen, indem sie ChatGPT &Co. gezielt nach einer bekannten URL fragen. Ist das erste Ergebnis dann eine nicht registrierte Website bestehe die Chance, dass die Kriminellen diese kaufen und eine Phishing-Website einrichten. Das dieses Szenario bereits jetzt möglich ist, zeigt die von ChatGPT empfohlene Seite des großen Finanzdienstleister Wells Fargo: Der Link führe eine lange bekannte Phishing-Seite, so die Experten. Phishing passt sich an KI-Nutzung an Zusätzlich passen Phishing-Angreifer ihre Strategie zunehmend an die Nutzung von KI-Systemen an, wie The Register berichtet, anstatt sich auf klassische Suchmaschinenoptimierung zu konzentrieren. So gestalteten sie ihre gefälschten Websites nun gezielt so, dass sie in den Ergebnissen von KI-Chatbots wie ChatGPT erscheinen. Technisch sei dies möglich, da die KI nach Wörtern und Assoziationen sucht und nicht Dinge wie URLs oder den Ruf einer Website bewertet, so der Experte. Duncan erklärt auch, dass immer mehr Internetnutzende KI-Modelle statt herkömmlicher Suchmaschinen verwenden. Dabei seien sie sich aber oft der möglichen Fehler von KI gar nicht bewusst. Alles damit die KI einen wahrnimmt Die Forscher von Netcraft entdeckten auch eine ausgeklügelte Methode zur Manipulation von KI-gestützten Programmierassistenten. Die Kriminellen erstellten dazu eine gefälschte API namens SolanaApis, die die legitime Solana-Blockchain-Schnittstelle imitieren sollte. Anschließend erhöhten die Betrüger dann gezielt die Sichtbarkeit ihres schadhaften Codes in KI-generierten Antworten, indem sie zahlreiche gefälschte GitHub-Repositories, Q&A-Dokumente, Anleitungen sowie manipulierte Social-Media- und Entwicklerkonten erstellen. So sollte der Eindruck gegenüber Large Language Models (LLMs) entstehen, der Code sei legitim. Laut Rob Duncan von Netcraft ähnelt dieses Vorgehen einem Supply-Chain-Angriff: eine langfristige Täuschungsstrategie, die darauf abzielt, Vertrauen zu gewinnen und Nutzer zur Nutzung kompromittierter Inhalte zu verleiten. Vibe-Coding“ als Schwachstelle Der Unterschied zu „traditionellen“ Angriffen liege darin, dass hier gezielt Entwickler angesprochen werden. Das Ganze funktioniere wie „einige der Supply-Chain-Angriffe, die wir schon gesehen haben“, so Duncan. Es sei allerdings ein ziemlich langwieriges Spiel, eine Person davon zu überzeugen, eine Pull-Anfrage zu akzeptieren. Die präsentierten Fälle seien zudem „ein bisschen anders, weil man versucht, jemanden, der ein wenig Vibe-Coding betreibt, dazu zu bringen, die falsche API zu verwenden. Es ist ein ähnlich langes Spiel, aber man erhält ein ähnliches Ergebnis“, erklärte Duncan gegenüber The Register. Und es funktioniert: Die Experten von Netcraft fanden mindestens fünf Opfer, die diesen Schadcode in ihre eigenen öffentlichen Projekte kopiert haben – einige davon weisen Anzeichen dafür auf, dass sie mit Code-Assistenten, darunter Cursor, erstellt wurden. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!
KI-Chatbot als Phishing-Assistent Kriminelle suchen gezielt nach nicht registrierten Websites, um diese zu übernehmen und zu infizieren FGC – shutterstock.com Chatbots leisten sich immer wieder Aussetzer, sei es, dass sie Nutzende beleidigen oder Ergebnisse halluzinieren. Mit falschen Adressen von Websites kommt nun ein weiterer Punkt auf die Liste der Fehltritte: Wie die Cybersecurity-Firma Netcraft herausfand, liefert die Künstliche Intelligenz (KI) oft falsche Informationen, wenn sie nach Web-Adressen gefragt wird. Entdeckt hatte das Team von Netcraft diesen Lapsus, als es GPT-4.1-Modelle um die Links zu Anmeldeseiten bekannter Marken aus verschiedenen Bereichen bat. Zwar gab die KI in zwei Dritteln der Fälle die korrekte Website an, 29 Prozent der Links führten jedoch ins Leere, fünf Prozent zu falschen, aber immerhin legitimen Seiten. Phisher nutzen Chatbot-Schwächen gezielt aus Laut Netcraft-Experte Rob Duncan könnten Phisher solche Fehler ausnutzen, indem sie ChatGPT &Co. gezielt nach einer bekannten URL fragen. Ist das erste Ergebnis dann eine nicht registrierte Website bestehe die Chance, dass die Kriminellen diese kaufen und eine Phishing-Website einrichten. Das dieses Szenario bereits jetzt möglich ist, zeigt die von ChatGPT empfohlene Seite des großen Finanzdienstleister Wells Fargo: Der Link führe eine lange bekannte Phishing-Seite, so die Experten. Phishing passt sich an KI-Nutzung an Zusätzlich passen Phishing-Angreifer ihre Strategie zunehmend an die Nutzung von KI-Systemen an, wie The Register berichtet, anstatt sich auf klassische Suchmaschinenoptimierung zu konzentrieren. So gestalteten sie ihre gefälschten Websites nun gezielt so, dass sie in den Ergebnissen von KI-Chatbots wie ChatGPT erscheinen. Technisch sei dies möglich, da die KI nach Wörtern und Assoziationen sucht und nicht Dinge wie URLs oder den Ruf einer Website bewertet, so der Experte. Duncan erklärt auch, dass immer mehr Internetnutzende KI-Modelle statt herkömmlicher Suchmaschinen verwenden. Dabei seien sie sich aber oft der möglichen Fehler von KI gar nicht bewusst. Alles damit die KI einen wahrnimmt Die Forscher von Netcraft entdeckten auch eine ausgeklügelte Methode zur Manipulation von KI-gestützten Programmierassistenten. Die Kriminellen erstellten dazu eine gefälschte API namens SolanaApis, die die legitime Solana-Blockchain-Schnittstelle imitieren sollte. Anschließend erhöhten die Betrüger dann gezielt die Sichtbarkeit ihres schadhaften Codes in KI-generierten Antworten, indem sie zahlreiche gefälschte GitHub-Repositories, Q&A-Dokumente, Anleitungen sowie manipulierte Social-Media- und Entwicklerkonten erstellen. So sollte der Eindruck gegenüber Large Language Models (LLMs) entstehen, der Code sei legitim. Laut Rob Duncan von Netcraft ähnelt dieses Vorgehen einem Supply-Chain-Angriff: eine langfristige Täuschungsstrategie, die darauf abzielt, Vertrauen zu gewinnen und Nutzer zur Nutzung kompromittierter Inhalte zu verleiten. Vibe-Coding“ als Schwachstelle Der Unterschied zu „traditionellen“ Angriffen liege darin, dass hier gezielt Entwickler angesprochen werden. Das Ganze funktioniere wie „einige der Supply-Chain-Angriffe, die wir schon gesehen haben“, so Duncan. Es sei allerdings ein ziemlich langwieriges Spiel, eine Person davon zu überzeugen, eine Pull-Anfrage zu akzeptieren. Die präsentierten Fälle seien zudem „ein bisschen anders, weil man versucht, jemanden, der ein wenig Vibe-Coding betreibt, dazu zu bringen, die falsche API zu verwenden. Es ist ein ähnlich langes Spiel, aber man erhält ein ähnliches Ergebnis“, erklärte Duncan gegenüber The Register. Und es funktioniert: Die Experten von Netcraft fanden mindestens fünf Opfer, die diesen Schadcode in ihre eigenen öffentlichen Projekte kopiert haben – einige davon weisen Anzeichen dafür auf, dass sie mit Code-Assistenten, darunter Cursor, erstellt wurden. Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!