Computerhaus Quickborn

Was ist Scraping?​

Vorsicht Scraper: Einmal im Web veröffentlicht, können Informationen eingesammelt und missbraucht werden. Foto: Shutterstock – hmorena Mittlerweile ist es fast schon Gewohnheit, dass durch Hacks und Datenpannen bei Online-Diensten regelmäßig Millionen von Nutzerdaten in falsche Hände geraten. So tauchten etwa im April 2021 die Daten von mehr als 553 Millionen Facebook-Nutzern, 500 Millionen LinkedIn-Accounts und 1,3 Millionen Clubhouse-Nutzer im Web auf. Eher ungewöhnlich ist jedoch, dass alle drei Betreiber der Dienste bestritten, Opfer eines Hacks geworden zu sein. Es habe sich vielmehr um Scraping gehandelt, hieß es, wobei Daten abgegriffen wurden, die von den Nutzern selbst veröffentlicht wurden und von anderen Mitgliedern oder zumindest ihren Kontakten einsehbar seien, wie vollständiger Namen, Telefonnummer etc. Doch was ist Scraping, wie funktioniert es und wie kann man sich davor schützen? Scraping – Definition Scraping als Kurzform von Screen Scraping oder Web Scraping ist eine Funktion, bei der eine Anwendung oder ein Script Informationen von einer Website oder einem Online-Dienst ausliest und speichert – also die Information vom Bildschirm “kratzt”. Bekannte Anwendungsfälle dieser Technik sind etwa Bots von Suchmaschinen wie Google, die kontinuierlich im Internet unterwegs sind, um Websites zu indizieren (Crawling). Aber auch Vergleichsportale nutzen die Methode, um Unmengen an Daten zu sammeln und dann auszuwerten. In vielen Fällen ist eine derartige Praxis auch im Sinne der Website-Betreiber, da sie dank einer solchen Indexierung möglicherweise eine höhere Reichweite oder mehr Umsatz für ihre Produkte und Services erzielen. Die Technik kann allerdings auch missbräuchlich genutzt werden. Unternehmen sind etwa mittels Scraping in der Lage, die Webshops der Konkurrenz automatisch zu durchforsten. Im Anschluss können sie dann beispielsweise ihre Preise so anpassen, dass sie immer etwas billiger ist (Preis-Grabbing). Oder sie übernehmen deren Produktbeschreibungen und -bilder (Content-Grabbing) beziehungsweise gleich die ganze Webshop-Konstruktion und sparen sich viel Zeit und Geld. Die auf Facebook eingesammelten Telefonnummern und E-Mail-Adressen werden außerdem in direktem Zusammenhang mit darauffolgenden “Smishing“- und Phishing-Wellen gebracht. Web Scraping – FunktionsweiseDer Scraping-Prozess besteht im Großen und Ganzen aus zwei Teilen, nämlich dem Aufrufen der gewünschten Web-Seiten (statische und dynamisch erzeugte) und der anschließenden Extraktion der Daten. Es ist eine Vielzahl von Scraping-Tools verfügbar, allein auf Github finden sich zahlreiche Lösungen und Toolkits für die verschiedensten Einsatzgebiete.Im Fall des Facebook-Scraps, wo auch als privat gekennzeichnete Daten abgesaugt wurden, gehen die Betreiber von einer speziellen Methode aus, die sich eine Ende 2019 geschlossene Lücke in der Kontaktimport-Funktion der Plattform zunutze machte. Dieses Feature soll es Nutzern ermöglichen, Freunde und Bekannte auf Facebook zu identifizieren, indem sie ihr Telefonbuch hochladen. Laut Facebook nutzten die Angreifer diese Funktionalität im großen Stil, um ein Set an Benutzerprofilen abzufragen und dann Informationen über diese erhalten, die in ihren öffentlichen Profilen enthalten sind.Noch leistungsfähiger dank (generativer) KIMit dem Aufkommen von mehr und mehr GenAI-Tools und LLMs erreicht Scraping inzwischen ganz andere Dimensionen. Nicht genug damit, dass generative künstliche Intelligenz selbst jede Menge Trainingsdaten benötigt und sich Crawler von Google, OpenAI & Co. dazu fleißig auf Websites bedienen – sofern sie nicht ausgesperrt werden. LLMs sind auch in der Lage, ein breiteres Spektrum von Datensätzen sowie Websites zu erkunden und per Prompts gezielt spezielle Daten zu extrahieren, in Tabellen einzutragen und auszuwerten. Neben dem Erkennen von Text in Bildern via OCR ist mit GenAI auch die Beschreibung von Bildern in Textform kein Problem mehr. Scraping – legal oder illegal?Die Antwort lautet: Es kommt darauf an. Werden zum Scraping keine technischen Schutzvorrichtungen überwunden, ist die Handlung selbst nicht illegal – es werden schließlich nur Informationen eingesammelt, die ohnehin öffentlich zugänglich sind. Allerdings kann das, was Sie anschließend mit den Daten anstellen, nachdem diese “gescraped” wurden, illegal sein. Werden etwa Bilder, Artikel und Ähnliches abgegriffen und anderswo ohne Erlaubnis publiziert, handelt es sich klar um einen Verstoß gegen das Copyright. Dass die Nutzung der Datensätze zum Phishing und ähnlichen Aktivitäten nicht legal sind, dürfte ebenfalls klar sein.Noch eindeutiger ist das Urteil beim Scraping von persönlichen Daten. So haben DSGVO und andere Datenschutzgesetze klare Vorgaben, wenn es um das Sammeln und Speichern persönlicher Daten geht. Sie müssen nämlich einen rechtmäßigen Grund dafür haben, etwa die ausdrückliche Zustimmung oder ein legitimes Interesse am Sammeln und Speichern der personenbezogenen Daten. Die GDPR verlangt zudem, dass nur so viele Daten verarbeitet werden, wie zur Erfüllung einer Aufgabe notwendig sind (Datensparsamkeit).Die meisten Betreiber von sozialen Netzwerken schließen außerdem Scraping in ihren Geschäftsbedingungen aus. Dass es wie im Fall von Facebook, LinkedIn und Clubhouse offenbar kaum weitere Kontrollinstanzen zu geben scheint, wirft ein schlechtes Licht auf ihre Sicherheitseinstellungen.Data Scraping – AbwehrmaßnahmenAuf Seiten des Website-Betreibers gibt es verschiedene Möglichkeiten, sich vor Scrapern zu schützen. Häufig eingesetzte Methoden sind etwa die Verwendung von Captcha-Abfragen oder einer robots.txt-Datei, um Web-Crawler den Zugang zu verwehren. Außerdem sind Web Application Firewalls meist in der Lage, verdächtige Aktivitäten eines Scrapers zu entdecken.Zudem sollte man es den automatisierten Datensammlern nicht zu einfach machen. Im Fall Clubhouse sieht es danach aus, dass bei der Erstellung von Benutzerprofilen in der SQL-Datenbank eine fortlaufende Nummerierung verwendet wurde. Die ermöglich Scrapern einen relativ einfachen Zugriff: Ein einfaches Skript, das den Profil-Links eine Nummer hinzufügt, genügt für massenhaftes Data Scraping.Und auf Anwenderseite? “Nutzer müssen sich darüber im Klaren sein, dass man bei jeder Information, die öffentlich im Weg zugänglich ist, auch Gefahr läuft, Opfer von Scrapern zu werden, egal ob Facebook, LinkedIn, Clubhouse oder sonstwo”, erklären auch die Sicherheitsexperten von Avast: Einmal veröffentlicht, könnten die Informationen eingesammelt werden und man hat keine Kontrolle darüber, wer die Daten kopiert und was damit in den Weiten des Internets angestellt wird.Die einzige Möglichkeit zu verhindern, dass öffentliche Informationen eingesammelt und auf nicht gewünschte Weise verwendet werden sei entsprechend, dass man sie nicht öffentlich macht. Auch Facebook empfiehlt allen Nutzern, ihre Datenschutzeinstellungen regelmäßig zu überprüfen, um sie fortlaufend an ihre aktuellen Präferenzen anzupassen. 

Was ist Scraping?​ Vorsicht Scraper: Einmal im Web veröffentlicht, können Informationen eingesammelt und missbraucht werden. Foto: Shutterstock – hmorena Mittlerweile ist es fast schon Gewohnheit, dass durch Hacks und Datenpannen bei Online-Diensten regelmäßig Millionen von Nutzerdaten in falsche Hände geraten. So tauchten etwa im April 2021 die Daten von mehr als 553 Millionen Facebook-Nutzern, 500 Millionen LinkedIn-Accounts und 1,3 Millionen Clubhouse-Nutzer im Web auf. Eher ungewöhnlich ist jedoch, dass alle drei Betreiber der Dienste bestritten, Opfer eines Hacks geworden zu sein. Es habe sich vielmehr um Scraping gehandelt, hieß es, wobei Daten abgegriffen wurden, die von den Nutzern selbst veröffentlicht wurden und von anderen Mitgliedern oder zumindest ihren Kontakten einsehbar seien, wie vollständiger Namen, Telefonnummer etc. Doch was ist Scraping, wie funktioniert es und wie kann man sich davor schützen? Scraping – Definition Scraping als Kurzform von Screen Scraping oder Web Scraping ist eine Funktion, bei der eine Anwendung oder ein Script Informationen von einer Website oder einem Online-Dienst ausliest und speichert – also die Information vom Bildschirm “kratzt”. Bekannte Anwendungsfälle dieser Technik sind etwa Bots von Suchmaschinen wie Google, die kontinuierlich im Internet unterwegs sind, um Websites zu indizieren (Crawling). Aber auch Vergleichsportale nutzen die Methode, um Unmengen an Daten zu sammeln und dann auszuwerten. In vielen Fällen ist eine derartige Praxis auch im Sinne der Website-Betreiber, da sie dank einer solchen Indexierung möglicherweise eine höhere Reichweite oder mehr Umsatz für ihre Produkte und Services erzielen. Die Technik kann allerdings auch missbräuchlich genutzt werden. Unternehmen sind etwa mittels Scraping in der Lage, die Webshops der Konkurrenz automatisch zu durchforsten. Im Anschluss können sie dann beispielsweise ihre Preise so anpassen, dass sie immer etwas billiger ist (Preis-Grabbing). Oder sie übernehmen deren Produktbeschreibungen und -bilder (Content-Grabbing) beziehungsweise gleich die ganze Webshop-Konstruktion und sparen sich viel Zeit und Geld. Die auf Facebook eingesammelten Telefonnummern und E-Mail-Adressen werden außerdem in direktem Zusammenhang mit darauffolgenden “Smishing“- und Phishing-Wellen gebracht. Web Scraping – FunktionsweiseDer Scraping-Prozess besteht im Großen und Ganzen aus zwei Teilen, nämlich dem Aufrufen der gewünschten Web-Seiten (statische und dynamisch erzeugte) und der anschließenden Extraktion der Daten. Es ist eine Vielzahl von Scraping-Tools verfügbar, allein auf Github finden sich zahlreiche Lösungen und Toolkits für die verschiedensten Einsatzgebiete.Im Fall des Facebook-Scraps, wo auch als privat gekennzeichnete Daten abgesaugt wurden, gehen die Betreiber von einer speziellen Methode aus, die sich eine Ende 2019 geschlossene Lücke in der Kontaktimport-Funktion der Plattform zunutze machte. Dieses Feature soll es Nutzern ermöglichen, Freunde und Bekannte auf Facebook zu identifizieren, indem sie ihr Telefonbuch hochladen. Laut Facebook nutzten die Angreifer diese Funktionalität im großen Stil, um ein Set an Benutzerprofilen abzufragen und dann Informationen über diese erhalten, die in ihren öffentlichen Profilen enthalten sind.Noch leistungsfähiger dank (generativer) KIMit dem Aufkommen von mehr und mehr GenAI-Tools und LLMs erreicht Scraping inzwischen ganz andere Dimensionen. Nicht genug damit, dass generative künstliche Intelligenz selbst jede Menge Trainingsdaten benötigt und sich Crawler von Google, OpenAI & Co. dazu fleißig auf Websites bedienen – sofern sie nicht ausgesperrt werden. LLMs sind auch in der Lage, ein breiteres Spektrum von Datensätzen sowie Websites zu erkunden und per Prompts gezielt spezielle Daten zu extrahieren, in Tabellen einzutragen und auszuwerten. Neben dem Erkennen von Text in Bildern via OCR ist mit GenAI auch die Beschreibung von Bildern in Textform kein Problem mehr. Scraping – legal oder illegal?Die Antwort lautet: Es kommt darauf an. Werden zum Scraping keine technischen Schutzvorrichtungen überwunden, ist die Handlung selbst nicht illegal – es werden schließlich nur Informationen eingesammelt, die ohnehin öffentlich zugänglich sind. Allerdings kann das, was Sie anschließend mit den Daten anstellen, nachdem diese “gescraped” wurden, illegal sein. Werden etwa Bilder, Artikel und Ähnliches abgegriffen und anderswo ohne Erlaubnis publiziert, handelt es sich klar um einen Verstoß gegen das Copyright. Dass die Nutzung der Datensätze zum Phishing und ähnlichen Aktivitäten nicht legal sind, dürfte ebenfalls klar sein.Noch eindeutiger ist das Urteil beim Scraping von persönlichen Daten. So haben DSGVO und andere Datenschutzgesetze klare Vorgaben, wenn es um das Sammeln und Speichern persönlicher Daten geht. Sie müssen nämlich einen rechtmäßigen Grund dafür haben, etwa die ausdrückliche Zustimmung oder ein legitimes Interesse am Sammeln und Speichern der personenbezogenen Daten. Die GDPR verlangt zudem, dass nur so viele Daten verarbeitet werden, wie zur Erfüllung einer Aufgabe notwendig sind (Datensparsamkeit).Die meisten Betreiber von sozialen Netzwerken schließen außerdem Scraping in ihren Geschäftsbedingungen aus. Dass es wie im Fall von Facebook, LinkedIn und Clubhouse offenbar kaum weitere Kontrollinstanzen zu geben scheint, wirft ein schlechtes Licht auf ihre Sicherheitseinstellungen.Data Scraping – AbwehrmaßnahmenAuf Seiten des Website-Betreibers gibt es verschiedene Möglichkeiten, sich vor Scrapern zu schützen. Häufig eingesetzte Methoden sind etwa die Verwendung von Captcha-Abfragen oder einer robots.txt-Datei, um Web-Crawler den Zugang zu verwehren. Außerdem sind Web Application Firewalls meist in der Lage, verdächtige Aktivitäten eines Scrapers zu entdecken.Zudem sollte man es den automatisierten Datensammlern nicht zu einfach machen. Im Fall Clubhouse sieht es danach aus, dass bei der Erstellung von Benutzerprofilen in der SQL-Datenbank eine fortlaufende Nummerierung verwendet wurde. Die ermöglich Scrapern einen relativ einfachen Zugriff: Ein einfaches Skript, das den Profil-Links eine Nummer hinzufügt, genügt für massenhaftes Data Scraping.Und auf Anwenderseite? “Nutzer müssen sich darüber im Klaren sein, dass man bei jeder Information, die öffentlich im Weg zugänglich ist, auch Gefahr läuft, Opfer von Scrapern zu werden, egal ob Facebook, LinkedIn, Clubhouse oder sonstwo”, erklären auch die Sicherheitsexperten von Avast: Einmal veröffentlicht, könnten die Informationen eingesammelt werden und man hat keine Kontrolle darüber, wer die Daten kopiert und was damit in den Weiten des Internets angestellt wird.Die einzige Möglichkeit zu verhindern, dass öffentliche Informationen eingesammelt und auf nicht gewünschte Weise verwendet werden sei entsprechend, dass man sie nicht öffentlich macht. Auch Facebook empfiehlt allen Nutzern, ihre Datenschutzeinstellungen regelmäßig zu überprüfen, um sie fortlaufend an ihre aktuellen Präferenzen anzupassen.

Was ist Scraping?​

Vorsicht Scraper: Einmal im Web veröffentlicht, können Informationen eingesammelt und missbraucht werden. Foto: Shutterstock – hmorena Mittlerweile ist es fast schon Gewohnheit, dass durch Hacks und Datenpannen bei Online-Diensten regelmäßig Millionen von Nutzerdaten in falsche Hände geraten. So tauchten etwa im April 2021 die Daten von mehr als 553 Millionen Facebook-Nutzern, 500 Millionen LinkedIn-Accounts und 1,3 Millionen Clubhouse-Nutzer im Web auf. Eher ungewöhnlich ist jedoch, dass alle drei Betreiber der Dienste bestritten, Opfer eines Hacks geworden zu sein. Es habe sich vielmehr um Scraping gehandelt, hieß es, wobei Daten abgegriffen wurden, die von den Nutzern selbst veröffentlicht wurden und von anderen Mitgliedern oder zumindest ihren Kontakten einsehbar seien, wie vollständiger Namen, Telefonnummer etc. Doch was ist Scraping, wie funktioniert es und wie kann man sich davor schützen? Scraping – Definition Scraping als Kurzform von Screen Scraping oder Web Scraping ist eine Funktion, bei der eine Anwendung oder ein Script Informationen von einer Website oder einem Online-Dienst ausliest und speichert – also die Information vom Bildschirm “kratzt”. Bekannte Anwendungsfälle dieser Technik sind etwa Bots von Suchmaschinen wie Google, die kontinuierlich im Internet unterwegs sind, um Websites zu indizieren (Crawling). Aber auch Vergleichsportale nutzen die Methode, um Unmengen an Daten zu sammeln und dann auszuwerten. In vielen Fällen ist eine derartige Praxis auch im Sinne der Website-Betreiber, da sie dank einer solchen Indexierung möglicherweise eine höhere Reichweite oder mehr Umsatz für ihre Produkte und Services erzielen. Die Technik kann allerdings auch missbräuchlich genutzt werden. Unternehmen sind etwa mittels Scraping in der Lage, die Webshops der Konkurrenz automatisch zu durchforsten. Im Anschluss können sie dann beispielsweise ihre Preise so anpassen, dass sie immer etwas billiger ist (Preis-Grabbing). Oder sie übernehmen deren Produktbeschreibungen und -bilder (Content-Grabbing) beziehungsweise gleich die ganze Webshop-Konstruktion und sparen sich viel Zeit und Geld. Die auf Facebook eingesammelten Telefonnummern und E-Mail-Adressen werden außerdem in direktem Zusammenhang mit darauffolgenden “Smishing“- und Phishing-Wellen gebracht. Web Scraping – FunktionsweiseDer Scraping-Prozess besteht im Großen und Ganzen aus zwei Teilen, nämlich dem Aufrufen der gewünschten Web-Seiten (statische und dynamisch erzeugte) und der anschließenden Extraktion der Daten. Es ist eine Vielzahl von Scraping-Tools verfügbar, allein auf Github finden sich zahlreiche Lösungen und Toolkits für die verschiedensten Einsatzgebiete.Im Fall des Facebook-Scraps, wo auch als privat gekennzeichnete Daten abgesaugt wurden, gehen die Betreiber von einer speziellen Methode aus, die sich eine Ende 2019 geschlossene Lücke in der Kontaktimport-Funktion der Plattform zunutze machte. Dieses Feature soll es Nutzern ermöglichen, Freunde und Bekannte auf Facebook zu identifizieren, indem sie ihr Telefonbuch hochladen. Laut Facebook nutzten die Angreifer diese Funktionalität im großen Stil, um ein Set an Benutzerprofilen abzufragen und dann Informationen über diese erhalten, die in ihren öffentlichen Profilen enthalten sind.Noch leistungsfähiger dank (generativer) KIMit dem Aufkommen von mehr und mehr GenAI-Tools und LLMs erreicht Scraping inzwischen ganz andere Dimensionen. Nicht genug damit, dass generative künstliche Intelligenz selbst jede Menge Trainingsdaten benötigt und sich Crawler von Google, OpenAI & Co. dazu fleißig auf Websites bedienen – sofern sie nicht ausgesperrt werden. LLMs sind auch in der Lage, ein breiteres Spektrum von Datensätzen sowie Websites zu erkunden und per Prompts gezielt spezielle Daten zu extrahieren, in Tabellen einzutragen und auszuwerten. Neben dem Erkennen von Text in Bildern via OCR ist mit GenAI auch die Beschreibung von Bildern in Textform kein Problem mehr. Scraping – legal oder illegal?Die Antwort lautet: Es kommt darauf an. Werden zum Scraping keine technischen Schutzvorrichtungen überwunden, ist die Handlung selbst nicht illegal – es werden schließlich nur Informationen eingesammelt, die ohnehin öffentlich zugänglich sind. Allerdings kann das, was Sie anschließend mit den Daten anstellen, nachdem diese “gescraped” wurden, illegal sein. Werden etwa Bilder, Artikel und Ähnliches abgegriffen und anderswo ohne Erlaubnis publiziert, handelt es sich klar um einen Verstoß gegen das Copyright. Dass die Nutzung der Datensätze zum Phishing und ähnlichen Aktivitäten nicht legal sind, dürfte ebenfalls klar sein.Noch eindeutiger ist das Urteil beim Scraping von persönlichen Daten. So haben DSGVO und andere Datenschutzgesetze klare Vorgaben, wenn es um das Sammeln und Speichern persönlicher Daten geht. Sie müssen nämlich einen rechtmäßigen Grund dafür haben, etwa die ausdrückliche Zustimmung oder ein legitimes Interesse am Sammeln und Speichern der personenbezogenen Daten. Die GDPR verlangt zudem, dass nur so viele Daten verarbeitet werden, wie zur Erfüllung einer Aufgabe notwendig sind (Datensparsamkeit).Die meisten Betreiber von sozialen Netzwerken schließen außerdem Scraping in ihren Geschäftsbedingungen aus. Dass es wie im Fall von Facebook, LinkedIn und Clubhouse offenbar kaum weitere Kontrollinstanzen zu geben scheint, wirft ein schlechtes Licht auf ihre Sicherheitseinstellungen.Data Scraping – AbwehrmaßnahmenAuf Seiten des Website-Betreibers gibt es verschiedene Möglichkeiten, sich vor Scrapern zu schützen. Häufig eingesetzte Methoden sind etwa die Verwendung von Captcha-Abfragen oder einer robots.txt-Datei, um Web-Crawler den Zugang zu verwehren. Außerdem sind Web Application Firewalls meist in der Lage, verdächtige Aktivitäten eines Scrapers zu entdecken.Zudem sollte man es den automatisierten Datensammlern nicht zu einfach machen. Im Fall Clubhouse sieht es danach aus, dass bei der Erstellung von Benutzerprofilen in der SQL-Datenbank eine fortlaufende Nummerierung verwendet wurde. Die ermöglich Scrapern einen relativ einfachen Zugriff: Ein einfaches Skript, das den Profil-Links eine Nummer hinzufügt, genügt für massenhaftes Data Scraping.Und auf Anwenderseite? “Nutzer müssen sich darüber im Klaren sein, dass man bei jeder Information, die öffentlich im Weg zugänglich ist, auch Gefahr läuft, Opfer von Scrapern zu werden, egal ob Facebook, LinkedIn, Clubhouse oder sonstwo”, erklären auch die Sicherheitsexperten von Avast: Einmal veröffentlicht, könnten die Informationen eingesammelt werden und man hat keine Kontrolle darüber, wer die Daten kopiert und was damit in den Weiten des Internets angestellt wird.Die einzige Möglichkeit zu verhindern, dass öffentliche Informationen eingesammelt und auf nicht gewünschte Weise verwendet werden sei entsprechend, dass man sie nicht öffentlich macht. Auch Facebook empfiehlt allen Nutzern, ihre Datenschutzeinstellungen regelmäßig zu überprüfen, um sie fortlaufend an ihre aktuellen Präferenzen anzupassen. 

Nach oben scrollen