Mit einem interessanten Bezahlmodell will Cloudflare Unternehmen helfen, ihren wertvollen Content zu monetarisieren – oder vor KI-Bots zu schützen. Alysson M / Shutterstock.com Cloudflare hatte bereits im Juli 2024 damit begonnen, seinen Kunden die Möglichkeit zu geben, KI-Crawler zu blockieren. Seitdem haben sich laut eigenen Angaben über eine Million Kunden für diese Option entschieden. Nun schaltet der Cloud-Infrastrukturbetreiber einen Gang hoch. Cloudflare wird ab dem 1. Juli KI-Crawler standardmäßig daran hindern, auf die Websites neuer Kunden zuzugreifen, sofern keine Erlaubnis vorliegt. Parallel testet das Unternehmen eine Möglichkeit, KI-Anbieter für die von ihnen gesammelten Daten zahlen zu lassen. Darüber hinaus können Website-Besitzer nun entscheiden, wer auf ihren Seiten crawlt und zu welchem Zweck. KI-Unternehmen können über Cloudflare offenlegen, ob die gesammelten Daten für Training, Inferenz oder Suche verwendet werden, um den Website-Besitzern bei der Entscheidung zu helfen, ob sie den Crawl erlauben. „Seit Jahrzehnten funktioniert das Internet nach einem einfachen Prinzip“, erklärt Cloudflare in seiner Ankündigung: „Suchmaschinen indexieren Inhalte und leiten Nutzer zurück zu den Originalseiten, was für Websites jeder Größe Traffic und Werbeeinnahmen generiert. Dieser Kreislauf belohnt Urheber, die hochwertige Inhalte erstellen, mit Geld und einer Anhängerschaft, während er Nutzern hilft, neue und interessante Informationen zu entdecken.“ Dieses Modell sei nun gescheitert, konstatiert das Unternehmen. KI-Crawler sammelten Inhalte wie Texte, Artikel und Bilder, um Antworten zu generieren, ohne Besucher zur Originalquelle weiterzuleiten – wodurch den Erstellern der Inhalte Einnahmen entgingen und ihnen die Befriedigung genommen werde, zu wissen, dass jemand ihre Inhalte liest. „Wenn der Anreiz, originelle, hochwertige Inhalte zu erstellen, verschwindet, verliert die Gesellschaft und die Zukunft des Internets ist gefährdet“, so Cloudflare. Bezahlen pro Crawl Cloudflare testet derzeit einen neuen Bezahlmechanismus namens „Pay per Crawl“. Dieser ermöglicht es Website-Betreibern zu entscheiden, ob sie KI-Crawlern den Zugriff auf ihre Inhalte gestatten – und ob dieser Zugriff kostenlos oder kostenpflichtig sein soll. Die Technologie, die sich derzeit in einer privaten Beta-Phase befindet, integriert sich in bestehende Web-Infrastrukturen, um ein Framework zu schaffen, mit dem Website-Betreiber eine Zahlung verlangen können und dem Crawler den Preis über den HTTP-Antwortcode „402 Zahlung erforderlich“ mitteilen können. Der Website-Betreiber kann aktuell entweder einen einheitlichen Preis für die gesamte Seite festlegen oder bestimmten Crawlern kostenlosen Zugriff erlauben. Cloudflare geht jedoch davon aus, dass sich diese Funktion weiterentwickeln wird – möglicherweise mit dynamischer Preisgestaltung oder unterschiedlichen Gebühren für verschiedene Inhaltstypen. „Das wahre Potenzial von Pay-per-Crawl könnte sich in einer agentenbasierten Welt entfalten“, schreibt das Unternehmen in einem Blogbeitrag zur neuen Funktion. „Was wäre, wenn eine agentische Paywall vollständig programmatisch am Netzwerkrand funktionieren könnte? Stellen sie sich vor, Íhr bevorzugtes Deep-Research-Programm hilft Ihnen, die neueste Krebsforschung oder ein juristisches Gutachten zusammenzufassen – oder einfach nur das beste Restaurant in Soho zu finden – und Sie geben diesem Agenten ein Budget, um die besten und relevantesten Inhalte zu erwerben“, sinniert Cloudflare. Der Webhoster fungiert bei dem Modell als Händler für die Käufe, stellt den Crawlern die Rechnungen aus und verteilt die Gelder an die Website-Betreiber. Falls ein Crawler noch keine Abrechnungsbeziehung mit Cloudflare hat, wird er blockiert, erhält aber eine Fehlermeldung, die darauf hinweist, dass er mit einer solchen Beziehung möglicherweise Zugriff auf die Inhalte erhalten könnte. Cloudflare hat sowohl Crawler, die bereit sind, für Inhalte zu zahlen, als auch Inhaltsanbieter, die bezahlt werden möchten, eingeladen, sich für die Beta-Version anzumelden. Bestehende Unternehmenskunden können sich auch an ihren Kundenbetreuer wenden. Eine Win-Win-Situation Fritz Jean-Louis, Principal Cybersecurity Advisor bei der Info-Tech Research Group, sieht diesen Ansatz als positiven Schritt, der Bedenken hinsichtlich der unbefugten Nutzung von Inhalten durch KI-Crawler adressiere: „Indem Website-Betreiber die Kontrolle darüber erhalten, wie ihre Inhalte von KI-Crawlern abgerufen und genutzt werden, können Content-Ersteller ihr geistiges Eigentum schützen und ihre Inhalte möglicherweise monetarisieren“, so der Chefberater. Die Verpflichtung für KI-Unternehmen, den Zweck ihrer Crawler offenzulegen, schaffe ein Maß an Transparenz und Verantwortlichkeit, das der Branche bislang gefehlt habe. Es trage dazu bei, Vertrauen zwischen Content-Erstellern und KI-Unternehmen aufzubauen. Der Analyst sieht jedoch noch ungelöste Probleme, die angegangen werden müssten – etwa, wie mit sogenannten „Legacy“-Informationen, die bereits von Crawlern erfasst wurden, umzugehen ist. Grundsätzlich befürwortet Jean-Louis aber branchengetriebene Lösungen gegenüber strafenden Regulierungen: „Dieser Schritt von Cloudflare könnte auf einen Wandel in der Branche hindeuten – zu einem fairen und nachhaltigen digitalen Ökosystem , das die Bedürfnisse von Content-Erstellern und KI-Innovatoren in Einklang bringt. (mb)
Cloudflare will KI-Crawler zur Kasse bitten
Mit einem interessanten Bezahlmodell will Cloudflare Unternehmen helfen, ihren wertvollen Content zu monetarisieren – oder vor KI-Bots zu schützen. Alysson M / Shutterstock.com Cloudflare hatte bereits im Juli 2024 damit begonnen, seinen Kunden die Möglichkeit zu geben, KI-Crawler zu blockieren. Seitdem haben sich laut eigenen Angaben über eine Million Kunden für diese Option entschieden. Nun schaltet der Cloud-Infrastrukturbetreiber einen Gang hoch. Cloudflare wird ab dem 1. Juli KI-Crawler standardmäßig daran hindern, auf die Websites neuer Kunden zuzugreifen, sofern keine Erlaubnis vorliegt. Parallel testet das Unternehmen eine Möglichkeit, KI-Anbieter für die von ihnen gesammelten Daten zahlen zu lassen. Darüber hinaus können Website-Besitzer nun entscheiden, wer auf ihren Seiten crawlt und zu welchem Zweck. KI-Unternehmen können über Cloudflare offenlegen, ob die gesammelten Daten für Training, Inferenz oder Suche verwendet werden, um den Website-Besitzern bei der Entscheidung zu helfen, ob sie den Crawl erlauben. „Seit Jahrzehnten funktioniert das Internet nach einem einfachen Prinzip“, erklärt Cloudflare in seiner Ankündigung: „Suchmaschinen indexieren Inhalte und leiten Nutzer zurück zu den Originalseiten, was für Websites jeder Größe Traffic und Werbeeinnahmen generiert. Dieser Kreislauf belohnt Urheber, die hochwertige Inhalte erstellen, mit Geld und einer Anhängerschaft, während er Nutzern hilft, neue und interessante Informationen zu entdecken.“ Dieses Modell sei nun gescheitert, konstatiert das Unternehmen. KI-Crawler sammelten Inhalte wie Texte, Artikel und Bilder, um Antworten zu generieren, ohne Besucher zur Originalquelle weiterzuleiten – wodurch den Erstellern der Inhalte Einnahmen entgingen und ihnen die Befriedigung genommen werde, zu wissen, dass jemand ihre Inhalte liest. „Wenn der Anreiz, originelle, hochwertige Inhalte zu erstellen, verschwindet, verliert die Gesellschaft und die Zukunft des Internets ist gefährdet“, so Cloudflare. Bezahlen pro Crawl Cloudflare testet derzeit einen neuen Bezahlmechanismus namens „Pay per Crawl“. Dieser ermöglicht es Website-Betreibern zu entscheiden, ob sie KI-Crawlern den Zugriff auf ihre Inhalte gestatten – und ob dieser Zugriff kostenlos oder kostenpflichtig sein soll. Die Technologie, die sich derzeit in einer privaten Beta-Phase befindet, integriert sich in bestehende Web-Infrastrukturen, um ein Framework zu schaffen, mit dem Website-Betreiber eine Zahlung verlangen können und dem Crawler den Preis über den HTTP-Antwortcode „402 Zahlung erforderlich“ mitteilen können. Der Website-Betreiber kann aktuell entweder einen einheitlichen Preis für die gesamte Seite festlegen oder bestimmten Crawlern kostenlosen Zugriff erlauben. Cloudflare geht jedoch davon aus, dass sich diese Funktion weiterentwickeln wird – möglicherweise mit dynamischer Preisgestaltung oder unterschiedlichen Gebühren für verschiedene Inhaltstypen. „Das wahre Potenzial von Pay-per-Crawl könnte sich in einer agentenbasierten Welt entfalten“, schreibt das Unternehmen in einem Blogbeitrag zur neuen Funktion. „Was wäre, wenn eine agentische Paywall vollständig programmatisch am Netzwerkrand funktionieren könnte? Stellen sie sich vor, Íhr bevorzugtes Deep-Research-Programm hilft Ihnen, die neueste Krebsforschung oder ein juristisches Gutachten zusammenzufassen – oder einfach nur das beste Restaurant in Soho zu finden – und Sie geben diesem Agenten ein Budget, um die besten und relevantesten Inhalte zu erwerben“, sinniert Cloudflare. Der Webhoster fungiert bei dem Modell als Händler für die Käufe, stellt den Crawlern die Rechnungen aus und verteilt die Gelder an die Website-Betreiber. Falls ein Crawler noch keine Abrechnungsbeziehung mit Cloudflare hat, wird er blockiert, erhält aber eine Fehlermeldung, die darauf hinweist, dass er mit einer solchen Beziehung möglicherweise Zugriff auf die Inhalte erhalten könnte. Cloudflare hat sowohl Crawler, die bereit sind, für Inhalte zu zahlen, als auch Inhaltsanbieter, die bezahlt werden möchten, eingeladen, sich für die Beta-Version anzumelden. Bestehende Unternehmenskunden können sich auch an ihren Kundenbetreuer wenden. Eine Win-Win-Situation Fritz Jean-Louis, Principal Cybersecurity Advisor bei der Info-Tech Research Group, sieht diesen Ansatz als positiven Schritt, der Bedenken hinsichtlich der unbefugten Nutzung von Inhalten durch KI-Crawler adressiere: „Indem Website-Betreiber die Kontrolle darüber erhalten, wie ihre Inhalte von KI-Crawlern abgerufen und genutzt werden, können Content-Ersteller ihr geistiges Eigentum schützen und ihre Inhalte möglicherweise monetarisieren“, so der Chefberater. Die Verpflichtung für KI-Unternehmen, den Zweck ihrer Crawler offenzulegen, schaffe ein Maß an Transparenz und Verantwortlichkeit, das der Branche bislang gefehlt habe. Es trage dazu bei, Vertrauen zwischen Content-Erstellern und KI-Unternehmen aufzubauen. Der Analyst sieht jedoch noch ungelöste Probleme, die angegangen werden müssten – etwa, wie mit sogenannten „Legacy“-Informationen, die bereits von Crawlern erfasst wurden, umzugehen ist. Grundsätzlich befürwortet Jean-Louis aber branchengetriebene Lösungen gegenüber strafenden Regulierungen: „Dieser Schritt von Cloudflare könnte auf einen Wandel in der Branche hindeuten – zu einem fairen und nachhaltigen digitalen Ökosystem , das die Bedürfnisse von Content-Erstellern und KI-Innovatoren in Einklang bringt. (mb)
Cloudflare will KI-Crawler zur Kasse bitten Mit einem interessanten Bezahlmodell will Cloudflare Unternehmen helfen, ihren wertvollen Content zu monetarisieren – oder vor KI-Bots zu schützen. Alysson M / Shutterstock.com Cloudflare hatte bereits im Juli 2024 damit begonnen, seinen Kunden die Möglichkeit zu geben, KI-Crawler zu blockieren. Seitdem haben sich laut eigenen Angaben über eine Million Kunden für diese Option entschieden. Nun schaltet der Cloud-Infrastrukturbetreiber einen Gang hoch. Cloudflare wird ab dem 1. Juli KI-Crawler standardmäßig daran hindern, auf die Websites neuer Kunden zuzugreifen, sofern keine Erlaubnis vorliegt. Parallel testet das Unternehmen eine Möglichkeit, KI-Anbieter für die von ihnen gesammelten Daten zahlen zu lassen. Darüber hinaus können Website-Besitzer nun entscheiden, wer auf ihren Seiten crawlt und zu welchem Zweck. KI-Unternehmen können über Cloudflare offenlegen, ob die gesammelten Daten für Training, Inferenz oder Suche verwendet werden, um den Website-Besitzern bei der Entscheidung zu helfen, ob sie den Crawl erlauben. „Seit Jahrzehnten funktioniert das Internet nach einem einfachen Prinzip“, erklärt Cloudflare in seiner Ankündigung: „Suchmaschinen indexieren Inhalte und leiten Nutzer zurück zu den Originalseiten, was für Websites jeder Größe Traffic und Werbeeinnahmen generiert. Dieser Kreislauf belohnt Urheber, die hochwertige Inhalte erstellen, mit Geld und einer Anhängerschaft, während er Nutzern hilft, neue und interessante Informationen zu entdecken.“ Dieses Modell sei nun gescheitert, konstatiert das Unternehmen. KI-Crawler sammelten Inhalte wie Texte, Artikel und Bilder, um Antworten zu generieren, ohne Besucher zur Originalquelle weiterzuleiten – wodurch den Erstellern der Inhalte Einnahmen entgingen und ihnen die Befriedigung genommen werde, zu wissen, dass jemand ihre Inhalte liest. „Wenn der Anreiz, originelle, hochwertige Inhalte zu erstellen, verschwindet, verliert die Gesellschaft und die Zukunft des Internets ist gefährdet“, so Cloudflare. Bezahlen pro Crawl Cloudflare testet derzeit einen neuen Bezahlmechanismus namens „Pay per Crawl“. Dieser ermöglicht es Website-Betreibern zu entscheiden, ob sie KI-Crawlern den Zugriff auf ihre Inhalte gestatten – und ob dieser Zugriff kostenlos oder kostenpflichtig sein soll. Die Technologie, die sich derzeit in einer privaten Beta-Phase befindet, integriert sich in bestehende Web-Infrastrukturen, um ein Framework zu schaffen, mit dem Website-Betreiber eine Zahlung verlangen können und dem Crawler den Preis über den HTTP-Antwortcode „402 Zahlung erforderlich“ mitteilen können. Der Website-Betreiber kann aktuell entweder einen einheitlichen Preis für die gesamte Seite festlegen oder bestimmten Crawlern kostenlosen Zugriff erlauben. Cloudflare geht jedoch davon aus, dass sich diese Funktion weiterentwickeln wird – möglicherweise mit dynamischer Preisgestaltung oder unterschiedlichen Gebühren für verschiedene Inhaltstypen. „Das wahre Potenzial von Pay-per-Crawl könnte sich in einer agentenbasierten Welt entfalten“, schreibt das Unternehmen in einem Blogbeitrag zur neuen Funktion. „Was wäre, wenn eine agentische Paywall vollständig programmatisch am Netzwerkrand funktionieren könnte? Stellen sie sich vor, Íhr bevorzugtes Deep-Research-Programm hilft Ihnen, die neueste Krebsforschung oder ein juristisches Gutachten zusammenzufassen – oder einfach nur das beste Restaurant in Soho zu finden – und Sie geben diesem Agenten ein Budget, um die besten und relevantesten Inhalte zu erwerben“, sinniert Cloudflare. Der Webhoster fungiert bei dem Modell als Händler für die Käufe, stellt den Crawlern die Rechnungen aus und verteilt die Gelder an die Website-Betreiber. Falls ein Crawler noch keine Abrechnungsbeziehung mit Cloudflare hat, wird er blockiert, erhält aber eine Fehlermeldung, die darauf hinweist, dass er mit einer solchen Beziehung möglicherweise Zugriff auf die Inhalte erhalten könnte. Cloudflare hat sowohl Crawler, die bereit sind, für Inhalte zu zahlen, als auch Inhaltsanbieter, die bezahlt werden möchten, eingeladen, sich für die Beta-Version anzumelden. Bestehende Unternehmenskunden können sich auch an ihren Kundenbetreuer wenden. Eine Win-Win-Situation Fritz Jean-Louis, Principal Cybersecurity Advisor bei der Info-Tech Research Group, sieht diesen Ansatz als positiven Schritt, der Bedenken hinsichtlich der unbefugten Nutzung von Inhalten durch KI-Crawler adressiere: „Indem Website-Betreiber die Kontrolle darüber erhalten, wie ihre Inhalte von KI-Crawlern abgerufen und genutzt werden, können Content-Ersteller ihr geistiges Eigentum schützen und ihre Inhalte möglicherweise monetarisieren“, so der Chefberater. Die Verpflichtung für KI-Unternehmen, den Zweck ihrer Crawler offenzulegen, schaffe ein Maß an Transparenz und Verantwortlichkeit, das der Branche bislang gefehlt habe. Es trage dazu bei, Vertrauen zwischen Content-Erstellern und KI-Unternehmen aufzubauen. Der Analyst sieht jedoch noch ungelöste Probleme, die angegangen werden müssten – etwa, wie mit sogenannten „Legacy“-Informationen, die bereits von Crawlern erfasst wurden, umzugehen ist. Grundsätzlich befürwortet Jean-Louis aber branchengetriebene Lösungen gegenüber strafenden Regulierungen: „Dieser Schritt von Cloudflare könnte auf einen Wandel in der Branche hindeuten – zu einem fairen und nachhaltigen digitalen Ökosystem , das die Bedürfnisse von Content-Erstellern und KI-Innovatoren in Einklang bringt. (mb)