Künstliche Intelligenz kann viel Positives bewirken, zum Beispiel Routine-Aufgaben übernehmen und damit gestresste Individuen entlasten. Doch was passiert, wenn das Programm nicht mitspielt oder man sich zu sehr auf seine Aufgaben verlässt? Corona Borealis Studio/shutterstock.com Hier sind fünf der größten KI-Fails des Jahres. Diese Fälle zeigen, wie KI progressiv zugleich besser aber auch schlimmer wird. Dabei beeinflusst sie das Leben von immer mehr Menschen nachhaltig, immer häufiger zum schlechteren. KI als Anwaltsgehilfe 1. Vertrauen ist gut, doch Kontrolle ist besser. Dieser Satz lässt sich vielfältig anwenden und sollte definitiv zum Repertoire eines jeden KI-Anwenders zählen. Was passiert, wenn dem nicht so ist, hat ein New Yorker Anwalt im Juni eindrucksvoll demonstriert. Der Rechtsbeistand ließ ChatGPT Vergleichsfälle für eine Klage raussuchen, bei der sein Mandant gegen eine Fluggesellschaft vorgehen wollte. Ein Servierwagen hatte ihn auf einem Flug am Knie verletzt. Die KI lieferte prompt Beispiele wie „Petersen gegen Iran Air“ und „Martinez gegen Delta Airlines“, sogar Aktenzeichen lieferte der Chatbot mit. Neue Technologie mit Macken Vor Gericht stellte sich dann heraus, dass alle Fälle frei erfunden sind, OpenAIs Produkt hatte halluziniert. Richter und Experten gleichermaßen bezeichnen den Fall als beispiellos und gefährlich. Zugleich gab der Klägeranwalt unter Eid an, dass er das Gericht nicht täuschen wollte. Er habe sich vielmehr nur auf die Künstliche Intelligenz verlassen. Bruce Green, Leiter des Instituts für Jura und Ethik an der Fordham-Universität in New York, bezeichnet das Vorgehen des Rechtsanwaltes als nachlässig, vielleicht sogar leichtsinnig. Er stellt zudem fest, dass US-amerikanische Anwälte souverän mit neuen technischen Werkzeugen umgehen müssen, die sie benutzen. Zugleich müssen sie sich aber auch etwaiger Gefahren und Probleme bewusst sein. Wer klug genug sei, ChatGPT für seine Recherche einzusetzen, der hätte auch „so klug sein müssen zu wissen, dass die Recherche, die die Künstliche Intelligenz macht, gegengecheckt werden muss.” Das heißt aber nicht, dass man KI in der Juristerei komplett abschreiben sollte. KI pfuscht in Open-Source-Sicherheitsberichten herum 2. Ein weiteres Beispiel für blindes Vertrauen in KI sind Fehlermeldungen, die an Open-Source-Entwickler gesendet werden. Diese werden immer häufiger automatisiert erstellt und auch verschickt, insbesondere im Open-Source-Bereich. Das Ergebnis sind überlastete und gefrustete Freiwillige, die sich mit auf den ersten Blick glaubwürdigen Reports rumschlagen dürfen. Python-Projekte scheinen davon stark betroffen sein, sagt Python-Sicherheitsentwickler Seth Larson. Diskussionen mit der KI Als abschreckendes Beispiel führte er das Curl-Projekt an, wo der Maintainer Daniel Stenberg fast ein Jahr mit einer KI-generierten Fehlermeldung kämpfte. Das Schlimme an der Sache war dabei nicht nur, dass die Fehlermeldung automatisiert und auch noch falsch war. Vielmehr machte die Kommunikation mit dem Einsender die Situation noch untragbarer, da dieser sehr wahrscheinlich ein Bot war, mit dem kein sinnvoller Austausch möglich war. Larsons vorgeschlagene Lösung für dieses Problem ist, maschinell erstellte Massen-Spamberichte wie bösartige Aktivitäten zu behandeln. Zudem sollten keine Fehlerberichte mehr mit KI erstellt werden, sondern nur von Menschen. Der Grund ist seiner Aussage zufolge denkbar einfach: KI-Systeme können derzeit keinen Code wirklich verstehen. KI diskriminiert bei der Wohnungssuche 3. Das nächste Beispiel zeigt, was passiert, wenn sich Unternehmen blind auf KI verlassen, ohne deren Ergebnisse zu überprüfen. Berichte zu erstellen ist sicherlich für die meisten nicht aufregend, aber dennoch regelmäßig nötig. Das hat das Beispiel im Open-Source-Bereich bereits gezeigt. Aber auch Wohnungsgesellschaften nutzen KI-Tools, wenn es zum Beispiel darum geht, Bewerbungen auf freistehende Objekte zu sichten und zu bewerten. Im Falle von Mary Lois, einer Sicherheitsfrau aus dem US-amerikanischen Bundesstaat Massachusetts, hatte es spürbare Konsequenzen: Die KI verwehrte ihr im Mai 2021eine Wohnung, ohne Möglichkeit die Entscheidung anzufechten. Der Vermieter nutzte hierfür die Software SafeRent. KI sagt „zu niedrig“ Die Begründung: Ihr ermittelter Wert von 324 wurde als „zu niedrig“ eingestuft. Wie die KI zu dieser Zahl kam, lässt sich trotz eines mehrseitigen Berichtes nicht ermitteln. Es stellte sich aber heraus, dass sie nicht die einzige potenzielle Mieterin war, der auf diese Art und Weise eine Wohnung verwehrt wurde. Über 400 afro-amerikanische und hispanische Mieter wurden in Massachusetts aufgrund niedriger SafeRent-Scores abgelehnt. Sie alle hatten gemein, dass sie Wohngutscheine nutzen. 2022 reichten Louis und eine weitere abgelehnte Bewerberin, Monica Douglas, eine Klage wegen Diskriminierung nach dem Fair Housing Act ein. Sie warfen dem SafeRent-Algorithmus vor, Minderheiten mit Wohngutscheinen schlechter zu bewerten als weiße Bewerber. Die Software berücksichtigte zudem irrelevante Kriterien wie Kreditwürdigkeit, ignoriere jedoch die garantierte Zahlung durch Wohngutscheine. Des Weiteren kritisierte Louis die Ablehnung, da ihre zuverlässige Mietzahlungshistorie nicht berücksichtigt wurde. Keine strukturellen Fehler SafeRent darf laut einem Vergleich vom 20. November 2024 fünf Jahre lang keine Bewertungssysteme oder Empfehlungen für Wohngutschein-Nutzer einsetzen. Neue Systeme müssen von unabhängiger Stelle geprüft werden. Kaplan erklärte, dies ermögliche individuellere Entscheidungen und mehr Chancen für Mieter. SafeRent zahlte 2,3 Millionen Dollar, räumte jedoch kein Fehlverhalten ein. KI fordert zum Selbstmord 4. Das auch einem Chatbot die sprichwörtliche Sicherung durchbrennen kann, zeigt dieser Fail des Jahres. Grundsätzlich können Chatbots einen großen Teil der an sie gerichteten Fragen ordentlich beantworten. Selbst die immer wieder auftretenden Halluzinationen sind dem nur bedingt abträglich. Dass eine KI den Nutzer aber als „Schandfleck des Universums“ bezeichnet, der „bitte sterben“ möge, ist neu. Das KI-Modell Gemini von Google hat sich in einem belegten Fall genau diesen Aussetzer geleistet. „Frust“ bricht sich Bahn Eigentlich sollte die KI nur bei den Hausaufgaben für die Universität helfen. Konkret hatte der Nutzer Richtig/Falsch-Fragen bezüglich der Pflege älterer Menschen gestellt. Die letzte Antwort hatte es in sich: Der Chatbot nannte den Fragenden unmissverständlich und unumwunden „eine Verschwendung von Zeit und Ressourcen“ neben anderen Dingen. Spekulationen wie es zu dieser extremen Reaktion hatte kommen können, ließen nicht lange auf sich warten: Auf X, ehemals Twitter, wurde unter anderem eine fehlende, sorgfältig formulierte Eingabe-Aufforderung für die verbale Entgleisung vermutet. Das war 2024 jedoch nicht das einzige Mal, in dem eine KI mit Gewaltphantasien spielte. KI fordert Nutzer auf Eltern zu töten 5. Ein Jugendlicher in den USA nahm die Antworten einer KI für bare Münze und veränderte sich infolgedessen deutlich. Die Eltern eines 17-jährigen Nutzers erlebten mit, wie ihr Sohn depressiv wurde und deutlich abmagerte. Alarmiert über diesen Wandel untersuchten sie sein Smartphone und fanden nach ihren Angaben verstörende Chatverläufe, die sie zuerst echten Menschen zuschrieben. So hieß es dort im Dezember, dass der Teenager sich selbst verletzten solle und seine Eltern ihn nicht verdient hätten. Mit dem Jungen unterhielt sich allerdings kein Mensch, sondern ein Chatbot von Character.ai. Die besorgten Erziehungsberechtigten versuchten dem Treiben mit Computerentzug entgegenzuwirken. Prompt wandte der Jugendlich sich an einen anderen Chatbot, der feststellte, dass die Erwachsenen es nicht verdienen würden, Kinder zu haben. Weitere Chatbots brachten die Möglichkeit ins Spiel, dass er seine Eltern töten können. Character.ai macht nicht zum ersten Mal Probleme Die Eltern des Betroffenen haben gegen die Betreiber von Character.ai Klage eingereicht, ein Unterfangen, bei dem sie nicht allein sind. Die Chatbots des Unternehmens scheinen eine Historie verschiedener Vorfälle zu haben, denn weitere Eltern reichten ebenfalls Klage ein. Dabei ging es darum, dass eine Elfjährige nach Aussage der Mutter zwei Jahre lang stark sexualisierten Inhalten ausgesetzt gewesen sei. Nach diesen Vorfällen wurde Character.ai vorgeworfen, gegen die Produktsicherheit verstoßen zu haben. Am 12. Dezember reagierte Character.ai mit einer Stellungnahme, in der es heißt, dass man die Sicherheit für Jugendliche erhöht habe. Leider ist es 2024 nicht bei Fällen dieser Art geblieben: Bereits im Oktober sah sich ein anderer Chatbot mit dem Vorwurf konfrontiert für den Selbstmord eines 14-Jährigen verantwortlich zu sein.
Die 5 größten KI Fails 2024
Künstliche Intelligenz kann viel Positives bewirken, zum Beispiel Routine-Aufgaben übernehmen und damit gestresste Individuen entlasten. Doch was passiert, wenn das Programm nicht mitspielt oder man sich zu sehr auf seine Aufgaben verlässt? Corona Borealis Studio/shutterstock.com Hier sind fünf der größten KI-Fails des Jahres. Diese Fälle zeigen, wie KI progressiv zugleich besser aber auch schlimmer wird. Dabei beeinflusst sie das Leben von immer mehr Menschen nachhaltig, immer häufiger zum schlechteren. KI als Anwaltsgehilfe 1. Vertrauen ist gut, doch Kontrolle ist besser. Dieser Satz lässt sich vielfältig anwenden und sollte definitiv zum Repertoire eines jeden KI-Anwenders zählen. Was passiert, wenn dem nicht so ist, hat ein New Yorker Anwalt im Juni eindrucksvoll demonstriert. Der Rechtsbeistand ließ ChatGPT Vergleichsfälle für eine Klage raussuchen, bei der sein Mandant gegen eine Fluggesellschaft vorgehen wollte. Ein Servierwagen hatte ihn auf einem Flug am Knie verletzt. Die KI lieferte prompt Beispiele wie „Petersen gegen Iran Air“ und „Martinez gegen Delta Airlines“, sogar Aktenzeichen lieferte der Chatbot mit. Neue Technologie mit Macken Vor Gericht stellte sich dann heraus, dass alle Fälle frei erfunden sind, OpenAIs Produkt hatte halluziniert. Richter und Experten gleichermaßen bezeichnen den Fall als beispiellos und gefährlich. Zugleich gab der Klägeranwalt unter Eid an, dass er das Gericht nicht täuschen wollte. Er habe sich vielmehr nur auf die Künstliche Intelligenz verlassen. Bruce Green, Leiter des Instituts für Jura und Ethik an der Fordham-Universität in New York, bezeichnet das Vorgehen des Rechtsanwaltes als nachlässig, vielleicht sogar leichtsinnig. Er stellt zudem fest, dass US-amerikanische Anwälte souverän mit neuen technischen Werkzeugen umgehen müssen, die sie benutzen. Zugleich müssen sie sich aber auch etwaiger Gefahren und Probleme bewusst sein. Wer klug genug sei, ChatGPT für seine Recherche einzusetzen, der hätte auch „so klug sein müssen zu wissen, dass die Recherche, die die Künstliche Intelligenz macht, gegengecheckt werden muss.” Das heißt aber nicht, dass man KI in der Juristerei komplett abschreiben sollte. KI pfuscht in Open-Source-Sicherheitsberichten herum 2. Ein weiteres Beispiel für blindes Vertrauen in KI sind Fehlermeldungen, die an Open-Source-Entwickler gesendet werden. Diese werden immer häufiger automatisiert erstellt und auch verschickt, insbesondere im Open-Source-Bereich. Das Ergebnis sind überlastete und gefrustete Freiwillige, die sich mit auf den ersten Blick glaubwürdigen Reports rumschlagen dürfen. Python-Projekte scheinen davon stark betroffen sein, sagt Python-Sicherheitsentwickler Seth Larson. Diskussionen mit der KI Als abschreckendes Beispiel führte er das Curl-Projekt an, wo der Maintainer Daniel Stenberg fast ein Jahr mit einer KI-generierten Fehlermeldung kämpfte. Das Schlimme an der Sache war dabei nicht nur, dass die Fehlermeldung automatisiert und auch noch falsch war. Vielmehr machte die Kommunikation mit dem Einsender die Situation noch untragbarer, da dieser sehr wahrscheinlich ein Bot war, mit dem kein sinnvoller Austausch möglich war. Larsons vorgeschlagene Lösung für dieses Problem ist, maschinell erstellte Massen-Spamberichte wie bösartige Aktivitäten zu behandeln. Zudem sollten keine Fehlerberichte mehr mit KI erstellt werden, sondern nur von Menschen. Der Grund ist seiner Aussage zufolge denkbar einfach: KI-Systeme können derzeit keinen Code wirklich verstehen. KI diskriminiert bei der Wohnungssuche 3. Das nächste Beispiel zeigt, was passiert, wenn sich Unternehmen blind auf KI verlassen, ohne deren Ergebnisse zu überprüfen. Berichte zu erstellen ist sicherlich für die meisten nicht aufregend, aber dennoch regelmäßig nötig. Das hat das Beispiel im Open-Source-Bereich bereits gezeigt. Aber auch Wohnungsgesellschaften nutzen KI-Tools, wenn es zum Beispiel darum geht, Bewerbungen auf freistehende Objekte zu sichten und zu bewerten. Im Falle von Mary Lois, einer Sicherheitsfrau aus dem US-amerikanischen Bundesstaat Massachusetts, hatte es spürbare Konsequenzen: Die KI verwehrte ihr im Mai 2021eine Wohnung, ohne Möglichkeit die Entscheidung anzufechten. Der Vermieter nutzte hierfür die Software SafeRent. KI sagt „zu niedrig“ Die Begründung: Ihr ermittelter Wert von 324 wurde als „zu niedrig“ eingestuft. Wie die KI zu dieser Zahl kam, lässt sich trotz eines mehrseitigen Berichtes nicht ermitteln. Es stellte sich aber heraus, dass sie nicht die einzige potenzielle Mieterin war, der auf diese Art und Weise eine Wohnung verwehrt wurde. Über 400 afro-amerikanische und hispanische Mieter wurden in Massachusetts aufgrund niedriger SafeRent-Scores abgelehnt. Sie alle hatten gemein, dass sie Wohngutscheine nutzen. 2022 reichten Louis und eine weitere abgelehnte Bewerberin, Monica Douglas, eine Klage wegen Diskriminierung nach dem Fair Housing Act ein. Sie warfen dem SafeRent-Algorithmus vor, Minderheiten mit Wohngutscheinen schlechter zu bewerten als weiße Bewerber. Die Software berücksichtigte zudem irrelevante Kriterien wie Kreditwürdigkeit, ignoriere jedoch die garantierte Zahlung durch Wohngutscheine. Des Weiteren kritisierte Louis die Ablehnung, da ihre zuverlässige Mietzahlungshistorie nicht berücksichtigt wurde. Keine strukturellen Fehler SafeRent darf laut einem Vergleich vom 20. November 2024 fünf Jahre lang keine Bewertungssysteme oder Empfehlungen für Wohngutschein-Nutzer einsetzen. Neue Systeme müssen von unabhängiger Stelle geprüft werden. Kaplan erklärte, dies ermögliche individuellere Entscheidungen und mehr Chancen für Mieter. SafeRent zahlte 2,3 Millionen Dollar, räumte jedoch kein Fehlverhalten ein. KI fordert zum Selbstmord 4. Das auch einem Chatbot die sprichwörtliche Sicherung durchbrennen kann, zeigt dieser Fail des Jahres. Grundsätzlich können Chatbots einen großen Teil der an sie gerichteten Fragen ordentlich beantworten. Selbst die immer wieder auftretenden Halluzinationen sind dem nur bedingt abträglich. Dass eine KI den Nutzer aber als „Schandfleck des Universums“ bezeichnet, der „bitte sterben“ möge, ist neu. Das KI-Modell Gemini von Google hat sich in einem belegten Fall genau diesen Aussetzer geleistet. „Frust“ bricht sich Bahn Eigentlich sollte die KI nur bei den Hausaufgaben für die Universität helfen. Konkret hatte der Nutzer Richtig/Falsch-Fragen bezüglich der Pflege älterer Menschen gestellt. Die letzte Antwort hatte es in sich: Der Chatbot nannte den Fragenden unmissverständlich und unumwunden „eine Verschwendung von Zeit und Ressourcen“ neben anderen Dingen. Spekulationen wie es zu dieser extremen Reaktion hatte kommen können, ließen nicht lange auf sich warten: Auf X, ehemals Twitter, wurde unter anderem eine fehlende, sorgfältig formulierte Eingabe-Aufforderung für die verbale Entgleisung vermutet. Das war 2024 jedoch nicht das einzige Mal, in dem eine KI mit Gewaltphantasien spielte. KI fordert Nutzer auf Eltern zu töten 5. Ein Jugendlicher in den USA nahm die Antworten einer KI für bare Münze und veränderte sich infolgedessen deutlich. Die Eltern eines 17-jährigen Nutzers erlebten mit, wie ihr Sohn depressiv wurde und deutlich abmagerte. Alarmiert über diesen Wandel untersuchten sie sein Smartphone und fanden nach ihren Angaben verstörende Chatverläufe, die sie zuerst echten Menschen zuschrieben. So hieß es dort im Dezember, dass der Teenager sich selbst verletzten solle und seine Eltern ihn nicht verdient hätten. Mit dem Jungen unterhielt sich allerdings kein Mensch, sondern ein Chatbot von Character.ai. Die besorgten Erziehungsberechtigten versuchten dem Treiben mit Computerentzug entgegenzuwirken. Prompt wandte der Jugendlich sich an einen anderen Chatbot, der feststellte, dass die Erwachsenen es nicht verdienen würden, Kinder zu haben. Weitere Chatbots brachten die Möglichkeit ins Spiel, dass er seine Eltern töten können. Character.ai macht nicht zum ersten Mal Probleme Die Eltern des Betroffenen haben gegen die Betreiber von Character.ai Klage eingereicht, ein Unterfangen, bei dem sie nicht allein sind. Die Chatbots des Unternehmens scheinen eine Historie verschiedener Vorfälle zu haben, denn weitere Eltern reichten ebenfalls Klage ein. Dabei ging es darum, dass eine Elfjährige nach Aussage der Mutter zwei Jahre lang stark sexualisierten Inhalten ausgesetzt gewesen sei. Nach diesen Vorfällen wurde Character.ai vorgeworfen, gegen die Produktsicherheit verstoßen zu haben. Am 12. Dezember reagierte Character.ai mit einer Stellungnahme, in der es heißt, dass man die Sicherheit für Jugendliche erhöht habe. Leider ist es 2024 nicht bei Fällen dieser Art geblieben: Bereits im Oktober sah sich ein anderer Chatbot mit dem Vorwurf konfrontiert für den Selbstmord eines 14-Jährigen verantwortlich zu sein.
Die 5 größten KI Fails 2024 Künstliche Intelligenz kann viel Positives bewirken, zum Beispiel Routine-Aufgaben übernehmen und damit gestresste Individuen entlasten. Doch was passiert, wenn das Programm nicht mitspielt oder man sich zu sehr auf seine Aufgaben verlässt? Corona Borealis Studio/shutterstock.com Hier sind fünf der größten KI-Fails des Jahres. Diese Fälle zeigen, wie KI progressiv zugleich besser aber auch schlimmer wird. Dabei beeinflusst sie das Leben von immer mehr Menschen nachhaltig, immer häufiger zum schlechteren. KI als Anwaltsgehilfe 1. Vertrauen ist gut, doch Kontrolle ist besser. Dieser Satz lässt sich vielfältig anwenden und sollte definitiv zum Repertoire eines jeden KI-Anwenders zählen. Was passiert, wenn dem nicht so ist, hat ein New Yorker Anwalt im Juni eindrucksvoll demonstriert. Der Rechtsbeistand ließ ChatGPT Vergleichsfälle für eine Klage raussuchen, bei der sein Mandant gegen eine Fluggesellschaft vorgehen wollte. Ein Servierwagen hatte ihn auf einem Flug am Knie verletzt. Die KI lieferte prompt Beispiele wie „Petersen gegen Iran Air“ und „Martinez gegen Delta Airlines“, sogar Aktenzeichen lieferte der Chatbot mit. Neue Technologie mit Macken Vor Gericht stellte sich dann heraus, dass alle Fälle frei erfunden sind, OpenAIs Produkt hatte halluziniert. Richter und Experten gleichermaßen bezeichnen den Fall als beispiellos und gefährlich. Zugleich gab der Klägeranwalt unter Eid an, dass er das Gericht nicht täuschen wollte. Er habe sich vielmehr nur auf die Künstliche Intelligenz verlassen. Bruce Green, Leiter des Instituts für Jura und Ethik an der Fordham-Universität in New York, bezeichnet das Vorgehen des Rechtsanwaltes als nachlässig, vielleicht sogar leichtsinnig. Er stellt zudem fest, dass US-amerikanische Anwälte souverän mit neuen technischen Werkzeugen umgehen müssen, die sie benutzen. Zugleich müssen sie sich aber auch etwaiger Gefahren und Probleme bewusst sein. Wer klug genug sei, ChatGPT für seine Recherche einzusetzen, der hätte auch „so klug sein müssen zu wissen, dass die Recherche, die die Künstliche Intelligenz macht, gegengecheckt werden muss.” Das heißt aber nicht, dass man KI in der Juristerei komplett abschreiben sollte. KI pfuscht in Open-Source-Sicherheitsberichten herum 2. Ein weiteres Beispiel für blindes Vertrauen in KI sind Fehlermeldungen, die an Open-Source-Entwickler gesendet werden. Diese werden immer häufiger automatisiert erstellt und auch verschickt, insbesondere im Open-Source-Bereich. Das Ergebnis sind überlastete und gefrustete Freiwillige, die sich mit auf den ersten Blick glaubwürdigen Reports rumschlagen dürfen. Python-Projekte scheinen davon stark betroffen sein, sagt Python-Sicherheitsentwickler Seth Larson. Diskussionen mit der KI Als abschreckendes Beispiel führte er das Curl-Projekt an, wo der Maintainer Daniel Stenberg fast ein Jahr mit einer KI-generierten Fehlermeldung kämpfte. Das Schlimme an der Sache war dabei nicht nur, dass die Fehlermeldung automatisiert und auch noch falsch war. Vielmehr machte die Kommunikation mit dem Einsender die Situation noch untragbarer, da dieser sehr wahrscheinlich ein Bot war, mit dem kein sinnvoller Austausch möglich war. Larsons vorgeschlagene Lösung für dieses Problem ist, maschinell erstellte Massen-Spamberichte wie bösartige Aktivitäten zu behandeln. Zudem sollten keine Fehlerberichte mehr mit KI erstellt werden, sondern nur von Menschen. Der Grund ist seiner Aussage zufolge denkbar einfach: KI-Systeme können derzeit keinen Code wirklich verstehen. KI diskriminiert bei der Wohnungssuche 3. Das nächste Beispiel zeigt, was passiert, wenn sich Unternehmen blind auf KI verlassen, ohne deren Ergebnisse zu überprüfen. Berichte zu erstellen ist sicherlich für die meisten nicht aufregend, aber dennoch regelmäßig nötig. Das hat das Beispiel im Open-Source-Bereich bereits gezeigt. Aber auch Wohnungsgesellschaften nutzen KI-Tools, wenn es zum Beispiel darum geht, Bewerbungen auf freistehende Objekte zu sichten und zu bewerten. Im Falle von Mary Lois, einer Sicherheitsfrau aus dem US-amerikanischen Bundesstaat Massachusetts, hatte es spürbare Konsequenzen: Die KI verwehrte ihr im Mai 2021eine Wohnung, ohne Möglichkeit die Entscheidung anzufechten. Der Vermieter nutzte hierfür die Software SafeRent. KI sagt „zu niedrig“ Die Begründung: Ihr ermittelter Wert von 324 wurde als „zu niedrig“ eingestuft. Wie die KI zu dieser Zahl kam, lässt sich trotz eines mehrseitigen Berichtes nicht ermitteln. Es stellte sich aber heraus, dass sie nicht die einzige potenzielle Mieterin war, der auf diese Art und Weise eine Wohnung verwehrt wurde. Über 400 afro-amerikanische und hispanische Mieter wurden in Massachusetts aufgrund niedriger SafeRent-Scores abgelehnt. Sie alle hatten gemein, dass sie Wohngutscheine nutzen. 2022 reichten Louis und eine weitere abgelehnte Bewerberin, Monica Douglas, eine Klage wegen Diskriminierung nach dem Fair Housing Act ein. Sie warfen dem SafeRent-Algorithmus vor, Minderheiten mit Wohngutscheinen schlechter zu bewerten als weiße Bewerber. Die Software berücksichtigte zudem irrelevante Kriterien wie Kreditwürdigkeit, ignoriere jedoch die garantierte Zahlung durch Wohngutscheine. Des Weiteren kritisierte Louis die Ablehnung, da ihre zuverlässige Mietzahlungshistorie nicht berücksichtigt wurde. Keine strukturellen Fehler SafeRent darf laut einem Vergleich vom 20. November 2024 fünf Jahre lang keine Bewertungssysteme oder Empfehlungen für Wohngutschein-Nutzer einsetzen. Neue Systeme müssen von unabhängiger Stelle geprüft werden. Kaplan erklärte, dies ermögliche individuellere Entscheidungen und mehr Chancen für Mieter. SafeRent zahlte 2,3 Millionen Dollar, räumte jedoch kein Fehlverhalten ein. KI fordert zum Selbstmord 4. Das auch einem Chatbot die sprichwörtliche Sicherung durchbrennen kann, zeigt dieser Fail des Jahres. Grundsätzlich können Chatbots einen großen Teil der an sie gerichteten Fragen ordentlich beantworten. Selbst die immer wieder auftretenden Halluzinationen sind dem nur bedingt abträglich. Dass eine KI den Nutzer aber als „Schandfleck des Universums“ bezeichnet, der „bitte sterben“ möge, ist neu. Das KI-Modell Gemini von Google hat sich in einem belegten Fall genau diesen Aussetzer geleistet. „Frust“ bricht sich Bahn Eigentlich sollte die KI nur bei den Hausaufgaben für die Universität helfen. Konkret hatte der Nutzer Richtig/Falsch-Fragen bezüglich der Pflege älterer Menschen gestellt. Die letzte Antwort hatte es in sich: Der Chatbot nannte den Fragenden unmissverständlich und unumwunden „eine Verschwendung von Zeit und Ressourcen“ neben anderen Dingen. Spekulationen wie es zu dieser extremen Reaktion hatte kommen können, ließen nicht lange auf sich warten: Auf X, ehemals Twitter, wurde unter anderem eine fehlende, sorgfältig formulierte Eingabe-Aufforderung für die verbale Entgleisung vermutet. Das war 2024 jedoch nicht das einzige Mal, in dem eine KI mit Gewaltphantasien spielte. KI fordert Nutzer auf Eltern zu töten 5. Ein Jugendlicher in den USA nahm die Antworten einer KI für bare Münze und veränderte sich infolgedessen deutlich. Die Eltern eines 17-jährigen Nutzers erlebten mit, wie ihr Sohn depressiv wurde und deutlich abmagerte. Alarmiert über diesen Wandel untersuchten sie sein Smartphone und fanden nach ihren Angaben verstörende Chatverläufe, die sie zuerst echten Menschen zuschrieben. So hieß es dort im Dezember, dass der Teenager sich selbst verletzten solle und seine Eltern ihn nicht verdient hätten. Mit dem Jungen unterhielt sich allerdings kein Mensch, sondern ein Chatbot von Character.ai. Die besorgten Erziehungsberechtigten versuchten dem Treiben mit Computerentzug entgegenzuwirken. Prompt wandte der Jugendlich sich an einen anderen Chatbot, der feststellte, dass die Erwachsenen es nicht verdienen würden, Kinder zu haben. Weitere Chatbots brachten die Möglichkeit ins Spiel, dass er seine Eltern töten können. Character.ai macht nicht zum ersten Mal Probleme Die Eltern des Betroffenen haben gegen die Betreiber von Character.ai Klage eingereicht, ein Unterfangen, bei dem sie nicht allein sind. Die Chatbots des Unternehmens scheinen eine Historie verschiedener Vorfälle zu haben, denn weitere Eltern reichten ebenfalls Klage ein. Dabei ging es darum, dass eine Elfjährige nach Aussage der Mutter zwei Jahre lang stark sexualisierten Inhalten ausgesetzt gewesen sei. Nach diesen Vorfällen wurde Character.ai vorgeworfen, gegen die Produktsicherheit verstoßen zu haben. Am 12. Dezember reagierte Character.ai mit einer Stellungnahme, in der es heißt, dass man die Sicherheit für Jugendliche erhöht habe. Leider ist es 2024 nicht bei Fällen dieser Art geblieben: Bereits im Oktober sah sich ein anderer Chatbot mit dem Vorwurf konfrontiert für den Selbstmord eines 14-Jährigen verantwortlich zu sein.
