AI-Expertin Jana Richter diskutiert im CW-Interview über den KI-Einsatz in der Telekommunikation. NFON Der Begriff KI wird ja derzeit fast inflationär genutzt. Inwieweit ist KI im TK-Bereich wirklich ein Gamechanger? Jana Richter: Aus Nutzersicht beschleunigt KI einen Trend, den wir bereits sehen: Informationen müssen jederzeit und überall verfügbar sein. Früher hat man in einem Laden angerufen, heute googelt man. Habe ich Samstagabends eine Frage, dann will ich nicht bis Montag auf die Antwort warten müssen. KI ermöglicht genau das: Einen Kontakt über verschiedene Kanäle, um Infos in Echtzeit zu erhalten. Damit ich nicht falsch verstanden werde: Der persönliche Kontakt bleibt weiterhin wichtig. Aber KI ist die perfekte Ergänzung dazu. KI ersetzt persönlichen Kontakt nicht Das war die User-Sicht. Wie sieht es aus Betreibersicht aus? Ist KI nur ein Werkzeug, um die teuren Mitarbeiter einzusparen? Richter: Nein, so einfach ist es nicht. Sicher, KI entlastet die Mitarbeiter, indem sie Standardanfragen automatisiert beantwortet. Bei komplexen Themen ist aber weiterhin der persönliche Kontakt das Mittel der Wahl. Ich sehe KI eher im First-Level-Support, so dass sich die Fachkräfte auf die kniffligen Fälle konzentrieren können. Aber auch im Second-Level-Support kann die KI unterstützen, etwa bei der technischen Fehleranalyse, wenn eine Netzverbindung hakt. Apropos Technik. Sie nutzen für ihre KI-Lösungen LLMs. Entwickeln Sie solche Modelle selbst, oder greifen Sie auf andere zurück? Richter: Wir sind Realisten und entwickeln keine eigenen LLMs. Das wäre weder sinnvoll, noch könnten wir mit der Konkurrenz mithalten. Wir setzen hier auf botario (Anm. d. Red.: NFON kaufte den auf Chat- und Voicebots fokussierten KI-Spezialisten im August 2024), um verschiedene LLMs anzubinden. Kunden können also ihr bevorzugtes Modell nutzen, egal ob OpenAI, Anthropic, Mistral oder ein Open-Source-Modell. Unser NFON Intelligent Assistant (NIA) auf der Webseite läuft aktuell mit OpenAI. Parallel testen wir aber verschiedene andere Modelle. Und wie lernt die KI? Übernehmen Sie die Modelle eins zu eins, oder werden sie mit eigenen Daten trainiert? Nicht, dass die KI am Ende halluziniert oder komische Sachen erzählt. Richter: Keine Sorge, wir haben das im Griff. Wir verwenden Prompt Engineering und Retrieval Augmented Generation, um unsere Wissensbasis in einer Vektordatenbank verfügbar zu machen. Ferner werden die Sprachmodelle eingeschränkt. So stellen wir sicher, dass sie nur Fragen innerhalb der Wissensbasis beantworten und keine themenfremden Inhalte liefern. Außerdem geben wir den Nutzern die Möglichkeit, Feedback zu liefern, wenn eine Antwort nicht passt. Zusätzlich haben wir sogenannte Guardrails eingebaut, um die Kreativität der KI zu steuern. Intern haben wir diese etwas gelockert, da unsere Teams flexibler sein wollen, um die KI etwa zum Coden zu nutzen. Aber extern haben wir weiterhin strenge Regeln. KI mit Guardrails steuern Können Kunden die Guardrails in ihren eigenen Implementierungen anpassen? Richter: Ja, in eigenen Implementierungen können die Guardrails individuell eingestellt werden. Auf diese Weise sind die Anwender in der Lage, die Kreativität des Chatbots zu steuern. Der KI-gestützter Chatbot NIA verwendet ein KI-Modell von OpenAI.NFON Wie sieht es mit dem Hosting der KI-Lösung aus? Nutzen Sie die typischen Hyperscaler oder deutsche Hoster, um den Regulierungen in der EU gerecht zu werden? Richter: Wie gesagt, setzen wir bei der KI-Anbindung auf botario. Das Software-as-a-Service-Angebot von botario läuft aktuell in deutschen Rechenzentren bei deutschen Service Providern. Parallel prüfen wir die Hyperscaler in Bezug auf Skalierbarkeit und Verfügbarkeit von Rechenleistung, hier ist insbesondere der GPU-Aspekt von Interesse. Der Mensch trifft die Entscheidung Wo wir beim Thema EU-Regeln sind, der EU-AI-Act sieht vor, dass eine KI keine Entscheidungen aufgrund von soziodemographischen Daten trifft. Wie geht man damit im Contact-Center-Bereich um? Richter: Hier ist Transparenz besonders wichtig. Die Nutzer müssen wissen, welche Daten für welchen Zweck verwendet werden. Ferner dürfen Entscheidungen nicht auf Basis von soziodemographischen Faktoren getroffen werden. Deshalb ist es wichtig, dass die Machine-Learning-Algorithmen keine eigenständigen Entscheidungen treffen, die auf solchen Faktoren basieren. Die KI kann aber den Contact-Center-Agenten unterstützen, etwa indem sie Anfragen vorab screent oder Informationen bereitstellt. Aber der Agent, sprich der Mensch, muss die endgültige Entscheidung treffen. KI-Agenten im Hintergrund Apropos Agent. KI-Agenten sind aktuell ein heißes Thema. Wann und wo werden sie im TK-Bereich Einzug halten? Richter: Für mich ist ein KI-Agent eine Technologie, die komplexe Aktionen durchführen kann und den Nutzer dabei entlastet. Im TK-Bereich werden KI-Agenten zuerst bei Voice- und Chatbots Einzug halten. Sie können beispielsweise Rezeptbestellungen und Adressänderungen bearbeiten oder Terminvereinbarungen übernehmen. Dies beinhaltet mehrere automatisierte API-Aufrufe im Hintergrund. Das wurde uns doch schon vor Jahren mit RPA versprochen. Wo ist der Unterschied? Richter: RPA ist weiterhin eine valide Technologie. Der große Unterschied liegt in der natürlichen Sprachinteraktion, die die KI-Sprachmodelle ermöglichen. Bei intent-basierten Chatbots oder RPA muss man genau wissen, was das System kann und wie man es aufruft, beziehungsweise welche Fragen es versteht. KI-Sprachmodelle erlauben es dagegen, Fragen frei in natürlicher Sprache zu stellen. Anhand des Inputs kann die KI dann den Benutzer passend lenken. Ok, Sie haben mich überzeugt. Ich will jetzt als Unternehmen KI einführen. Benötige ich dazu das vielzitierte AI Excellence Center? Richter: Nein, es müssen nicht zwangsläufig ganze Teams mit Data Scientists eingestellt werden. Aber KI sollte zur Chefsache gemacht werden. Und Unternehmen sollten sich mit den Auswirkungen von KI auf das Geschäft und die Industrie auseinanderzusetzen. Ferner ist zu überlegen, wie die eigene Firma von KI profitiert. Dazu muss eventuell das Thema Customer Experience neu gedacht werden. Oder es ist zu fragen, welche Dinge und Prozesse mit KI-Hilfe automatisiert werden können. Des Weiteren empfehle ich Pilotprojekte durchzuführen und hinsichtlich des KI-Einsatzes mit Kunden und Partnern zu sprechen.
„Eigene LLMs zu entwickeln, wäre nicht sinnvoll“
AI-Expertin Jana Richter diskutiert im CW-Interview über den KI-Einsatz in der Telekommunikation. NFON Der Begriff KI wird ja derzeit fast inflationär genutzt. Inwieweit ist KI im TK-Bereich wirklich ein Gamechanger? Jana Richter: Aus Nutzersicht beschleunigt KI einen Trend, den wir bereits sehen: Informationen müssen jederzeit und überall verfügbar sein. Früher hat man in einem Laden angerufen, heute googelt man. Habe ich Samstagabends eine Frage, dann will ich nicht bis Montag auf die Antwort warten müssen. KI ermöglicht genau das: Einen Kontakt über verschiedene Kanäle, um Infos in Echtzeit zu erhalten. Damit ich nicht falsch verstanden werde: Der persönliche Kontakt bleibt weiterhin wichtig. Aber KI ist die perfekte Ergänzung dazu. KI ersetzt persönlichen Kontakt nicht Das war die User-Sicht. Wie sieht es aus Betreibersicht aus? Ist KI nur ein Werkzeug, um die teuren Mitarbeiter einzusparen? Richter: Nein, so einfach ist es nicht. Sicher, KI entlastet die Mitarbeiter, indem sie Standardanfragen automatisiert beantwortet. Bei komplexen Themen ist aber weiterhin der persönliche Kontakt das Mittel der Wahl. Ich sehe KI eher im First-Level-Support, so dass sich die Fachkräfte auf die kniffligen Fälle konzentrieren können. Aber auch im Second-Level-Support kann die KI unterstützen, etwa bei der technischen Fehleranalyse, wenn eine Netzverbindung hakt. Apropos Technik. Sie nutzen für ihre KI-Lösungen LLMs. Entwickeln Sie solche Modelle selbst, oder greifen Sie auf andere zurück? Richter: Wir sind Realisten und entwickeln keine eigenen LLMs. Das wäre weder sinnvoll, noch könnten wir mit der Konkurrenz mithalten. Wir setzen hier auf botario (Anm. d. Red.: NFON kaufte den auf Chat- und Voicebots fokussierten KI-Spezialisten im August 2024), um verschiedene LLMs anzubinden. Kunden können also ihr bevorzugtes Modell nutzen, egal ob OpenAI, Anthropic, Mistral oder ein Open-Source-Modell. Unser NFON Intelligent Assistant (NIA) auf der Webseite läuft aktuell mit OpenAI. Parallel testen wir aber verschiedene andere Modelle. Und wie lernt die KI? Übernehmen Sie die Modelle eins zu eins, oder werden sie mit eigenen Daten trainiert? Nicht, dass die KI am Ende halluziniert oder komische Sachen erzählt. Richter: Keine Sorge, wir haben das im Griff. Wir verwenden Prompt Engineering und Retrieval Augmented Generation, um unsere Wissensbasis in einer Vektordatenbank verfügbar zu machen. Ferner werden die Sprachmodelle eingeschränkt. So stellen wir sicher, dass sie nur Fragen innerhalb der Wissensbasis beantworten und keine themenfremden Inhalte liefern. Außerdem geben wir den Nutzern die Möglichkeit, Feedback zu liefern, wenn eine Antwort nicht passt. Zusätzlich haben wir sogenannte Guardrails eingebaut, um die Kreativität der KI zu steuern. Intern haben wir diese etwas gelockert, da unsere Teams flexibler sein wollen, um die KI etwa zum Coden zu nutzen. Aber extern haben wir weiterhin strenge Regeln. KI mit Guardrails steuern Können Kunden die Guardrails in ihren eigenen Implementierungen anpassen? Richter: Ja, in eigenen Implementierungen können die Guardrails individuell eingestellt werden. Auf diese Weise sind die Anwender in der Lage, die Kreativität des Chatbots zu steuern. Der KI-gestützter Chatbot NIA verwendet ein KI-Modell von OpenAI.NFON Wie sieht es mit dem Hosting der KI-Lösung aus? Nutzen Sie die typischen Hyperscaler oder deutsche Hoster, um den Regulierungen in der EU gerecht zu werden? Richter: Wie gesagt, setzen wir bei der KI-Anbindung auf botario. Das Software-as-a-Service-Angebot von botario läuft aktuell in deutschen Rechenzentren bei deutschen Service Providern. Parallel prüfen wir die Hyperscaler in Bezug auf Skalierbarkeit und Verfügbarkeit von Rechenleistung, hier ist insbesondere der GPU-Aspekt von Interesse. Der Mensch trifft die Entscheidung Wo wir beim Thema EU-Regeln sind, der EU-AI-Act sieht vor, dass eine KI keine Entscheidungen aufgrund von soziodemographischen Daten trifft. Wie geht man damit im Contact-Center-Bereich um? Richter: Hier ist Transparenz besonders wichtig. Die Nutzer müssen wissen, welche Daten für welchen Zweck verwendet werden. Ferner dürfen Entscheidungen nicht auf Basis von soziodemographischen Faktoren getroffen werden. Deshalb ist es wichtig, dass die Machine-Learning-Algorithmen keine eigenständigen Entscheidungen treffen, die auf solchen Faktoren basieren. Die KI kann aber den Contact-Center-Agenten unterstützen, etwa indem sie Anfragen vorab screent oder Informationen bereitstellt. Aber der Agent, sprich der Mensch, muss die endgültige Entscheidung treffen. KI-Agenten im Hintergrund Apropos Agent. KI-Agenten sind aktuell ein heißes Thema. Wann und wo werden sie im TK-Bereich Einzug halten? Richter: Für mich ist ein KI-Agent eine Technologie, die komplexe Aktionen durchführen kann und den Nutzer dabei entlastet. Im TK-Bereich werden KI-Agenten zuerst bei Voice- und Chatbots Einzug halten. Sie können beispielsweise Rezeptbestellungen und Adressänderungen bearbeiten oder Terminvereinbarungen übernehmen. Dies beinhaltet mehrere automatisierte API-Aufrufe im Hintergrund. Das wurde uns doch schon vor Jahren mit RPA versprochen. Wo ist der Unterschied? Richter: RPA ist weiterhin eine valide Technologie. Der große Unterschied liegt in der natürlichen Sprachinteraktion, die die KI-Sprachmodelle ermöglichen. Bei intent-basierten Chatbots oder RPA muss man genau wissen, was das System kann und wie man es aufruft, beziehungsweise welche Fragen es versteht. KI-Sprachmodelle erlauben es dagegen, Fragen frei in natürlicher Sprache zu stellen. Anhand des Inputs kann die KI dann den Benutzer passend lenken. Ok, Sie haben mich überzeugt. Ich will jetzt als Unternehmen KI einführen. Benötige ich dazu das vielzitierte AI Excellence Center? Richter: Nein, es müssen nicht zwangsläufig ganze Teams mit Data Scientists eingestellt werden. Aber KI sollte zur Chefsache gemacht werden. Und Unternehmen sollten sich mit den Auswirkungen von KI auf das Geschäft und die Industrie auseinanderzusetzen. Ferner ist zu überlegen, wie die eigene Firma von KI profitiert. Dazu muss eventuell das Thema Customer Experience neu gedacht werden. Oder es ist zu fragen, welche Dinge und Prozesse mit KI-Hilfe automatisiert werden können. Des Weiteren empfehle ich Pilotprojekte durchzuführen und hinsichtlich des KI-Einsatzes mit Kunden und Partnern zu sprechen.
„Eigene LLMs zu entwickeln, wäre nicht sinnvoll“ AI-Expertin Jana Richter diskutiert im CW-Interview über den KI-Einsatz in der Telekommunikation. NFON Der Begriff KI wird ja derzeit fast inflationär genutzt. Inwieweit ist KI im TK-Bereich wirklich ein Gamechanger? Jana Richter: Aus Nutzersicht beschleunigt KI einen Trend, den wir bereits sehen: Informationen müssen jederzeit und überall verfügbar sein. Früher hat man in einem Laden angerufen, heute googelt man. Habe ich Samstagabends eine Frage, dann will ich nicht bis Montag auf die Antwort warten müssen. KI ermöglicht genau das: Einen Kontakt über verschiedene Kanäle, um Infos in Echtzeit zu erhalten. Damit ich nicht falsch verstanden werde: Der persönliche Kontakt bleibt weiterhin wichtig. Aber KI ist die perfekte Ergänzung dazu. KI ersetzt persönlichen Kontakt nicht Das war die User-Sicht. Wie sieht es aus Betreibersicht aus? Ist KI nur ein Werkzeug, um die teuren Mitarbeiter einzusparen? Richter: Nein, so einfach ist es nicht. Sicher, KI entlastet die Mitarbeiter, indem sie Standardanfragen automatisiert beantwortet. Bei komplexen Themen ist aber weiterhin der persönliche Kontakt das Mittel der Wahl. Ich sehe KI eher im First-Level-Support, so dass sich die Fachkräfte auf die kniffligen Fälle konzentrieren können. Aber auch im Second-Level-Support kann die KI unterstützen, etwa bei der technischen Fehleranalyse, wenn eine Netzverbindung hakt. Apropos Technik. Sie nutzen für ihre KI-Lösungen LLMs. Entwickeln Sie solche Modelle selbst, oder greifen Sie auf andere zurück? Richter: Wir sind Realisten und entwickeln keine eigenen LLMs. Das wäre weder sinnvoll, noch könnten wir mit der Konkurrenz mithalten. Wir setzen hier auf botario (Anm. d. Red.: NFON kaufte den auf Chat- und Voicebots fokussierten KI-Spezialisten im August 2024), um verschiedene LLMs anzubinden. Kunden können also ihr bevorzugtes Modell nutzen, egal ob OpenAI, Anthropic, Mistral oder ein Open-Source-Modell. Unser NFON Intelligent Assistant (NIA) auf der Webseite läuft aktuell mit OpenAI. Parallel testen wir aber verschiedene andere Modelle. Und wie lernt die KI? Übernehmen Sie die Modelle eins zu eins, oder werden sie mit eigenen Daten trainiert? Nicht, dass die KI am Ende halluziniert oder komische Sachen erzählt. Richter: Keine Sorge, wir haben das im Griff. Wir verwenden Prompt Engineering und Retrieval Augmented Generation, um unsere Wissensbasis in einer Vektordatenbank verfügbar zu machen. Ferner werden die Sprachmodelle eingeschränkt. So stellen wir sicher, dass sie nur Fragen innerhalb der Wissensbasis beantworten und keine themenfremden Inhalte liefern. Außerdem geben wir den Nutzern die Möglichkeit, Feedback zu liefern, wenn eine Antwort nicht passt. Zusätzlich haben wir sogenannte Guardrails eingebaut, um die Kreativität der KI zu steuern. Intern haben wir diese etwas gelockert, da unsere Teams flexibler sein wollen, um die KI etwa zum Coden zu nutzen. Aber extern haben wir weiterhin strenge Regeln. KI mit Guardrails steuern Können Kunden die Guardrails in ihren eigenen Implementierungen anpassen? Richter: Ja, in eigenen Implementierungen können die Guardrails individuell eingestellt werden. Auf diese Weise sind die Anwender in der Lage, die Kreativität des Chatbots zu steuern. Der KI-gestützter Chatbot NIA verwendet ein KI-Modell von OpenAI.NFON Wie sieht es mit dem Hosting der KI-Lösung aus? Nutzen Sie die typischen Hyperscaler oder deutsche Hoster, um den Regulierungen in der EU gerecht zu werden? Richter: Wie gesagt, setzen wir bei der KI-Anbindung auf botario. Das Software-as-a-Service-Angebot von botario läuft aktuell in deutschen Rechenzentren bei deutschen Service Providern. Parallel prüfen wir die Hyperscaler in Bezug auf Skalierbarkeit und Verfügbarkeit von Rechenleistung, hier ist insbesondere der GPU-Aspekt von Interesse. Der Mensch trifft die Entscheidung Wo wir beim Thema EU-Regeln sind, der EU-AI-Act sieht vor, dass eine KI keine Entscheidungen aufgrund von soziodemographischen Daten trifft. Wie geht man damit im Contact-Center-Bereich um? Richter: Hier ist Transparenz besonders wichtig. Die Nutzer müssen wissen, welche Daten für welchen Zweck verwendet werden. Ferner dürfen Entscheidungen nicht auf Basis von soziodemographischen Faktoren getroffen werden. Deshalb ist es wichtig, dass die Machine-Learning-Algorithmen keine eigenständigen Entscheidungen treffen, die auf solchen Faktoren basieren. Die KI kann aber den Contact-Center-Agenten unterstützen, etwa indem sie Anfragen vorab screent oder Informationen bereitstellt. Aber der Agent, sprich der Mensch, muss die endgültige Entscheidung treffen. KI-Agenten im Hintergrund Apropos Agent. KI-Agenten sind aktuell ein heißes Thema. Wann und wo werden sie im TK-Bereich Einzug halten? Richter: Für mich ist ein KI-Agent eine Technologie, die komplexe Aktionen durchführen kann und den Nutzer dabei entlastet. Im TK-Bereich werden KI-Agenten zuerst bei Voice- und Chatbots Einzug halten. Sie können beispielsweise Rezeptbestellungen und Adressänderungen bearbeiten oder Terminvereinbarungen übernehmen. Dies beinhaltet mehrere automatisierte API-Aufrufe im Hintergrund. Das wurde uns doch schon vor Jahren mit RPA versprochen. Wo ist der Unterschied? Richter: RPA ist weiterhin eine valide Technologie. Der große Unterschied liegt in der natürlichen Sprachinteraktion, die die KI-Sprachmodelle ermöglichen. Bei intent-basierten Chatbots oder RPA muss man genau wissen, was das System kann und wie man es aufruft, beziehungsweise welche Fragen es versteht. KI-Sprachmodelle erlauben es dagegen, Fragen frei in natürlicher Sprache zu stellen. Anhand des Inputs kann die KI dann den Benutzer passend lenken. Ok, Sie haben mich überzeugt. Ich will jetzt als Unternehmen KI einführen. Benötige ich dazu das vielzitierte AI Excellence Center? Richter: Nein, es müssen nicht zwangsläufig ganze Teams mit Data Scientists eingestellt werden. Aber KI sollte zur Chefsache gemacht werden. Und Unternehmen sollten sich mit den Auswirkungen von KI auf das Geschäft und die Industrie auseinanderzusetzen. Ferner ist zu überlegen, wie die eigene Firma von KI profitiert. Dazu muss eventuell das Thema Customer Experience neu gedacht werden. Oder es ist zu fragen, welche Dinge und Prozesse mit KI-Hilfe automatisiert werden können. Des Weiteren empfehle ich Pilotprojekte durchzuführen und hinsichtlich des KI-Einsatzes mit Kunden und Partnern zu sprechen.