Das Small Language Model Mu läuft auf der lokalen NPU der Copilot+ PCs.Alexander56891 – Shutterstock.com Microsoft kündigte eine KI-Technologie an, die es ermöglichen soll, generative KI-Agenten direkt auf Windows-Geräten ohne Internetverbindung auszuführen. Das sogenannte „Mu“-Modell, ein kleines Sprachmodell (Small Language Model; SLM), ist darauf ausgelegt, auf natürliche Sprachabfragen innerhalb des Betriebssystems zu reagieren, wie Microsoft in einem Blogbeitrag erklärt. Mu nutze dabei die Neural Processing Units (NPUs) der neuen Copilot-PCs, betont Vivek Pradeep, Vice President und Distinguished Engineer für Windows Applied Sciences bei Microsoft. Mu kommt bereits in einer Vorschauversion von Windows 11 zum Einsatz: Es steuert dort einen Agenten, der Benutzeranfragen in den Systemeinstellungen bearbeitet. Die Funktion ist seit dem 13. Juni in der Preview-Version von Windows 11 (26200.5651) für Nutzer von Copilot+-PCs verfügbar. Fokus auf effizienten Offline-Betrieb Das Modell verstehe Anfragen besser im Kontext und sei für einen effizienten Betrieb und hohe Leistung ohne Cloud-Anbindung konzipiert, schreibt Pradeep. Microsoft treibt die Integration generativer KI-Funktionen sowohl in Windows 11 als auch in Microsoft 365 massiv voran. Im Mai stellte das Unternehmen dazu den neuen Entwickler-Stack „Windows ML 2.0“ vor, mit dem KI-Funktionen einfacher in Software eingebaut werden können. Auch für Microsoft-365-Anwendungen arbeitet man an spezifischen KI-Modellen. Das Mu-Modell verfügt über 330 Millionen Parametern und wurde so angepasst, dass es lokal auf Windows-11-PCs betrieben werden kann. Da Laptops nur begrenzte Hardware-Ressourcen und Akkulaufzeiten haben, benötigen sie normalerweise für komplexe KI-Anwendungen eine Cloud-Anbindung. „Dazu war es notwendig, die Architektur des Modells und die Form der Parameter so anzupassen, dass sie besser zur Parallelverarbeitung und den Speicherbeschränkungen der Hardware passen“, erklärt Pradeep. Das Modell generiert außerdem hochwertige Antworten und versteht Anfragen besser. Microsoft hat eine angepasste Version von Mu speziell für das Einstellungsmenü trainiert, die auch auf unklare oder unvollständige Systemanfragen reagieren kann – etwa wenn nicht klar ist, ob die Helligkeit des Haupt- oder eines Zweitbildschirms angepasst werden soll. Mu basiert auf einem Encoder-Decoder-Ansatz, bei dem große Anfragen zunächst in kompakte Repräsentationen zerlegt werden, die anschließend zur Antwortgenerierung genutzt werden. Das unterscheidet es von großen Sprachmodellen (Large Language Models; LLMs), die in der Regel reine Decoder-Modelle sind und den gesamten Text zur Ausgabe verarbeiten müssen. „Durch die Trennung von Eingabe- und Ausgabetokens ermöglicht Mu eine einmalige Kodierung, was Rechen- und Speicheraufwand erheblich reduziert“, so der Microsoft-Manager weiter. „Beim Vergleich von Mu mit einem ähnlich fein abgestimmten Phi-3.5-mini haben wir festgestellt, dass Mu trotz seiner zehnmal geringeren Größe eine fast vergleichbare Leistung bietet“, so Pradeep. Diese Effizienzgewinne seien entscheidend für Echtzeitanwendungen direkt auf dem Gerät. „Die Verwaltung der Vielzahl an Windows-Einstellungen war eine Herausforderung – insbesondere wegen sich überschneidender Funktionen“. Dem Microsoft-Manager zufolge lag die Reaktionszeit unter 500 Millisekunden, was den Zielen für einen reaktionsschnellen und zuverlässigen Agenten in den Einstellungen, der auf Hunderte von Einstellungen skaliert werden kann, entspreche. Microsoft verfügt über zahlreiche GenAI-Technologien, darunter ChatGPT von OpenAI und das neueste eigene Phi 4-Modell, das Bilder, Videos und Texte generieren kann. (mb)
Microsofts neues GenAI-Modell soll Windows-11-Agenten antreiben
Das Small Language Model Mu läuft auf der lokalen NPU der Copilot+ PCs.Alexander56891 – Shutterstock.com Microsoft kündigte eine KI-Technologie an, die es ermöglichen soll, generative KI-Agenten direkt auf Windows-Geräten ohne Internetverbindung auszuführen. Das sogenannte „Mu“-Modell, ein kleines Sprachmodell (Small Language Model; SLM), ist darauf ausgelegt, auf natürliche Sprachabfragen innerhalb des Betriebssystems zu reagieren, wie Microsoft in einem Blogbeitrag erklärt. Mu nutze dabei die Neural Processing Units (NPUs) der neuen Copilot-PCs, betont Vivek Pradeep, Vice President und Distinguished Engineer für Windows Applied Sciences bei Microsoft. Mu kommt bereits in einer Vorschauversion von Windows 11 zum Einsatz: Es steuert dort einen Agenten, der Benutzeranfragen in den Systemeinstellungen bearbeitet. Die Funktion ist seit dem 13. Juni in der Preview-Version von Windows 11 (26200.5651) für Nutzer von Copilot+-PCs verfügbar. Fokus auf effizienten Offline-Betrieb Das Modell verstehe Anfragen besser im Kontext und sei für einen effizienten Betrieb und hohe Leistung ohne Cloud-Anbindung konzipiert, schreibt Pradeep. Microsoft treibt die Integration generativer KI-Funktionen sowohl in Windows 11 als auch in Microsoft 365 massiv voran. Im Mai stellte das Unternehmen dazu den neuen Entwickler-Stack „Windows ML 2.0“ vor, mit dem KI-Funktionen einfacher in Software eingebaut werden können. Auch für Microsoft-365-Anwendungen arbeitet man an spezifischen KI-Modellen. Das Mu-Modell verfügt über 330 Millionen Parametern und wurde so angepasst, dass es lokal auf Windows-11-PCs betrieben werden kann. Da Laptops nur begrenzte Hardware-Ressourcen und Akkulaufzeiten haben, benötigen sie normalerweise für komplexe KI-Anwendungen eine Cloud-Anbindung. „Dazu war es notwendig, die Architektur des Modells und die Form der Parameter so anzupassen, dass sie besser zur Parallelverarbeitung und den Speicherbeschränkungen der Hardware passen“, erklärt Pradeep. Das Modell generiert außerdem hochwertige Antworten und versteht Anfragen besser. Microsoft hat eine angepasste Version von Mu speziell für das Einstellungsmenü trainiert, die auch auf unklare oder unvollständige Systemanfragen reagieren kann – etwa wenn nicht klar ist, ob die Helligkeit des Haupt- oder eines Zweitbildschirms angepasst werden soll. Mu basiert auf einem Encoder-Decoder-Ansatz, bei dem große Anfragen zunächst in kompakte Repräsentationen zerlegt werden, die anschließend zur Antwortgenerierung genutzt werden. Das unterscheidet es von großen Sprachmodellen (Large Language Models; LLMs), die in der Regel reine Decoder-Modelle sind und den gesamten Text zur Ausgabe verarbeiten müssen. „Durch die Trennung von Eingabe- und Ausgabetokens ermöglicht Mu eine einmalige Kodierung, was Rechen- und Speicheraufwand erheblich reduziert“, so der Microsoft-Manager weiter. „Beim Vergleich von Mu mit einem ähnlich fein abgestimmten Phi-3.5-mini haben wir festgestellt, dass Mu trotz seiner zehnmal geringeren Größe eine fast vergleichbare Leistung bietet“, so Pradeep. Diese Effizienzgewinne seien entscheidend für Echtzeitanwendungen direkt auf dem Gerät. „Die Verwaltung der Vielzahl an Windows-Einstellungen war eine Herausforderung – insbesondere wegen sich überschneidender Funktionen“. Dem Microsoft-Manager zufolge lag die Reaktionszeit unter 500 Millisekunden, was den Zielen für einen reaktionsschnellen und zuverlässigen Agenten in den Einstellungen, der auf Hunderte von Einstellungen skaliert werden kann, entspreche. Microsoft verfügt über zahlreiche GenAI-Technologien, darunter ChatGPT von OpenAI und das neueste eigene Phi 4-Modell, das Bilder, Videos und Texte generieren kann. (mb)
Microsofts neues GenAI-Modell soll Windows-11-Agenten antreiben Das Small Language Model Mu läuft auf der lokalen NPU der Copilot+ PCs.Alexander56891 – Shutterstock.com Microsoft kündigte eine KI-Technologie an, die es ermöglichen soll, generative KI-Agenten direkt auf Windows-Geräten ohne Internetverbindung auszuführen. Das sogenannte „Mu“-Modell, ein kleines Sprachmodell (Small Language Model; SLM), ist darauf ausgelegt, auf natürliche Sprachabfragen innerhalb des Betriebssystems zu reagieren, wie Microsoft in einem Blogbeitrag erklärt. Mu nutze dabei die Neural Processing Units (NPUs) der neuen Copilot-PCs, betont Vivek Pradeep, Vice President und Distinguished Engineer für Windows Applied Sciences bei Microsoft. Mu kommt bereits in einer Vorschauversion von Windows 11 zum Einsatz: Es steuert dort einen Agenten, der Benutzeranfragen in den Systemeinstellungen bearbeitet. Die Funktion ist seit dem 13. Juni in der Preview-Version von Windows 11 (26200.5651) für Nutzer von Copilot+-PCs verfügbar. Fokus auf effizienten Offline-Betrieb Das Modell verstehe Anfragen besser im Kontext und sei für einen effizienten Betrieb und hohe Leistung ohne Cloud-Anbindung konzipiert, schreibt Pradeep. Microsoft treibt die Integration generativer KI-Funktionen sowohl in Windows 11 als auch in Microsoft 365 massiv voran. Im Mai stellte das Unternehmen dazu den neuen Entwickler-Stack „Windows ML 2.0“ vor, mit dem KI-Funktionen einfacher in Software eingebaut werden können. Auch für Microsoft-365-Anwendungen arbeitet man an spezifischen KI-Modellen. Das Mu-Modell verfügt über 330 Millionen Parametern und wurde so angepasst, dass es lokal auf Windows-11-PCs betrieben werden kann. Da Laptops nur begrenzte Hardware-Ressourcen und Akkulaufzeiten haben, benötigen sie normalerweise für komplexe KI-Anwendungen eine Cloud-Anbindung. „Dazu war es notwendig, die Architektur des Modells und die Form der Parameter so anzupassen, dass sie besser zur Parallelverarbeitung und den Speicherbeschränkungen der Hardware passen“, erklärt Pradeep. Das Modell generiert außerdem hochwertige Antworten und versteht Anfragen besser. Microsoft hat eine angepasste Version von Mu speziell für das Einstellungsmenü trainiert, die auch auf unklare oder unvollständige Systemanfragen reagieren kann – etwa wenn nicht klar ist, ob die Helligkeit des Haupt- oder eines Zweitbildschirms angepasst werden soll. Mu basiert auf einem Encoder-Decoder-Ansatz, bei dem große Anfragen zunächst in kompakte Repräsentationen zerlegt werden, die anschließend zur Antwortgenerierung genutzt werden. Das unterscheidet es von großen Sprachmodellen (Large Language Models; LLMs), die in der Regel reine Decoder-Modelle sind und den gesamten Text zur Ausgabe verarbeiten müssen. „Durch die Trennung von Eingabe- und Ausgabetokens ermöglicht Mu eine einmalige Kodierung, was Rechen- und Speicheraufwand erheblich reduziert“, so der Microsoft-Manager weiter. „Beim Vergleich von Mu mit einem ähnlich fein abgestimmten Phi-3.5-mini haben wir festgestellt, dass Mu trotz seiner zehnmal geringeren Größe eine fast vergleichbare Leistung bietet“, so Pradeep. Diese Effizienzgewinne seien entscheidend für Echtzeitanwendungen direkt auf dem Gerät. „Die Verwaltung der Vielzahl an Windows-Einstellungen war eine Herausforderung – insbesondere wegen sich überschneidender Funktionen“. Dem Microsoft-Manager zufolge lag die Reaktionszeit unter 500 Millisekunden, was den Zielen für einen reaktionsschnellen und zuverlässigen Agenten in den Einstellungen, der auf Hunderte von Einstellungen skaliert werden kann, entspreche. Microsoft verfügt über zahlreiche GenAI-Technologien, darunter ChatGPT von OpenAI und das neueste eigene Phi 4-Modell, das Bilder, Videos und Texte generieren kann. (mb)