Microsoft präsentiert kleines KI-Modell für Smartphones & Co.

Large Language Models (LLM) erfordern nicht nur umfangreiche Datenmengen zum Lernen respektive für ihr Training, sondern auch erhebliche Rechenleistung im Betrieb. Je nach Use Case rechnet sich das kaum. Deswegen entwickeln Tech-Konzerne auch kleine Sprachmodelle (SLM), die ressourceneffizienter arbeiten und sich auch auf weniger leistungsfähiger Hardware ausführen lassen - beispielsweise auf Smartphones oder Tablets.
 
Unter dem Namen Phi-3 will Microsoft eine ganze Reihe an SLMs auf den Markt bringen, die nicht nur leistungsfähig, sondern auch kostengünstig sein sollen. Den Anfang macht der Softwarehersteller mit Phi-3 Mini - ein Sprachmodell mit 3,8 Milliarden Parametern, das nach Angaben des Herstellers eine bessere Leistung erbringt als doppelt so grosse Sprachmodelle. 

Phi-3 Mini ist bereits verfügbar, und zwar auf Microsoft Azure AI Studio, Hugging Face sowie Ollama und künftig auch als Nvidia NIM Microservice. Demnächst sollen auch weitere Modelle erhältlich sein, namentlich Phi-3 Small mit 7 Milliarden Parametern und Phi-3 Medium mit 14 Milliarden Parametern.

Lokal statt in der Cloud

Die Wahl des richtigen Modells hänge von den Anforderungen, der Komplexität der Aufgaben und den verfügbaren Ressourcen ab, schreibt Microsoft. Kleine Sprachmodelle würden sich beispielsweise für Unternehmen eignen, die KI-Anwendungen lokal auf Endgeräten und nicht in der Cloud ausführen möchten. So könnten SLMs aufgrund von Compliance-Vorgaben und Datenschutzgesetzen auch für stark regulierte Branchen interessant sein. 

Ein weiterer potenzieller Vorteil von kleinen Sprachmodellen seien kürzere Reaktionszeiten: Weil die Daten auf den lokalen Geräten verbleiben würden und man die entsprechenden Anwendungen auch offline nutzen könne, liessen sich "Latenzen minimieren und der Schutz der Privatsphäre maximieren", lässt sich Luis Vargas, VP of AI bei Microsoft, im Blogbeitrag zitieren. 

Apropos Sprachmodelle: Meta präsentierte kürzlich die nächste Generation seines Sprachmodells Llama - bald soll das LLM für Cloud-Anbieter wie AWS, Google oder Microsoft verfügbar sein. Lesen Sie hier mehr dazu.