Kleine Sprachmodelle, also Small Language Models (SLM), sind KI-Modelle, die natürliche Sprache verarbeiten, verstehen und erzeugen. Im Gegensatz zu Large Language Models (LLM) sind sie für spezifische Aufgaben oder eingegrenzte Themenbereiche gedacht. Die geringere Größe macht die Modelle effizienter. Sie benötigen weniger Rechenleistung und Arbeitsspeicher.
SLM basieren auf LLM. Durch Modellkomprimierungstechniken werden aus großen Sprachmodellen kleinere, schlankere Modelle. Dabei wird die Größe zwar reduziert, aber die Genauigkeit beibehalten. Die kleineren Modelle können lokal, vor Ort im Unternehmen oder in privaten Cloud-Umgebungen ausgeführt werden. Damit können sie Anforderungen an Datenschutz- und Sicherheit besser erfüllen.
Während große Sprachmodelle auf hunderte Milliarden bis Billionen Parameter zurückgreifen, sind es bei kleinen Sprachmodellen Millionen bis Milliarden. Daraus entstehen kürzere Verarbeitungszeiten, die SLM schneller reagieren lassen.
SLM empfehlen sich beispielsweise für Kundenservice-Chatbots, KI-gestütztes Wissensmanagement, kleinere Anwendungen über Smartphones, Tablets oder andere Devices im Langer oder der Produktion. Auch als Assistent auf Bordcomputern in Fahrzeugen sind sie sinnvoll. Sie können mittels Bildklassifizierung Hindernisse im Straßenverkehr erkennen oder Verkehrsregeln abrufen. Im Bereich Instandhaltung unterstützen SLM die vorausschauende Wartung von Maschinen und Anlagen durch Echtzeitdatensammlung über IoT-Devices (AIoT).
Die Anwendung und Integration erfolgt genauso wie bei LLM (Promt Engineering). Allerdings können Unternehmen Infrastruktur- und Betriebskosten einsparen, die bei der Ausführung umfangreicher Modelle erforderlich wären. Es braucht kaum spezialisiertes Equipment. Zusätzlich lassen sich SLM oft weniger Stunden anlernen (Machine Learning).
Bei umfangreichen, komplexen Fragestellungen sind nach wie vor die großen Sprachmodelle sinnvoller, aber bei spezifischen Aufgaben und speziellen Fragestellungen, sind SLM effizienter und schneller. So leisten SLM einen Beitrag zur KI-Demokratisierung im Sinne eines niederschwelligen Zugangs für breitere Usergruppen, geringeren Technologiebedarf und eine bessere Einhaltung von Recht und Norm.