Mozilla investiert in KI

Große Sprachmodelle, sogenannte LLMs, sind eine der Erfindungen, die 2023 Furore machten. Sie wecken Begehrlichkeiten und schüren Ängste. Darauf basierende Software wie ChatGPT oder Dall-E 3 ist in aller Munde. Der Kampf um Anteile an dieser mächtigen Technik unter den Tech-Giganten ist in vollem Gange.

Fehlende Kontrolle

Die meisten Menschen nutzen LMMs über kommerzielle, cloudbasierte Apps und Dienste wie ChatGPT. Das wirft Fragen zu Datenschutz, Zugriff und Kontrolle auf. Mozilla ist überzeugt, der Zugang zu Künstlicher Intelligenz müsse frei im Sinne freier Software bleiben und hat deshalb während der Mozilla Innovation Week Mitte Dezember mit llamafile ein Projekt vorgestellt, dass es vereinfachen soll, einen Open Source-KI-Stack aufzusetzen. Dazu fasst es die gesamte Komplexität eines vollständigen LLM-Chatbots in einer einzigen Datei zusammen, die, einmal kompiliert, auf mehreren Plattformen lauffähig ist.

Zusammengefasst

llamafile verwandelt LLMs in eine einzige ausführbare Datei und setzt dabei auf zwei Open-Source-Projekte aus dem Bereich KI. llama.cpp ist ein Open-Source-Projekt, das es vereinfacht, LLMs auf Consumer-Hardware auszuführen, indem es keine High-End-GPU benötigt, sondern auf der CPU arbeitet, wenn keine entsprechende GPU vorhanden ist. Das zweite Projekt heißt Cosmopolitan und ermöglicht die Verteilung und Ausführung von Programmen auf einer Vielzahl von Betriebssystemen und Hardwarearchitekturen.

Mozilla gelang es durch die Kombination dieser beiden Projekte, die gesamte Komplexität eines Full-Stack-LLM-Chatbots auf eine einzige Datei zu reduzieren, die überall ausgeführt werden kann.

Lokale KI vorantreiben

llamafile soll aber nicht nur den Zugang zu offenen LLMs erleichtern, sondern auch die lokale KI vorantreiben. Darunter versteht Mozilla eine KI, die vollständig auf der eigenen Hardware ausgeführt wird und keinen aktiven Zugang zum Internet voraussetzt, ähnlich dem Prinzip von Firefox Translations. Mozilla sieht darin eine greifbar nahe Zukunft voraus, in der sehr kleine, effiziente Modelle, die auf Geräten mit niedrigeren Spezifikationen laufen, Menschen überall leistungsstarke Funktionen bieten, unabhängig von ihrer Konnektivität. Auf GitHub findet sich eine Anleitung, wie man mit llamafile zu einem ersten eigenen KI-Stack kommt.

Teilt den Beitrag, falls ihr mögt

Abonnieren
Benachrichtige mich bei
0 Kommentare
Inline Feedbacks
View all comments