Alpaca: KI-Modelle offline lokal betreiben

Alpaca ist ein Linux-GUI-Tool, mit dem das Herunterladen und Verwalten verschiedener KI-Modelle auf dem lokalen Rechner vereinfacht. Es ist Open-Source und basiert auf Python, GTK4 und Adwaita. Der Name ist leider ungünstig gewählt, denn es gibt bereits mehrere Anwendungen und Projekte gleichen Namens, darunter ein AI Art-Plug-in für Photoshop.

Mit lokaler KI chatten

Alpaca nutzt das Kommandozeilentool Ollama als Backend zum Herunterladen von KI-Modellen wie Meta LLama 3, Google Gemma 2, Microsoft Phi3 oder das multimodale Llava AI und bietet eine einfache und anfängerfreundliche Möglichkeit, mit lokaler KI zu interagieren. Die Anwendung ist lediglich als Flatpak verfügbar. Nach der Installation bietet Alpaca die erwähnten Modelle zum Download an. In der Anwendung selbst sind unter dem Menüpunkt Manage Models weitere Modelle verfügbar.

Bildbearbeitung auf Drogen

Neben der normalen Chatfunktion beherrschen einige Modelle unter anderem auch Bilderkennung sowie Syntax-Highlighting bei Code-Fragen. Da diese Modelle alle kostenfrei zu nutzen sind, ist der Wissensstand spätestens im Juni 2023 abgeschnitten. Fragen werden meist korrekt beantwortet, mit der Bilderkennung hapert es allerdings noch, wie hier im Bild zu sehen.

Alpaca ist ein brauchbares Tool, um in die Welt von KI-Modellen einzusteigen und dabei die Privatsphäre zu wahren. Neueinsteiger sind in ~ 10 Minuten startbereit. Die Antworten dauern etwas länger als bei öffentlichen Modellen. Um Alpaca und alle Modelle zu installieren, sollte man ~ 50 GByte Platz auf der Platte einplanen. Bei Nichtgefallen wird das Flatpak mit flatpak remove com.jeffser.Alpaca entfernt. Die Modelle muss man händisch unter ~/.var/app/Alpaca löschen.

Foto von Tamara Shchypchynska auf Unsplash