Mozilla stellt mit LocalScore einen einfach einsetzbaren Benchmark für lokale KI vor. Der Benchmark ist im Rahmen des Projekts Mozilla Builders entstanden, über das Mozilla-Blogger Sören Hentzschel im vergangenen Jahr berichtet hat. Im Rahmen der Initiative Mozilla Builders Accelerator wurden Förderungen für Open-Source-Projekte zum Thema Lokale KI ausgelobt. Eines der Projekte ist Llamafile, über das wir bereits mehrfach berichtet haben.
LocalScore
Mit Llamafile 0.9.2 erschien vergangene Woche auch eine initiale Version von LocalScore. Das Tool erstellt Benchmarks von lokal ausgeführten Large Language Models (LLMs) sowohl auf CPUs als auch auf GPUS. Die Messung auf GPUs funktioniert derzeit nur für NVIDIA-GPUs. LocalScore kann entweder von Llamafile-Paketen ausgelöst werden oder per unabhängigem LocalScore-Binärpaket für Linux oder Windows. Der Download von LocalScore und das Benchmarking selbst wird auf der Webseite erklärt.
Download und Anleitung
Die Webseite LocalScore.ai listet die Scores der LLMs mit verschiedenen GPUs, unterteilt in 1B-, 8B- und 14B-Modelle. Das »B« bei LLMs steht für die Anzahl der Milliarden Parameter eines Modells. Beispielsweise bedeutet Llama-7B, dass das Modell über sieben Milliarden Parameter verfügt. Diese Zahl gibt die Komplexität und Kapazität des Modells an, da Parameter die grundlegenden Einstellungen sind, die die Textgenerierungsfähigkeiten eines Large Language Models steuern.
Wer also herausfinden möchte, welche Modelle auf einer gegebenen Hardware sinnvoll betrieben werden können, findet in LocalScore ein einfach zu bedienendes Werkzeug.