Ollama ist eine Open-Source-Plattform zur lokalen Ausführung großer Sprachmodelle (LLMs) wie Llama 3/4, Mistral oder DeepSeek-R1 datenschutzfreundlich und offline direkt auf dem eigenen Rechner. Der gerade erschienene Release-Kandidat 0.12.6-rc0 rollt die lang erwartete Unterstützung für die Grafik-API Vulkan zunächst experimentell aus.
Mit v0.12.6-rc0 ist die Vulkan-Unterstützung nur gegeben, wenn die Software aus den Quellen gebaut wird. Instruktionen dazu sind in den Release Notes zu finden. Die Entwickler arbeiten derzeit an der Erstellung eines Binärpakets für v0.12.6, das die Vulkan-Unterstützung bereits mitbringt.
Mit dieser Unterstützung ermöglicht Ollama die Nutzung vorwiegend älterer Grafikkarten von AMD und Nvidia, bei denen Unterstützung durch ROCM oder SYCL/OpenCL nicht gegeben ist.