Die Dokumentenmanagement-Lösung ArchivistaBox 2026/III der Schweizer Archivista GmbH wurde um einige aktuelle Komponenten erweitert. Dazu zählen Docker-Container, die lokale KI-Plattform Ollama sowie die Spracherkennung Whisper, die anstelle von Vosk ausgeliefert wird und Schweizerdeutsch besser erkennt.
Ollama und darin laufende LLMs profitieren dabei von der vorinstallierten ROCm-Technologie, mit der die AMD-Grafikkarten der zeitgleich veröffentlichten Hardware-Flagschiffe K2 und Everest der ArchivistaBox für sämtliche Aufgaben im Bereich der künstlichen Intelligenz performant zur Verfügung stehen.
Docker samt GUI
Neben der bisher bereits verfügbaren Verwendung von virtuellen Maschinen ermöglicht die ArchivistaBox 2026/III auf einfache Art die Verwendung von Docker-Containern. Damit Anwender dabei nicht auf die Konsole angewiesen sind, wird die Open-Source-Web-Applikation Yacht mit ausgeliefert, eine Web‑UI für Container‑Management.
Ollama steht für lokale KI
Ollama steht zusammen mit der ROCm-Integration für die schnelle Bearbeitung von Aufgaben, die einer Vielzahl von lokal laufenden LLMS gestellt werden können. Voraussetzung für schnelle Ergebnisse ist eine AMD-Grafikkarte mit ausreichend VRAM wie etwa die im aktualisierten ArchivistaBox-Modell Everest verbaute Grafikkarte RX 9070 XT mit 16 GB GDDR6.
ArchivistaBox 2026/III frei verfügbar
Die gesamte Software der ArchivistaBox inklusive der KI-Module kann frei bezogen und betrieben werden. Support- und Wartungsverträge sind sowohl für die Hardware als auch für die reine Software der ArchivistaBox verfügbar. Für Business-Kunden stehen die Modelle K2 derzeit ab 2990 bzw. Everest ab 4990 Schweizer Franken zur Verfügung. Aufgrund der derzeit stark volatilen Speicherpreise können die Preise Schwankungen unterliegen.
Auf dem Blog von Archivista finden sich weitere Details sowie eine Anleitung, wie Whisper eingerichtet wird oder wie die ArchivistaBox 2026/III als Open Source selbst aufgesetzt werden kann. Die Größe der ISO-Datei beträgt 4,1 GByte für die Docker-Integration. Knappe 30 GByte umfasst das KI-Modul, das separat heruntergeladen werden muss. Darin sind aber bereits auch die entsprechenden KI-Modelle enthalten, sodass die ArchivistaBox 2026/III zu 100 % offline aufgesetzt und in Betrieb genommen werden kann.
Abgesehen davon, dass die Apple-Hardware ja über Monate nicht erhältlich ist, und Du selber davon ausgehst, dass es im Herbst saftige Preiserhöhungen geben wird, gibt es vergleichbare Geräte auch mit AMD-Prozessoren (AI-Serie).
Der AI 395+ mit 128 GByte RAM bietet für deutlich weniger Geld in etwa die gleiche Leistung wie in Mac M4. Ein Testgerät AI 395+ steht mittlerweile bei mir, und ich konnte auch bereits erste Video’s rendern. Die Treiber für den AI 395+ (RX 6080s) sind etwas tückisch, genauso wie Flash Attention 2 (muss von den Sourcen übersetzt werden und dauert ca. 2 Std), aber am Ende des Tages benötigt das Gerät unter hoher Last nicht mehr als gute 100 Watt.
Für die GPU stehen maximal 96 GByte zur Verfügung. Ein guter Wert, dies bei Preisen unter 3000 Franken (inkl. 2×10 GBit NIC, 2 TB SSD und 16 CPUs/32 Threads) für das ganze Gerät. Die “schnellen” NICs sind dann ein Vorteil, wenn ein Cluster aus mehreren AI 395+ entstehen soll. Dafür fehlen mir aktuell aber die Ressourcen.
Die 96 GByte für die Grafikkarte reichen für sehr viele Modelle. Eine vergleichbare Grafikarte von NVidia mit 96 GB VRAM kostet aktuell gute 8000 Franken und sauft über 600 Watt. Aber klar, der AI 395+ ist nicht so schnell wie die Riesendinger von Nvidioa, auch nicht so schnell wie die RX 9070 XT, aber plus/minus gleich schnell wie der Mac M4, letztlich verwenden ja beide ähnliche RAM-Riegel (LPDDR5).
Interessant ist, dass Urs weiterhin die ArchivistaEverest [1] verwendet und auch beim K1 [2] offenbar nur eine GPU mit einfacher Slot‑Höhe verbaut hat. Die Kabelführung und Leitungen behindern nach wie vor den Luftstrom. Deshalb stellt sich für mich die Frage, inwiefern diese Systeme überhaupt für KI‑Workloads geeignet sind. Eine GPU wird unter Last sehr warm, wird laut und drosselt, wenn die Kühlung nicht sauber ausgelegt ist.
Auf seiner Webseite verweist er zudem auf ein Beispiel, bei dem er ein Bild durch eine KI generieren ließ. Dort vergleicht er die Geschwindigkeit der CPU und des vorhandenen RAMs mit seiner Lösung auf einer RX 7900 XT, die angeblich 1,1 Sekunden benötigt [3].
Mir fehlt dabei ein realistischer Vergleich. Welches KI‑Modell wurde verwendet? In welcher Quantisierung? Wie hoch war die Token‑/Sekunden‑Rate? Wurde Prompt Processing 1 oder 2 genutzt? Welche Optimierungen kamen zum Einsatz? Ein Vergleich zwischen CPU‑ und GPU‑Generierung ist ohne diese Angaben kaum aussagekräftig – insbesondere nicht, wenn weder Auflösung noch Prompt‑Komplexität genannt werden.
Ich erwarte keinen Vergleich mit einem Mac Studio, der für rund 2000 Euro bereits einen M4 Max mit 32 GB RAM bietet und größere Modelle problemlos betreiben kann. Apple‑SoCs sind proprietär und schwer vergleichbar, und AMD‑GPUs sind bei KI‑Workloads ohnehin im Nachteil. KI‑Modelle sind nun einmal primär auf Apple‑Silicon und vor allem auf NVIDIA‑Hardware optimiert.
Nicht falsch verstehen: Es gibt abseits von GPUs praktisch nur IBM Power 10/11, die große LLMs allein über den Arbeitsspeicher performant ausführen können. Ein Vergleich zwischen CPU‑ und GPU‑Generierung ist daher grundsätzlich schwierig und ohne technische Details nicht realistisch.
[1] http://shop.archivista.ch/oscommunity/catalog/images/everest.jpg
[2] https://archivista.ch/cms/wp-content/uploads/2026/03/everest.jpg
[3] https://archivista.ch/cms/de/aktuell-blog/docker-amd-gpu-und-ki/
Vielen Dank für Deinen Kommentar. Verzeihe mir bitte, wenn ich nicht auf alle Punkte antworte (ist etwas viel ;-)). Und ich möchte mich primär auf Deinen ersten Kommentar beschränken, zum zweiten Kommentar werde ich ganz am Ende aber doch auch noch kurz Stellung nehmen.
======================
Zwar wird die CPU beim Everest mittels einer Flüssigkeitskühlung (Radiator in der Front) gekühlt,
======================
Ich weiss nicht, welches Bild Du herangezogen hast. Bei unseren aktuellen Modellen K2 und Everest gibt es in der Standardausführung keine Flüssigkeitskühlung. Aber klar, je nach gewünschtem Szenario ist weder das Gehäuse noch die Kühlung fix. Das ist ja gerade der Vorteil von AMD/Intel z.B. gegenüber den geschlossenen Systemen vom Mac. Die Systeme lassen sich sehr flexibel zusammenstellen, ganz wie es eben passt.
======================
Zudem ist das Gehäuselayout beim Archivista K1 problematisch:
======================
Das Teil heisst ArchivistaBox K2, eine K1 gibt es nicht. Meine Vorliebe gilt den Bergen, und dort gibt es ja auch keinen K1 😉
======================
Auf der Webseite wird ein Vergleich zwischen einer CPU/RAM-Lösung und einer AMD Radeon RX 7900 XT gezogen, die ein Bild angeblich in 1,1 Sekunden generiert. Dieser Vergleich ist ohne technische Parameter kaum aussagekräftig…
======================
Gemessen wurde mit einer AMD 9950 X3D mit oder ohne RX 9070 XT. Mit GPU resultierten 1.1 Sekuden, ohne GPU gab es Antwortzeiten von ca. 2 Minuten (mit allen 32 Threads bei 64 GB RAM). Du kannst den Test selber nachvollziehen, indem Du die ArchivistaBox AGPLv3 mit dem ai.os-Paket aufsetzt.
Die von Dir zitierte RX 7900 XT ist älter, hat zwar z.T. mehr RAM, aber sie benötigt auch deutlich mehr Strom, sprich, wir wären dann wieder beim Thema Abwärme.
======================
Es ist bekannt, dass KI-Modelle primär für NVIDIA (CUDA) und Apple Silicon optimiert sind, während AMD-GPUs in diesem Bereich oft im Nachteil liegen. Ein proprietäres Mac Studio mit M4 Max bietet für ca. 2.000 Euro bereits eine Architektur, die große Modelle weitaus effizienter handhabt.
======================
Im Jahr 2026 zu «behaupten», AMD sei für KI-Aufgaben nicht geeignet, erscheint mir eine recht kühne Aussage. Das war vielleicht 2021/2022 so bzw. damals war es einfach noch schwieriger, die Treiber zu installieren. 2026 sieht die Sache aber ganz anders aus. Zur Aussage, ein Mac M4 böte für 2000 Franken mehr, weil er grosse KI-Modelle besser bewältige, würde ich folgendes sagen:
a) Ich habe keinen Mac M4 bei mir stehen, aber die Messungen im Netz «belegen» eine um den Faktor 2-3 kleinere Leistung der GPU vom Mac zu den Platzhirschen bei Nvidia bzw. AMD.
b) Wenn das KI-Modall die Grösse der Grafikkarte übersteigt, lässt es sich gar nicht erst abarbeiten. Der Mac ist hier insofern im Vorteil, weil CPU/GPU den Speicher teilen. Gemäss Aussagen in den Foren von Apple «verbleiben» von 32 GB RAM aber nicht mehr als 16 GB für die GPU.
c) Benötigt ein KI-Modell mehr als 16 GB RAM, so kann ein Mac M4 mit 48 oder 64 GB oder mehr eine Alternative darstellen, weil Grafikkarten von Nvidia in diesem Bereich recht teuer sind und extrem viel Strom «saufen». Eine GeForce RTX 5090 X3 OC kostet aktuell ca. 4000 Franken, bietet 32 GB RAM, sauft aber ca. 600 Watt. Allerdings kostet ein Mac M4 mit 64 GB dann auch ca. 4000 Franken. AMD übrigens spielt in dieser Liga nicht (mehr) mit.
d) Die entsprechend gelieferte GPU-Leistung ist beim Mac um den Faktor 2.x/3x tiefer. Dies ist aber noch immer deutlich schneller, wenn das KI-Modell über die CPU läuft, denn hier ist mit einer um den Faktor 10 oder noch mehr tieferen Leistung zu rechnen. Dass die Leistung beim Mac deutlich tiefer liegt, hängt im übrigen mit den verwendeten RAM-Bausteinen zusammen. Die RX 9070 XT nutzt GDDR6, bei Apple gibt es dies (wenn überhaupt) frühestens 2027.
e) Und noch als Hinweis: Die Bildkategorisierung benötigt ca. 4 GB RAM. Die Whisper-Engine ebenfalls in der gleichen Grössenordnung.
===================
Urs’ Vorliebe für kompakte und wenig proprietäre Systeme ist nachvollziehbar, führt hier jedoch zu verschenktem Potenzial. Ein optimiertes Gehäuse mit besserem Airflow (Radiator im Deckel statt in der Front), ein hochwertigerer GPU-Kühler und ein strukturiertes Kabelmanagement wären notwendig, um die Hardware für dauerhafte KI-Workloads stabil und leistungsfähig zu machen.
===================
Da ich davon ausgehen muss, dass Du die Bilder der alten Modelle K2 bzw. Everest «begutachtet» hast, kann ich dazu folgendes sagen. Das Modell Everest hat bei mir seinen Dienst zwischen 2021 und 2025 «vollbracht». Das Gerät lief über fünf Jahre stabil. Allerdings ist diese Hardware 2026 nicht mehr auf der Höhe der Zeit, und darum gibt es neue Modelle.
Und wie eingangs erwähnt, meine Vorliebe gilt den eher den Bergen, und den (Schweizer) Filmen (siehe moviebox.ch). Bei letzteren habe ich (als Privatsammler, nicht als Firma!) mit dem Everest etwa 80000 Stunden MP4 optimiert (vidopt-Tools auf der ArchivistaBox). Die gleiche Menge an Material wurde der Spracherkennung Vosk zugeführt. Schweizer Mundart hat damals leider nicht funktioniert.
Da es 2026 mit der neuen ArchivistaBox 2026/III neu möglich ist, jene Filme, die in Mundart vorliegen, neu zu erfassen, werde ich gerne auf moviebox.ch davon berichten, wenn diese Jobs durch sind. Ebenfalls werde ich davon berichten, wenn die ca. 13 Millionen Bilder aus der gleichen Datenbank mit der optimierten Bildkategorisierung über die GPU durch sind.
Und ja, ich möchte meine Jobs mit Open Source erledigen, weil ich dabei einfach mehr Flexiblität habe als es z.B. der Fall mit einem Mac bzw. einer Windows-Maschine der Fall ist, von den eklatanten Datenschutzfrikadellen ganz zu schweigen. Muss ich mich jetzt dafür schämen, wenn ich auch 2026 mit Open Source unterwegs bin? Gar eine Open Source Distribution publiziere?
Zum zweiten Post: Nochmals, Du bringst hier den alten Everest mit dem aktuellen Modell durcheinander. Zur Kühlung, bitte beachte die Angeben am Anfang. Nochmals aufgreifen möchte ich Deine folgende (zentrale) Aussage:
===================
Ich erwarte keinen Vergleich mit einem Mac Studio, der für rund 2000 Euro bereits einen M4 Max mit 32 GB RAM bietet und größere Modelle problemlos betreiben kann. Apple-SoCs sind proprietär und schwer vergleichbar, und AMD-GPUs sind bei KI-Workloads ohnehin im Nachteil. KI-Modelle sind nun einmal primär auf Apple‑Silicon und vor allem auf NVIDIA‑Hardware optimiert.
===================
Deine Aussagen sind so ziemlich nutzlos. Entscheidend ist, ob z.B. TorchVision unterstützt wird. Die ROCm-Treiber bringen genau dies. Du darfst auch gerne beim 2000 Euro M4 Max bleiben, aber dieser kommt nicht annähernd an das heran, was eine moderne AMD/Nvidida-Karte abliefert (gut letztere «saufen» auch mehr Strom). Die Mac-Hardware ist ja nicht schlecht, aber zu sagen, dass ein 2000 Euro Mac z.B. die RX 9070 XT schlägt, das ist eine steile Nummer. Schau einfach mal die Messresultate z.B. bei nanoreview.net nach. Gibt dort die RX 9070 XT und die M4 Max mit 32 GPU Cores an. Ich bringe hier mal die dort publizierten Werte:
3.3x higher maximum theoretical performance (48.7 vs 14.7 TFLOPS
Includes 16 GB of dedicated GDDR6 memory
Achieves 82% more points in the GeekBench 6 Compute test (182K vs 100K
Has 56% higher memory bandwidth: 640 vs 409.6 GB/s
Nochmals, die ArchivistaBox 2026/III ist Open Source, das KI-Modul ai.os ebenso. Die Grafikkarte RX 9070 XT kostet ca. 700 Franken. Wie lange habe ich, bis das Teil für das eingerichtet ist, was ich mit der ArchivistaBox 2006/III so ready-to-use habe? Und welche Daten werden an Apple (oder bei Windows an Microsoft) übermittelt? Open Source ist eine Chance, wer lieber proprietäre Betreibssysteme bzw. Umgebungen haben möchte, nutze diese. Aber die Aussage, KI sei 2026 nicht lokal mit Open Source (inkl. AMD GPU) machbar, dies ist einfach so nicht haltbar. Oder anders herum gefragt, von wem stammt jetzt Whisper? Ah, OpenAI. Und warum ist es denn Open Source. Weil Whisper wiederum ohne TorchVision nie laufen würde.
Zu deiner Aussage:
“Ich weiss nicht, welches Bild Du herangezogen hast. Bei unseren aktuellen Modellen K2 und Everest gibt es in der Standardausführung keine Flüssigkeitskühlung. Aber klar, je nach gewünschtem Szenario ist weder das Gehäuse noch die Kühlung fix. Das ist ja gerade der Vorteil von AMD/Intel z.B. gegenüber den geschlossenen Systemen vom Mac. Die Systeme lassen sich sehr flexibel zusammenstellen, ganz wie es eben passt.””
Ich verstehe den Punkt. Die Standardkonfiguration enthält keine Flüssigkeitskühlung, aber die Bilder, die du selbst bereitstellst, zeigen eben genau diese Varianten. Deshalb habe ich mich darauf bezogen.
Die Fotos in deinem Blogbeitrag / Shop entsprechen nach wie vor den Motiven, die du bereits bei der ersten Vorstellung des Geräts verwendet hattest (http://shop.archivista.ch/oscommunity/catalog/images/everest.jpg). Das weitere Bild stammt aus deinem letzten Beitrag (https://archivista.ch/cms/wp-content/uploads/2026/03/everest.jpg). Da dies die öffentlich verfügbaren Abbildungen sind, habe ich mich darauf gestützt. Zur Erinnerung habe ich zusätzlich die archivierte Shop‑Version verlinkt: https://web.archive.org/web/20240520120312/http://shop.archivista.ch/oscommunity/catalog/product_info.php?products_id=89
Was den Vergleich mit dem Mac Studio betrifft:
Mir ging es nicht darum, Äpfel und Birnen direkt gegeneinander auszuspielen. Die Preisentwicklung zeigt aber, dass beide Systeme in ähnlichen Regionen liegen können. Im Dezember 2025 lag der M3 Ultra mit 512 GB RAM bei etwa 17.000–18.000 Euro (https://shop.faktordrei.de/Apple-Mac-Studio-M3-Ultra/1014186), während dein Webstore damals rund 18.366 CHF (ca. 20.000 EUR) auswies. Die Preise schwanken stark, und ich wollte lediglich transparent darstellen, worauf ich mich beziehe.
“Das Teil heisst ArchivistaBox K2, eine K1 gibt es nicht. Meine Vorliebe gilt den Bergen, und dort gibt es ja auch keinen K1 😉”
Der Hinweis auf das K1 war mein Fehler; der ältere Pro‑Linux‑Artikel zeigt das klar:
Weitere Aussage von Dir:
“Im Jahr 2026 zu «behaupten», AMD sei für KI-Aufgaben nicht geeignet, erscheint mir eine recht kühne Aussage. Das war vielleicht 2021/2022 so bzw. damals war es einfach noch schwieriger, die Treiber zu installieren. 2026 sieht die Sache aber ganz anders aus. Zur Aussage, ein Mac M4 böte für 2000 Franken mehr, weil er grosse KI-Modelle besser bewältige, würde ich folgendes sagen:”
Das mag bei FP16‑Workloads zutreffen. Viele Anwender setzen heute jedoch auf FP8‑Berechnungen, weil sie deutlich effizienter sind. In diesem Bereich ist NVIDIA weiterhin gegenüber AMD führend: . Ich habe nie behauptet das AMD nicht geeignet ist, nur das diese Hardware Nvidia unterlegen ist.
Zu deiner Aussage:
“a) Ich habe keinen Mac M4 bei mir stehen, aber die Messungen im Netz «belegen» eine um den Faktor 2-3 kleinere Leistung der GPU vom Mac zu den Platzhirschen bei Nvidia bzw. AMD.”
Ein Beispiel aus dem Consumer‑Bereich zeigt die Dimensionen:
17 × RTX 3090 → ca. 13.000 USD
Leistungsaufnahme ~3,7 kW
Kühlung: sehr anspruchsvoll
Quelle:
Solche Setups sind in der Praxis kaum sinnvoll, da die Karten oft auf Daten warten und die Speicheranbindung zum Flaschenhals wird.
Für Modelle jenseits von 200B Parametern sind H100‑Cluster natürlich überlegen – aber wir sprechen hier von über 10.000 Euro pro Karte. Dazu kommen Infrastruktur‑ und Betriebskosten:
Ein Mac Studio mit 512 GB RAM benötigt unter Volllast ca. 400 Watt.
Ein NVIDIA‑System mit fünf Blackwell‑Karten liegt bei rund 3 kW.
Preislich landet man allein für die GPUs bei etwa 40.000 CHF, nur um den Speicher eines Mac Studios zu erreichen.
Man muss daher abwägen, ob der Leistungsgewinn den erheblich höheren Aufwand rechtfertigt oder ob ein kompaktes System wie ein Mac Studio für viele Szenarien nicht die pragmatischere Lösung ist.
Bezüglich Optimierung:
FlashAttention 1–2 wird nur teilweise unterstützt, Version 3 gar nicht, und Version 4 ausschließlich auf NVIDIA‑Serverhardware:
Noch eine Aussage von Dir:
“Nochmals, die ArchivistaBox 2026/III ist Open Source, das KI-Modul ai.os ebenso. Die Grafikkarte RX 9070 XT kostet ca. 700 Franken. Wie lange habe ich, bis das Teil für das eingerichtet ist, was ich mit der ArchivistaBox 2006/III so ready-to-use habe? Und welche Daten werden an Apple (oder bei Windows an Microsoft) übermittelt? Open Source ist eine Chance, wer lieber proprietäre Betreibssysteme bzw. Umgebungen haben möchte, nutze diese. Aber die Aussage, KI sei 2026 nicht lokal mit Open Source (inkl. AMD GPU) machbar, dies ist einfach so nicht haltbar. Oder anders herum gefragt, von wem stammt jetzt Whisper? Ah, OpenAI. Und warum ist es denn Open Source. Weil Whisper wiederum ohne TorchVision nie laufen würde.”
Ich bevorzuge ebenfalls freie Systeme und setze sie, wo immer möglich, ein. Preislich liege ich mit meiner Sapphire Radeon RX 9070 XT vermutlich in einem ähnlichen Bereich wie du. Die Karte belegt vier Slots, ist dafür aber eine der leisesten in ihrer Klasse – das war mir wichtig. Ein fertiges System brauche ich daher nicht; ich habe meine Hardware vollständig selbst zusammengestellt und dabei überwiegend Serverkomponenten verwendet, was sich natürlich auch im Preis niederschlägt.
Ich habe auch nie behauptet, dass lokale KI grundsätzlich unmöglich wäre. Sie ist auf NVIDIA‑ oder AMD‑Systemen durchaus machbar, aber nur in bestimmten Szenarien wirklich sinnvoll. Apple bietet hier – trotz der Einschränkungen von Ollama – teilweise mehr Möglichkeiten, vorausgesetzt man hat Zugriff auf ein M3 Ultra mit 512 GB RAM oder künftig vielleicht ein M5 Ultra. In solchen Konfigurationen wäre es theoretisch sogar möglich, Modelle wie deepseek‑v3.1:671B lokal auszuführen, ohne auf Cloud‑Ressourcen angewiesen zu sein:
Fazit:
Im KI‑Bereich ist Linux Windows überlegen, und NVIDIA liegt bei der Optimierung klar vor AMD. Solange AMD keine vollständige Unterstützung für FlashAttention 4 bietet, wird sich daran wenig ändern. Wenn deine Hardware entsprechende Vorteile hat, kannst du gerne einmal deine Testergebnisse teilen:
==========
Die Fotos in deinem Blogbeitrag / Shop entsprechen nach wie vor den Motiven, die du bereits bei der ersten Vorstellung des Geräts verwendet hattest
==========
Du hast definitiv den alten Shop erwischt. Ich verspüre wenig Lust, die genauen Baupläne zu publizieren. Leider habe ich auch die Erfahrung gemacht, dass es dann 1:1 kopiert würde.
===========
Im Dezember 2025 lag der M3 Ultra mit 512 GB RAM bei etwa 17.000–18.000 Euro (https://shop.faktordrei.de/Apple-Mac-Studio-M3-Ultra/1014186), während dein Webstore damals rund 18.366 CHF (ca. 20.000 EUR) auswies.
===========
Bitte verwende einfach den aktuellen Shop. Dort ist deutlich weniger gelistet, aber das gilt auch. Für den Rest kann ich Preise aktuell nur auf Anfrage nennen, zu volatil ist der Markt. Das trifft auf alle Hersteller zu. Bei Apple finde ich aktuell keine Konfiguration über 256 GByte, und diese werden mit 8-9 Wochen Lieferzeit gelistet. Selbst Modelle mit 48 GB gibt es nicht unter ca. 9-10 Wochen Lieferfrist, abgesehen sind die Preise für meine Begriffe jenseits.
================
Ein Beispiel aus dem Consumer‑Bereich zeigt die Dimensionen:
17 × RTX 3090 → ca. 13.000 USD
=================
Kein Consumer-Case, definitiv nicht!
================
Ein Mac Studio mit 512 GB RAM benötigt unter Volllast ca. 400 Watt.
================
Auch kein Consumer-Case, und nicht verfügbar.
===============
Ich bevorzuge ebenfalls freie Systeme und setze sie, wo immer möglich, ein. Preislich liege ich mit meiner Sapphire Radeon RX 9070 XT vermutlich in einem ähnlichen Bereich wie du.
===============
Dann ist ja gut bzw. wo liegt das Problem?
===========
Ich habe auch nie behauptet, dass lokale KI grundsätzlich unmöglich wäre. Sie ist auf NVIDIA‑ oder AMD‑Systemen durchaus machbar, aber nur in bestimmten Szenarien wirklich sinnvoll. Apple bietet hier – trotz der Einschränkungen von Ollama – teilweise mehr Möglichkeiten, vorausgesetzt man hat Zugriff auf ein M3 Ultra mit 512 GB RAM oder künftig vielleicht ein M5 Ultra.
===========
Aber Du tust so, als ginge es derart schlecht, dass jede/r, der AMD einsetzt, sich dafür schämen müsste, obwohl Du privat offensichtlich dann doch wieder AMD einsetzt. Die Vorteile einer Open Source Lösungen liegen für mich seit mehreren Jahrzehnten auf der Hand. Diese Leidenschaft biete ich mit der ArchivistaBox an. Wer das haben will, kriegt es bei uns. Wer NVidia oder Apple haben will, kriegt es anderswo.
=========
Im KI-Bereich ist Linux Windows überlegen, und NVIDIA liegt bei der Optimierung klar vor AMD. Solange AMD keine vollständige Unterstützung für FlashAttention 4 bietet, wird sich daran wenig ändern.
==========
Niemand sagt, dass Nvidia aktuell nicht der Platzhirsch wäre, rein von der Hardware her. Aber es gibt auch den softwaretechnischen Ansatz. Stichwort: deepseek-v3. Was die Zukunft bringt, wir werden sehen.
=========
Wenn deine Hardware entsprechende Vorteile hat, kannst du gerne einmal deine Testergebnisse teilen:
=========
Der Vorteil der ArchivistaBox liegt in der Automatisierung, spezielle Hardware ist dafür gerade nicht notwendig. Du hast mit Deiner RX 9070 XT ja alles, um es selber zu testen. Du kannst die ArchivistaBox AGPLv3 auch direkt ab USB-Stick nutzen, das System läuft im RAM. Danach bindest Du ai.os auf deiner angestammten Platte unter /home/archivista/data/ai ein und startest desktop.sh, die KI-Umgebung steht dann.
Für gute Tests braucht es gute Daten. Diese stehen mir privat zur Verfügung. Die Resultate wirst Du in einigen Wochen/Monaten bei moviebox.ch finden. Bis dahin bieten die zwei Beispiele auf der Firmenhomepage eine gute Ausgangslage, was zu erwarten sein wird.
Es ist gut möglich, dass Apple die besagte Version gerade vom Markt genommen hat – ein übliches Manöver vor der WWDC im Juni. Man munkelt bereits über ein neues Modell mit M5 Ultra, 1,2 TB/s Bandbreite und 512 GB RAM, natürlich zu einem saftigen Aufpreis. Im Herbst folgt dann meist das nächste Hardware-Upgrade.
Ich frage mich jedoch: Warum machst du keine direkten Vergleichstests zwischen deinem optimierten System und einem Standard-Setup? So könntest du demonstrieren, dass deine Optimierungen mit AVMultimedia frei verfügbar sind, während man bei geschlossenen Systemen vollständig vom Hersteller abhängig bleibt. Ein unschlagbares Argument ist zudem der Standort Schweiz: Datenschutz ohne Datenabfluss nach Übersee ist für Unternehmen mit hohen Sicherheitsanforderungen ein entscheidendes Kriterium.
Zudem glänzen deine Systeme bei der Archivierung – einer Disziplin, in der typische KI-Maschinen oft versagen. Dass deine Kunden nicht einfach die freie Software auf eigener Hardware nutzen, zeigt, dass dein Expertenwissen gefragt ist. Mit gezieltem Marketing ließe sich dieser Vorsprung noch deutlicher ausbauen. Aber Vorsicht: Die KI-Fähigkeiten allein sollten nicht der einzige Fokus sein. Anbieter wie Ollama bieten Cloud-Modelle an, die selbst einen Mac Studio alt aussehen lassen.
Dein echter Trumpf ist die Effizienz: Du benötigst keinen überteuerten Spezial-RAM oder sündhaft teure U.3-SSDs. Deine Software ist so schlank, dass sie auch auf kostengünstiger Hardware performt – ein Segen bei den aktuellen Speicherpreisen. Vielleicht wäre es klug, KI-Funktionen (über die reine Bildgenerierung hinaus) tiefer zu integrieren. Der Markt verlangt heute nach Software, die diese ‚magischen‘ Features out-of-the-box mitbringt.
In deinem letzten Blogartikel wirkten die Hardware-Vergleiche teilweise problematisch, da du CPU-basierte Setups mit langsamen RAM gegen GPU-optimierte Systeme antreten ließest – ein unfairer Kampf, den die CPU immer verliert. Wenn du jedoch zeigst, wie du durch Quantisierung, Flash Attention 2 und FP4-Modelle das Maximum aus deiner Hardware herausholst, bietest du einen Mehrwert, den Laien manuell niemals reproduzieren könnten. Dein Produkt ist die perfekt vorkonfigurierte, optimierte Umgebung, die ohne Fachwissen sofort Höchstleistung bringt.