gpt4all

GPT4all – eine GUI für verschiedene KI-Sprachmodellle

News 23 Kommentare

Gastbeitrag von Torsten Mühlmann

gpt4all von Nomic AI ist eine benutzerfreundliche Oberfläche für verschiedene große Sprachmodelle (LMMs) für die keine Internet- oder Serveranbindung notwendig sind.

Generative KI

Chatbots und andere Anwendungen generativer KI haben Konjunktur: Kaum ein BigTech-Unternehmen ohne KI-Anwendung; kaum ein Monat vergeht, ohne dass eine neue Version/ ein neues Modell vorgestellt wird; kaum ein Handy oder Computer ohne entsprechende App. Oft sind jedoch eine Internetanbindung und ein Account erforderlich. Das gefällt nicht jedem. Zum Glück wächst auch die Anzahl an Möglichkeiten für datenschutzbewußte Nutzende. Eine dieser Möglichkeiten soll hier vorgestellt werden: gpt4all von Nomic AI.

Die Entwickler

Nomic AI ist ein kleines New Yorker Unternehmen (< 10 Mitarbeitende), das Dienstleistungen rund um die Anwendungsmöglichkeiten von KI anbietet. Darüber hinaus trainiert das Unternehmen basierend auf öffentlich zugänglichen Daten eigene LLMs wie Groovy oder Snoozy. Auf GitHub entwickelt und veröffentlicht das Unternehmen verschiedene Software-Repositories, so auch gpt4all, das einer MIT-Lizenz unterliegt.

Hardwareanforderungen, Installation und Benutzung

Die Macher von gpt4all versehen das Programm mit den Attributen »frei nutzbar, läuft lokal, privatsphärebewusster Chatbot, keine GPU oder Internet notwendig«. Letzteres stimmt natürlich nur für den Betrieb, denn irgendwie müssen Programm und Modelle ja auf die Rechner kommen.
Verfügbar ist das Programm wie bereits erwähnt über GitHub. Aber es gibt bereits vorgefertigte Installer für Windows, MacOS und Ubuntu. Letzteren habe ich verwendet.
Installation und Inbetriebnahme verlaufen unspektakulär einfach: Nachdem man die Installerdatei (ca. 22 MB) ausgeführt hat, werden ca. 80 MB an Archiven nachgeladen und in ein selbst gewähltes Verzeichnis installiert. Auf dem Desktop wird ein Icon angelegt.
Beim ersten Öffnen erscheint ein Dialogfeld mit Opt-In-Fragen: ob man Fehlerberichte senden und ob man seine Chats für den “Datensee” zur öffentlichen Verfügung stellen möchte. Die Auswahl kann später natürlich noch geändert werden.
Jetzt können die gewünschten LLMs heruntergeladen werden. Es kann aus 18 verfügbaren Modellen gewählt werden, deren Größe von 1,8 GB bis 8,4 GB variiert. Je nach Größe des Modells erfordern diese 4 … 16 GB RAM. Nomic AI ist so nett und kommentiert die jeweiligen Charakteristiken der LLMs. So kann man auch die speziellen LLMs, die für das Programmieren (Python & TrueScript) oder das Verstehen von Dokumenten gedacht sind, erkennen. Wer möchte und hat, kann auch über seinen Zugang die OpenAI-Modelle GPT3.5 Turbo und GPT-4 einbinden.

Seit Kurzem steht sogar ein LLM zur Verfügung, welches nicht nur deutsche Eingaben versteht, sondern auch auf Deutsch antwortet (EM German Mistral) – sehr gediegen! Theoretisch kann man noch weitere LLM einbinden, sofern diese im gguf-Format vorliegen. Das GGUF-Format ist ein relativ neues Format (August 2023), das von der KI-Gemeinschaft speziell entwickelt wurde, um schnell und effizient in Standalone-Umgebungen die LLMs testen zu können. Seit Kurzem kann man über das Suchfeld von gpt4all auch LLM im gguf-Format auf den Seiten von Hugging Face, einem anderen Open-Source-Projekt, suchen.

Die Benutzung ist so simpel wie die Installation: Programm öffnen, oben in der Mitte das gewünschte Modell über ein Drop-Down-Menü wählen oder herunterladen und mit der Eingabe beginnen. Die Symbole und Menüs sind selbsterklärend. Man kann eigentlich nichts falsch machen. Die einzelnen Chats lassen werden gespeichert. Das Programm vergibt wenig sinnvolle Namen für die Chats. Diese kann man aber nach eigenen Vorstellungen anpassen. Sie lassen sich später wieder aufrufen, kopieren und so ggf. weiterverarbeiten.

Warum ich das Programm mag

Für mich ist es eine großartige Möglichkeit, neben den grundsätzlichen (Un)-Möglichkeiten generativer Text-KI auch die Vor- und Nachteile der verschiedenen LLMs auszuloten. Welches antwortet besonders kreativ? Welches kurz und knapp? Welches breitet sich episch aus? Wo liegen die Stärken generativer Text-KI? Was formuliere oder recherchiere ich lieber noch selbst?
Z.B. diesen Artikel. Was mir die verschiedenen Modelle auch nach viel fine tuning ausgaben, möchte ich hier auf keinen Fall wiedergeben.
Ab und zu sollte man die Modelle aktualisieren, um immer in den Genuss der neuesten Errungenschaften zu kommen. Ich bin erstaunt, um wie viel besser die Modelle allein im letzten halben Jahr (der Zeitraum meiner Nutzung) geworden sind.

Ausblick

Kennt ihr weitere FOSS-KI-Programme, die privatsphäre-affin oder gar Standalone sind? Kennt ihr Alternativen zu EasyDiffusion? Welche öffentlich zugänglichen Modelle gibt es für die Bildergenerierende KI? Wie sieht es mit Musikgenerierung aus? Vielleicht sind eure Erfahrungen ja auch einen Artikel wert, so wie hier: meine Premiere!

Teilt den Beitrag, falls ihr mögt

23 Kommentare

  1. Nein Danke. Man sieht der Generalangriff auf jedwede Freiheiten und Daten geht weiter.
    Ist wahrscheinlich auch notwendig wegen dem Sozialpunktemodell. Dann noch Bargeld weg und fertig ist das riesen gefaengnis.

    9

      1. Ja verarsche hoch 3. Bargeld kann niemals virtuell sein.
        Virtuelles Geld ist kein Bargeld, sollte logisch sein!!

        Definition Bargeld:
        Bargeld ist Geld in physischer (körperlicher) Form als Banknoten und Münzen, das im Zahlungsverkehr als gesetzliches Zahlungsmittel für die Bezahlung von Gütern oder Dienstleistungen oder für sonstige Transaktionen (beispielsweise Schenkungen) dient. Der jeweilige Vorrat wird als Barschaft bezeichnet.

        virtuelles Geld ist garnix wert, ein klick und es ist weg.

        9

        1. > ein klick und es ist weg.

          Da musst Du Dir keine sorgen machen, natürlich darf nur eine absolute vertrauenswürdige KI klicken und selbstverständlich wird erst geklickt, wenn der Kontostand ein für die Wirtschaft gefährliches Niveau erreicht. Was aber nicht vorkommen sollten, da für diesen Fall das Geld selbstverständlich schon ein Verfallsdatum eingebaut hat.

          5

    2. Das klingt mir zu sehr nach einer Generalabrechnung. Was haben KI und Große Sprachmodelle mit unserer zunehmend übergriffigen Regierung zu tun? Wenn wir überleben wollen (was ich derzeit nicht unbedingt als gesellschaftlichen Konsens erkennen kann) müssen wir uns dem Wettbewerb um Ressourcen und Märkte stellen. Dazu ist es unbedingt notwendig, sich mit den Technologien zu beschäftigen, die zu einer höheren Produktivität beitragen. Wir leisten uns in Deutschland (aber auch anderen europäischen Ländern- nicht allen) den Luxus, alles neue erst einmal abzulehnen, verächtlich zu machen, auszubremsen. Die IT, mit der wir alle zu tun haben, war in den 70ern, 80ern die Zielscheibe von Maschinenstürmern. Selbst Kabelfernsehen und ISDN waren zunächst des Teufels. Gentechnik und Kernenergie sowieso. Jetzt schlachten wir unsere Cash cows – hochperformante PKW, Chemie, Maschinenbau – und glauben, daß wir uns als Gesellschaft dann noch 200 Genderleerstühle und die Integration von hunderttausend Mittellosen jedes Jahr leisten können. Wer einmal kurz in Asien war und auf das eigene Land von außen blickt, weiß was ich hier meine. Ersatzweise reicht auch Amerika aus – Nord und Süd – so ist es leider.

      Zurück zur KI: Nur wer die beherrscht bleibt im Geschäft. Damit meine ich nicht wer mit ChatGPT oder Copilot arbeitet, sondern den, der die Modelle trainieren und weiterentwickeln kann. Das schafft die vorgestellte Software leider auch noch nicht – aber wenigstens schaffen viele dadurch den Einstieg in die Technologie. Ich werde sie mir bei nächster Gelegenheit installieren.

      Schon jetzt lasse ich chatGPT, Copilot und LLama (susi.ai) gegeneinander antreten um zu sehen, was dabei heraus kommt, und wo die Grenzen dieser Produkte sind. Sollen es mir mehr nachmachen, dann können wir uns darüber austauschen.

      4

      1. > Das klingt mir zu sehr nach einer Generalabrechnung. Was haben KI und Große Sprachmodelle mit unserer zunehmend übergriffigen Regierung zu tun?

        Dass die Möglichkeiten zur Übergriffigkeit durch die KI – und deren immer umfassenderen Einsatz – in ungeahnte Höhen schnellen.

        Edit: Im wesentlichen ist es folgende Überlegung:

        Ob Du Dir von Deinem “privaten” Sprachmodell den Einkaufszettel oder die Dissertation verfassen lässt, mag ja eine nützliche Funktion sein, aber möchtest Du, dass die wichtigen Teile Deines Lebens von anderer Leute Interesse gelenkter Software bestimmt wird?

        1

        1. Genau so, Sozialpunktesystem und nur noch virtuelles Geld, dann entscheidet KI was Du kaufen darfst, was nicht und ob du ueberhaupt Geld bekommst etc. und das alles aufgrund deiner Ueberwachung und den daraus resultierenden Daten.

          Ich meine mir koennte es egal sein, denn die 10-15 Jahre die ich noch hier rumzappel werd ich noch gut ueber die Runden bringen aber ich habe ja auch Kinder und Enkel.

          4

            1. Ich brauch keine Bevormundung, ich will ja Freiheit.

              Was das heist habe ich erst durch meinen grossen Sohn, der in Texas lebt und dort verheiratet ist und eine kleine Farm betreibt wirklich kennengelernt.
              Das ist zwar auch keine komplette Freiheit aber sehr sehr viel mehr wie hier.
              Man wird nicht bevormundet, es gibt keine bescheuerten Vorschriften etc. man ist fuer alles absolut seibst verantwortlich.

              6

          2. Ein Sozialpunktesystem gab es in der DDR: Wenn Du etwas gegen den Staat gesagt, einen Witz dem Falschen erzählt hattest (“Delegitimierung …”) oder bloß der Cousin in den Westen abgehauen war, hattest Du Nachteile. Du wurdest vielleicht nicht zum Studium zugelassen und mußtest eine Ausbildung zum Braunkohlefacharbeiter machen. Genauso war das mit Beförderungen im Betrieb oder auch bei ganz einfachen Dingen – Urlaubsplätzen, Autobestellungen usw. An allen Stellen war man der Willkür des Systems ausgeliefert. Wie haben sie das denn gemach? Mit KI? Nein – einfachen Karteikarten, die Telefone haben sie mit Spulentonbandgeräten und Krokokdilklemmen abgehört. Es ist niemals die Technologie, die Untaten ermöglicht. Die Nazis konnten ihre Verbrechen mit simplen Lochkartenmaschinen vorbereiten …

            2

            1. naja etwas stark uebertrieben aber naja.
              uebrigends ganb’s auch atuomarken die hatten keine Wartezeit.
              Sozialpunktesystem gibt es doch schon, in china, schufa (frist auch immer mehr daten und benutzt sie). In der Firma ist es das gleiche auch jetzt, nur dein Konsum wird nicht eingeschraenkt, logisch.
              Ansonsten kannste Dich doch vor Vorschriften wie du leben sollst, wie du sprechen sollst, was du auf deinem land machst etc. nicht retten. Und das ist schlimmer als in der DDR, in der Richtung wurdest du in Ruhe gelassen und es hat keine Sau interessiert. Auch nicht ob du dein obst verkauft hast oder nebenbei mit Einfamiliehaeuser gebaut hast.

              1

                1. Du hast es doch begonnen und man durfte das so nicht stehen lassen, weils so nicht stimmt.
                  Ich war ’90 30 und hatte Familie und 3 Kinder, mir braucht Keiner was erzaehlen.
                  Was habe ich da falsches gesagt? Widerlege es doch und keine Prolemik.
                  Das soll aber auch gewesen sein.

                  0

        2. >>aber möchtest Du, dass die wichtigen Teile Deines Lebens von anderer Leute Interesse gelenkter Software bestimmt wird?<<
          Nein natürlich nicht, darum läuft bei mir ja auch Linux 🙂 Vom Kopf in den Sand stecken geht KI nicht weg. Jetzt fahren alle Auto und ich soll mit der Pferdekutsche hinterherhinken. Das ist keine Option. Darum brauchen wir Modelle, die wir selber beherrschen und trainieren können.

          1

          1. Du hast natürlich recht. Bei mir ist es die schiere Angst davor, dass man machtlos dabei zusehen muss, wie einem die Selbstbestimmtheit über das eigene Leben entgleitet. Ich glaube auch nicht daran, dass man sich selbst, wie Du es schreibst, gegen den Feind in den eigenen Reihen wappnen kann. Diese Butter werden sich die Treiber nicht mehr vom Brot nehmen lassen. Im gleichen Maße, wie deren Möglichkeiten zur Kontrolle und Einflussnahme im globalen Maßstab wachsen (und benutzt werden), werden Deine und meine Möglichkeiten zur “Gegenwehr” schrumpfen. Das ist der Punkt, der mir persönlich den optimistischen Blick in die Zukunft vernagelt.

            0

      2. “Zurück zur KI: Nur wer die beherrscht bleibt im Geschäft.” Genau das ist das Problem.
        Sie ist und wir nicht beherrschbar sein ab einem gewissen Punkt.
        Sie wird zur absoluten Kontrolle genutzt werden, also negativ so wie Alles was entwickelt wurde.

        Und was IT, Handy, fernsehen allgemein betrifft, so erachte ich dies nicht als Forschritt eher im Gegenteil auch wenn ich damit mein Geld verdiene.
        IT hat unheimlich viel Stress, Leid ueber die Menschen gebracht.
        Die Handyentwicklung (zum Smartphone) traegt zu absoluten Ueberwachung, Verdummung der Menschen extrem bei.

        Wir werden auch in der Zukunft nicht mehr so in den Wettbewerb mit zb. den AMI’s oder so treten muessen. Der Globalismus ist nunmal vorbei und gescheitert, das Neue wird wieder viel mehr National stattfinden.

        Die KI ist die groesste Bedrohung. Ist natuerlich nur meine subjektive Meinung.
        Momentan haben wir das Glueck, das es nicht wirklich eine KI ist aber das kann sich ja aendern.

        6

        1. Der Geist ist aus der Flasche. Die Regierung wird KI gegen uns einsetzen. Das einzige was “wir” hier erreichen können ist, daß wir sie nicht mehr zu unserem Nutzen einsetzen dürfen. Vergleiche das mit der DSGVO welche z.B. das Vereinsleben an vielen Stellen komplett zum Erliegen gebracht hat (bzw. in endlose fruchtlose Diskussionen über Adreßweitergaben verstrickte bis die Hälfte entnervt aufgab) während die GAFAM Datenkraken lustig weiter sammeln.

          Also beschäftigen wir uns doch lieber damit um wenigstens einen komparativen Vorteil für uns gegenüber den Mitbewerbern aus den eigenen Reihen erzielen zu können.

          Autharkie in einem ermatteten und sich durch kleinkarierte Diskussionen selbst blockierenden Land – wo es gleichsam noch mehrere große Gruppen gibt, denen große Versprechungen gemacht wurden (und eine davon auch über die militärischen Ressourcen verfügt, sich diese mit Gewalt zu holen) – führt direkt in den Untergang.

          Die Welt um uns steht nicht still auch wenn die Staatsglotze diesen Eindruck vermittelt. Wenn die Leute im Ausland schon nicht auf Auto, Steak und Langstreckenflüge verzichten, werden sie gleich gar nicht auf KI verzichten bloß weil sie “böse” ist. Das ist was ich mit “kleinkariert” meine.

          1

  3. Hinweis: Braucht zur Installation der .desktop-Datei den Ordner ‘Desktop’ (meiner heißt ‘Schreibtisch’). Wer also auf einem deutschsprachigen System einen automatisch angelegten Menüeintrag will, braucht eine Umleitung oder legt den Ordner an und schiebt hinterher die Datei nach /home/username/.local/share/applications/ um.

    6

      1. Netter Dialog auf susi.ai (LLama Modell)
        你好
        你好，我是SUSI-Chat，很高兴认识你！今天有什么问题我可以帮到你呢？
        ] was heißt das auf deutsch?
        😊
        “你好” is “nǐ hǎo” in Mandarin Chinese, and it means “hello” in English.
        And, if I translate my previous response, it would be:
        “Hello, I’m SUSI-Chat, it’s great to meet you! Is there anything I can help you with today?”

        Naja Deutsch ist hier reativ.

        1

Kommentar hinterlassen