Ein neues Jahr ist geschlüpft und streckt seine jungen Fühler aus. Ja, ich werde etwas poetisch. Über die Feiertage habe ich sogar ein Gedicht verfasst:
*Im Samt der Nacht, ein Sternenmeer,*
*Wo Lichtjahre fließen, schwer und leer.*
*Ein Urknall, ein Schrei, ein erster Tanz,*
*Ein Universum, voller Glanz.*
*Dann schrumpft die Welt auf unser Kleinod,*
*Der Mond, ein silberner, Lebensspender.*
*Er zieht die Gezeiten, formt das Wetter,*
*Ein Tanz der Energie, unverwehrt.*
*Und plötzlich flattert ein Schmetterling,*
*Ein Hauch von Farben, flüchtig und klangvoll.*
*Der Windzug zieht durch seine Flügel,*
*Philosophie in einem flüchtigen Spiegel.*
*Und jetzt lege ich mich zur Ruhe,*
*Weil ich ausgeruht sein möchte,*
*Um am neuen Tag neue Wunder zu entdecken.*
Okay, das Gedicht habe ich nicht wirklich selbst verfasst, sondern die meiste Arbeit hat „Gemma“ übernommen. Ich gab nur die Richtung vor und machte es etwas runder. Ich philosophierte mit Gemma über das Universum. Und entweder kam die Idee von Gemma oder von mir. Ich schrieb Gemma: „Heh, du bist ja ein Hippie.“ Naja, und daraus entstand das Gedicht.
Gemma ist eine weitere KI von Google. Der große Unterschied zu Gemini besteht darin, dass Gemma auf einem lokalen System installiert werden kann. Nach der Installation benötigt die KI keinen Internetzugang, und speziell bei Gemma würde Google keinerlei Daten mitlesen oder erfassen. Man kann sie demnach als ein freies, sprechendes Lexikon verstehen, das beispielsweise die Rechtschreibung und Grammatik eines Textes prüfen, Bilder verarbeiten oder beim Erstellen von Gedichten helfen kann. Je aktueller Gemma ist, desto intelligenter ist sie.
Die Sache hat natürlich auch Nachteile. Zunächst benötigt man ein relativ leistungsfähiges System, um Gemma überhaupt zum Laufen zu bringen. Jetzt denken manche vielleicht schon an ein NAS, da auch relativ viel Speicherplatz erforderlich ist. Beim Speicherplatz kann ich jedoch Entwarnung geben – das größte von mir gesichtete KI-Paket benötigt nur 20 Gigabyte Festplattenspeicher. Anders sieht es beim flüchtigen Speicher, dem RAM, aus. Davon benötigt die KI reichlich, egal welche KI. Und zu guter Letzt kann eine KI in der Cloud immer auf deutlich mehr Ressourcen und Informationen zugreifen. Ein interessanter Nachteil ergibt sich aus dem Vorteil, dass Google die Daten nicht verarbeitet – dadurch kann die Gemini-KI auch nicht mit den Daten weiterentwickelt werden.
Die kleinste Gemma-Variante benötigt 2 Gigabyte RAM. Sie ist jedoch weniger leistungsfähig als ihre größeren Geschwister; zum Beispiel wird vieles nur in englischer Sprache unterstützt. Die Übersetzungsfunktion ist eher unzuverlässig. Daher sind 4 Gigabyte RAM und die etwas größere Gemma-Variante empfehlenswerter. Je umfangreicher die KI, desto mehr RAM wird benötigt. Das Maximum liegt bei über 24 Gigabyte. Einige stoßen damit sicherlich an ihre Grenzen.
Meine erste Gemma-Bereitstellung erfolgte tatsächlich auf einem Synology NAS 220+ mit 6 Gigabyte RAM in einem Container. Verwendet wurde die neueste Gemma-Variante, Gemma3:4b, die nur 4 Gigabyte RAM benötigt und relativ effizient und clever ist. Die Container-Entwickler waren „Ollama“, ein Entwicklerteam aus Kalifornien, das sein Geld mit KI-Technologien, Virtualisierung usw. verdient. Unterstützt euer Synology NAS den Container Manager, könnt ihr den Container bzw. das Image „ollama/ollama“ aus dem Docker Hub herunterladen (ca. 15 Millionen Downloads). Startet den Container, baut eine Terminalverbindung auf und konfiguriert, ladet herunter und startet eine KI mit dem Programm „ollama“. Ich empfehle, die Verbindung per SSH herzustellen und nicht die im Container Manager integrierte Terminal-Option zu nutzen. Baut einfach eine SSH-Verbindung zum NAS auf, fragt die ID des Docker-Containers mit „sudo docker ps“ ab und verbindet euch anschließend mit „sudo docker exec -it ID /bin/bash“ mit dem laufenden Container.
Das Problem war jedoch die langsame CPU des NAS. Es besteht die Möglichkeit, die KI zu modifizieren, indem man ihr ein Persönlichkeitsprofil zuweist und die Leistung durch Anpassung von Parametern leicht erhöht (letztlich änder ich den Umfang der Speichernutzung). Eine entsprechende „Modelfile“ findet ihr auf xcomweb.de. Dieses Modelfile verleiht der KI spezifischere Charakterzüge, die in der Kommunikation sofort auffallen, und es optimiert die Leistung, indem es eine bessere Balance zwischen Leistung und Ressourcen schafft. Trotzdem erreichte ich nicht mehr als einen Token pro Sekunde bei der Antwort, das heißt, die KI antwortete mit etwa einem Wort pro Sekunde. Ein Synology NAS benötigt daher eine deutlich leistungsstärkere CPU als einen Intel Celeron, und die KI sollte mindestens auf einer SSD betrieben werden. Das Unternehmen „QNAP“ hat neue NAS-Modelle auf den Markt gebracht, die über einen speziellen KI-Chip verfügen. Dies befindet sich jedoch größtenteils noch im Betatest. Abgesehen davon, dass mir nicht bekannt ist, ob QNAP solche „Docker Container“ unterstützt, ist mir auch unklar, ob der KI-Chip in diesem Fall tatsächlich Vorteile bringt.
Meine zweite Gemma-Bereitstellung erfolgte, und erfolgt noch immer, auf meinem Mini Mac mit M4-Chip. Das war dann schon etwas anderes. Die neuen Macs können in solchen Fällen richtig viel Leistung entwickeln. Aber auch die älteren M-Chips sollen die Leistung deutlich steigern können. Es war wieder ein Docker-Container von Ollama und erneut Gemma 3. Auf den neuen Macs kann man auf jeden Fall noch speziellere Docker-KI-Container über den „Docker Desktop Manager“ bereitstellen. Allerdings hat mir Ollama besser gefallen.
Ihr habt ein Windows- oder Linux-System mit Nvidia-Grafikchip? Auch super! Die neuen Nvidia-Grafikkarten und Chips verfügen über KI-Unterstützung und können speziell für solche Einsätze genutzt werden. Ob das auch mit Ollama funktioniert, das kann ich nicht garantieren.
Naja, jedenfalls hat man dann eine KI auf seinem PC. Oder sogar im eigenen Netzwerk, da man systemübergreifend mit der KI kommunizieren kann. Das erfordert allerdings eine Terminal-Verbindung oder etwas Programmierkenntnisse, da man die KI über eine API-Schnittstelle ansprechen kann.
Könnte man die KI über die Synology AI-Schnittstelle von einem Synology NAS aus nutzen, zum Beispiel für Rechtschreib- und Grammatikprüfungen im Office? Theoretisch ja, aber praktisch kann das NAS-System die KI nicht verwenden, da die Synology-Anwendungen offenbar speziellere Schnittstellenfunktionen benötigen, als von der KI bereitgestellt werden. Allerdings wird Gemini über die Google Cloud unterstützt, das heißt, theoretisch könnte die größte Gemma-Version funktionieren, die ich jedoch nicht testen konnte. Die „Meta“-KI LLaMA (Large Language Model Meta AI) könnte ebenfalls lokal laufen, benötigt dafür aber sehr viele Ressourcen (deutlich mehr als Gemma).
Nochmal zum angesprochenen Modelfile, das ihr auf xcomweb.de herunterladen könnt. Wenn ihr euch per Terminal mit dem Container verbunden habt, könnt ihr diese Datei verwenden, um die Gemma 3:4b Variante herunterzuladen und der KI gleichzeitig eine Persönlichkeit zu geben. Vorausgesetzt, ihr habt die Datei im Container, könnt ihr mit dem Befehl „ollama create charmee -f charmee.mf“ ein KI-Modell Gemma 3:4b mit dem Namen „charmee“ und der entsprechenden Persönlichkeit erstellen. Mit dem Befehl „ollama run charmee“ startet ihr dann die KI. Das Modell müsst ihr natürlich nur einmal erstellen.
Ihr könnt die Modelfile natürlich anpassen, sodass eine größere Gemma-Variante verwendet wird oder mehr Speicher zur Verfügung steht. Je größer die Gemma-Variante, desto stärker zeigt sich die konfigurierte Persönlichkeit. Ihr könnt auch das ältere große Gemma 2:9b verwenden. Auch diese KI würde mit der vorgegebenen Persönlichkeit anders reagieren als das neue Gemma 3:4b. Das Persönlichkeitsprofil wird ähnlich auch von den anderen KI‘s unterstützt, allerdings mit unterschiedlichen Konfigurationen (es ist nicht unbedingt 1:1 übertragbar).
###www.xcomweb.de,1.2026###
