Umzug von Docker zu Kubernetes

[Paddy0293]

Hallo, da ich schon länger plane von OMV zu TrueNas Scale zu wechseln, würde mich interessieren wie ihr einen Umzug von OMV zu Truenas bewerkstelligen würdet

Habe heute zum testen mal eine VM von TrueNas erstellt, erster Eindruck war schon mal sehr positiv, die Apps ließen sich anstandslos installieren und liefen ohne Probleme, jetzt würde ich gerne meine alten Docker am liebsten Plug in Play drüber ziehen, aber leider ist dies nicht so einfach möglich, selbst Backups von den "Apps" in Truenas sind nicht möglich ?
Wie handhabt ihr die Backups eurer "Apps" ?

Andere und einfachere Möglichkeit wäre eine VM in Truenas zu erstellen und Linux mit Portainer zu installieren.
Da habe ich eine Verständnisfrage, da Docker ja nicht so gut mit ZFS harmonisiert und ich eine VM erstelle die meinetwegen dann mit ext4 formatiert ist. Wie reagiert das Dateisystem da drauf wenn als Unterbau ZFS ist ?
Hab schon von Leuten gelesen, die dann zusätzlich nen Raspi für Docker hingestellt haben, dies würde gerne vermeiden.

Ich hoffe ihr könnt mir etwas Licht ins Dunkle bringen

 

[andy_m4]

Da habe ich eine Verständnisfrage, da Docker ja nicht so gut mit ZFS harmonisiert

Sagt wer? Ich würde es nämlich sogar eher umgekehrt sehen. Weil ZFS eigentlich ein gutes Image-Managment ermöglicht.

und ich eine VM erstelle die meinetwegen dann mit ext4 formatiert ist.

Du brauchst keine VM. Du kannst auch innerhalb eines ZPools ein beliebig formatiertes Sub-Volume anlegen.

Wie reagiert das Dateisystem da drauf wenn als Unterbau ZFS ist ?

Dem ist das i.d.R. egal. Also gerade bei ext4 und Co läuft Du da nicht in Probleme.
Aber wie bereits gesagt: Ich sehe da gar nicht die Notwendigkeit solche Umwege zu gehen.

 

[Paddy0293]

@andy_m4 vielen lieben Dank für deine Antwort, das beruhigt mich ein wenig

Sagt wer? Ich würde es nämlich sogar eher umgekehrt sehen. Weil ZFS eigentlich ein gutes Image-Managment ermöglicht.

Solche Einträge zum Beispiel -> Link

.Du brauchst keine VM. Du kannst auch innerhalb eines ZPools ein beliebig formatiertes Sub-Volume anlegen.

Wie mache ich das in Truenas ? oder meinst du vor der Pool Erstellung die Platte partitionieren ?

 

[andy_m4]

Solche Einträge zum Beispiel -> Link

Ja. Da steht irgendwas mit "... risk of performance loss ...". Die Lösung mit dem Umweg via VM und ext4 dürfte hinblicklich dessen aber nicht wirklich zielführend sein.
Und der weiterführende Link nach
https://docs.docker.com/storage/storagedriver/zfs-driver/#zfs-and-docker-performance
finde ich jetzt auch nicht besonders besorgniserregend.

Mag sein man in speziellen Use-Cases und bei hoher Auslastung ist Probleme reinlaufen kann. Aber nix worüber man sich Sorgen machen muss wenn man irgendwie ein bissl nextcloud, Pi-Hole und Sonstiges fährt.

Wie mache ich das in Truenas ?

Ich kenne TrueNAS leider nicht. Aber vielleicht hilft Dir das Stichwort zvol weiter.
zvols sind im Prinzip Blockgerätedateien die unter /dev/zvol auftauchen. Die liegst Du mit
zfs create -V 1g mypool/myext4device
an und kannst dann die ganz normal mit mkfs.ext4 formatieren.

oder meinst du vor der Pool Erstellung die Platte partitionieren ?

Nee. zvols liegen auf dem Pool. Aber im Grunde kannst Du das auch so machen und hast dann auch kein ZFS mehr dazwischen. Aber wie gesagt. Ich glaube nicht, das Du mit ZFS in irgendwelche Probleme reinläufst. Ich würde es zunächst so versuchen.

 

[Paddy0293]

Mag sein man in speziellen Use-Cases und bei hoher Auslastung ist Probleme reinlaufen kann. Aber nix worüber man sich Sorgen machen muss wenn man irgendwie ein bissl nextcloud, Pi-Hole und Sonstiges fährt.

Okay danke dann werde ich das wieder direkt via Docker machen, gibt ja auch zig reddit Beiträge wenn man " zfs und docker" googelt, das es da Probleme gibt, dies hat mich halt verunsichert.

Nee. zvols liegen auf dem Pool. Aber im Grunde kannst Du das auch so machen und hast dann auch kein ZFS mehr dazwischen. Aber wie gesagt. Ich glaube nicht, das Du mit ZFS in irgendwelche Probleme reinläufst. Ich würde es zunächst so versuchen.

Super schaue ich mir mal an
Es kommt ja eh eine extra SSD für die Docker zum Einsatz, da gewisse Docker wie Netdata und Plex, die HDDs einfach nicht schlafen lassen
Da hätte es sich angeboten, die SSD gleich mit ext4 zu formatieren

 

[Paddy0293]

Nachtrag:
@andy_m4 das hier hatte ich eigentlich mit Problemen gemeint, habe es jetzt endlich wieder gefunden

There's a long standing problem with the Docker ZFS storage driver that's never been fixed where datasets will slowly (or quickly depending on how heavily you use docker) pile up and consume all your space.

Most Linux ZFS users who run docker put the volumes (or entire docker directory) on a separate zvol that is formatted with EXT4 or another filesystem you can use Overlay2 with instead of the Docker ZFS driver. This isn't an option with Scale (it doesn't allow you to format other filesystems and officially only supports ZFS in the first place).

It's not a great docker host. I agree the direction they went with K3s/K8s and "apps" is stupid - too complicated for "home server" users and not nearly functional enough for enterprises that actually use Kubernetes - but it is what it i

 

[snaxilian]

Da hat aber jemand mehrere Jahre hintereinander in der Schule nur durch Abwesenheit geglänzt oder bist du ein weiterer CDU/CSU Politiker mit gefälschter Doktorarbeit? Das würde immerhin erklären warum du nicht weißt, wie man halbwegs korrekt zitiert...

Neben dem falschen zitieren kommt noch hinzu, dass du nur die dir liebsamen Teile zitierst und so teilweise den Kontext verdrehst oder du hast einfach nur die ersten 2-3 Beiträge gelesen und nicht den vollständigen Thread aus dem du da zitierst:

Finally, the ZFS driver is slow, meaning when you pull containers it takes longer to build them - though for most "home" users this isn't that big a problem (it's not that slow) - it's more an issue for people who build containers, or manage hundreds/thousands of containers, etc.

Da du ja netterweise durch meinen Hinweis für dein Zitat noch eine Quelle nachliefern kannst, kann ich hier ja darauf verzichten, stammt dieses Zitat nämlich vom gleichen Verfasser wie dein Zitat, nur eben etwas weiter unten im Thread

Das 'Problem' tritt halt auf wenn man herum schlampt und nicht hinter sich aufräumt. Ich kann auch wunderbar ein System mit Docker aber ohne ZFS zumüllen wenn ich andauernd wahllos Volumes erstelle und nicht ab und an mal die nicht mehr benötigten Dateileichen wegräume.
Der Thread schlägt übrigens auch eine mögliche Lösung für das Problem vor, wenn auch ziemlich mit dem Holzhammer aber sie würde funktionieren.

selbst Backups von den "Apps" in Truenas sind nicht möglich

Hier liegt denke ich ein Missverständnis vor, wie Docker bzw. Container im allgemeinen funktionieren. Alle persistenten Daten eines Containers sollten stets in den Volumes liegen. Will man also seine "Apps" sichern, so muss man die notwendige Config sichern die man zum Start des Containers benötigt inkl. ggf. extra gesetzter Environment Variables etc. und die Volumes der Container.
Ersteres sollte im System Settings Backup enthalten sein: https://cdn.truenas.com/docs/scale/...ettings/generalsettings/#manage-configuration
Würde ich im Vorfeld prüfen ob dem wirklich so ist.

Die Volumes der Container hingegen sind halt ein ZFS Dataset namens ix-applications. Das kannst du genau so sichern wie alle anderen ZFS Datasets auch. Snapshots machen und per Export oder Replikation woanders hin schicken.

Ein Backup ist somit möglich aber ja die Doku von TrueNAS ist hier nicht gerade einsteigerfreundlich und viele der Tutorials oder Anleitungen befassen sich nur mit dem Setup/Deployment und schweigen sich aus zu Themen wie Operations/Maintenance/Backup/Restore.

Andere und einfachere Möglichkeit wäre eine VM in Truenas zu erstellen und Linux mit Portainer zu installieren.

Sofern du TrueNAS Scale nutzen möchtest, wäre dies die sinnvollste bzw. für dich einfachste Variante. K8s unter TrueNAS Scale hat gewisse Limitierungen und Einschränkungen und k8s macht wirklich erst Spaß bzw. Sinn bei 3 und mehr Nodes.
Der ambitionierte Hobbyfrickler ist und war einfach nie die Zielgruppe von TrueNAS Scale. Bei einer reinen überwiegenden Storage-Appliance wie TrueNAS Core konnte man es gut im B2B und im B2C einsetzen aber Scale macht im privaten Umfeld nicht wirklich einen Sinn bzw. wenn dann muss man in den sauren Apfel beißen und eben deren k8s Implementierung inklusive der Einschränkungen in Kauf nehmen oder sich eben eigene Lösungen drum herum basteln.

 

[Paddy0293]

Da hat aber jemand mehrere Jahre hintereinander in der Schule nur durch Abwesenheit geglänzt oder bist du ein weiterer CDU/CSU Politiker mit gefälschter Doktorarbeit? Das würde immerhin erklären warum du nicht weißt, wie man halbwegs korrekt zitiert...

o.o irgendwie zu wenig geschlafen ?
Ich war unterwegs und wollte nicht den Link mit dem Handy stumpf posten o.o

Da du ja netterweise durch meinen Hinweis für dein Zitat noch eine Quelle nachliefern kannst, kann ich hier ja darauf verzichten, stammt dieses Zitat nämlich vom gleichen Verfasser wie dein Zitat, nur eben etwas weiter unten im Thread

Hier der Link zum reddit Post ->Link
Da steht leider nichts von deinem zitierten Beitrag

Das 'Problem' tritt halt auf wenn man herum schlampt und nicht hinter sich aufräumt. Ich kann auch wunderbar ein System mit Docker aber ohne ZFS zumüllen wenn ich andauernd wahllos Volumes erstelle und nicht ab und an mal die nicht mehr benötigten Dateileichen wegräume.

Naja das Problem hast du ja auch wie du sagtest, auch mit normalen Docker, bin aber davon ausgegangen, dass mit zumüllen von Datasets etwas anderes als die Volumes gemeint ist, dies habe ich dann wirklich falsch verstanden.

Will man also seine "Apps" sichern, so muss man die notwendige Config sichern die man zum Start des Containers benötigt inkl. ggf. extra gesetzter Environment Variables etc. und die Volumes der Container.
Ersteres sollte im System Settings Backup enthalten sein: https://cdn.truenas.com/docs/scale/...ettings/generalsettings/#manage-configuration
Würde ich im Vorfeld prüfen ob dem wirklich so ist.

Würde mir reichen wenn man die Env sichern kann, die ix-application würde ich dann eh immer sichern, wie ich es jetzt auch bei Portainer getan habe.
Werde ich testen und berichten

Ich habe ja auch keine Probleme alles auf Kubernetes umzubauen, es ist halt nur ne Menge Arbeit, damit es wieder wie auf Portainer läuft, aber ich möchte halt diese Arbeit auch sichern, nicht das ich bei Festplatten Ausfall wieder von Vorne beginne.

Ich habe es ja aktuell eh nur auf der Virtual machine laufen, damit ich genug testen kann und das OS kennen lernen kann.
Ich danke dir auf alle Fälle für deine Hilfe, auch wenn du Anfangs nicht sehr freundlich warst

 

[snaxilian]

Ich war unterwegs

Das scheint die online-Ausrede-Variante von "hat der Hund gefuttert" zu werden, liest man immer häufiger wenn sich TEs wenig bis keine Mühe geben und darauf angesprochen werden^^
Ich würde ja vermuten, dass man gerade von unterwegs am Handy eher Links postet als Text zu markieren, kopieren, Zitierfeld anklickt und Text einfügt aber genug Spekulation für heute.

Meinem Schlaf geht es übrigens ausgezeichnet, danke der Nachfrage aber zurück zum Thema.

Da steht leider nichts von deinem zitierten Beitrag

Ja, wie ich schon schrieb: Dafür muss man den ganzen Thread dort lesen, also auch mal die Kommentare ausklappen bzw. auf "alle Kommentare anzeigen" klicken. Aber ich hab heut online noch keine gute Tat getan also nehme ich dich gerne an die Hand. Hier ist der Kommentar wo jemand eine Rückfrage stellt und dann eine ausführliche Antwort bekommt aus der ich zitiert habe: https://www.reddit.com/r/truenas/comments/r56m55/comment/hsq334z/

bin aber davon ausgegangen, dass mit zumüllen von Datasets etwas anderes als die Volumes gemeint ist, dies habe ich dann wirklich falsch verstanden.

Datasets und Volume sind zwei verschiedene Dinge wenn wir über ZFS reden.
Ich empfehle als Grundlagenlektüre gerne den ZFS Primer, dort werden viele Begriffe erklärt und zugeordnet, also wie diese zusammen gehören: https://www.truenas.com/docs/references/zfsprimer/
Kurzform und verglichen mit Windows, sprich für Anwender verständlicher:
Datasets sind vergleichbar mit Partitionen. Es hat eine (anpassbare) Größe und das Dateisystem ist ZFS.
ZVOLs oder Volumes sind eher vergleichbar mit ISO oder VHDs (von VMs). Diese können direkt auf dem ZFS-Pool liegen im Gegensatz zu vielen anderen klassischen Dateisystemen. ZVOLs/Volumes können als Dateisystem dann ZFS beinhalten aber auch beliebige(?) andere Dateisysteme.
ZVOLs/Volumes sind daher sinnvoll für VMs oder wenn das Storage-System seinen Speicher per iSCSI oder FC (oder FCoE oder ähnliches) an Server geben soll.
Der @andy_m4 möge mich bitte korrigieren, wenn ich hier groben Unfug schreiben sollte.

Ich habe ja auch keine Probleme alles auf Kubernetes umzubauen, es ist halt nur ne Menge Arbeit, damit es wieder wie auf Portainer läuft, aber ich möchte halt diese Arbeit auch sichern, nicht das ich bei Festplatten Ausfall wieder von Vorne beginne.

Gerade deshalb würde ich wirklich überlegen ob du nicht eine VM auf TrueNAS Scale laufen lassen willst und in der VM dann Docker und Portainer.
Kubernetes ist mächtig und hat viele gute Seiten aber seine Schattenseiten und Probleme und ist im privaten Umfeld wirklich overkill.

Bei VM + Docker + Portainer hast du eine gewohnte Umgebung, kannst die VM einfach sichern und hast keinen Migrationsstress.

 

[Paddy0293]

notwendige Config sichern die man zum Start des Containers benötigt inkl. ggf. extra gesetzter Environment Variables etc. und die Volumes der Container.
Ersteres sollte im System Settings Backup enthalten sein:

Hab mir die ganze Backup Geschichte mal angeschaut und muss sagen das ist alles andere als Userfreundlich, würde das Thema Backup "Apps" eher in den Profibereich schieben. Also fällt Kubernetes für schon mal komplett raus

Gerade deshalb würde ich wirklich überlegen ob du nicht eine VM auf TrueNAS Scale laufen lassen willst und in der VM dann Docker und Portainer.

Habe mich heute vor der Arbeit nochmal mit dem Thema Portainer beschäftigt, über TrueCharts ist es möglich, Portainer einfach runterzuladen, meine erste Frage war gleich, wie kann das funktionieren ???
Da habe ich folgendes gefunden:

So how does this “Compose in Kubernetes” magic work?

TrueCharts applies the technology known as ’Docker in Docker’, which is effectively a Docker container that runs the Docker run-time environment. It provides the storage and networking within this runtime environment using the storage and networking resources provided to the Docker-Compose app.

Docker uses this technology for their own development and testing. In this TrueNAS scenario, it’s constrained to only load one compose-file automatically. The primary restriction is that Compose apps cannot have networking that conflicts with any of the Kubernetes networks, as would be expected.

The Docker and Kubernetes networking models are different and so the applications work more easily if they are separated and not networked together. It's best to use Docker-Compose App as a separated Docker environment for stand-alone applications.

Ich denke ich werde es erstmal so testen
Mal schauen wie sich die Netzwerk Problematik von der gesprochen wird auf mich auswirkt.
So benötige ich keine VM

 

[snaxilian]

Hab mir die ganze Backup Geschichte mal angeschaut und muss sagen das ist alles andere als Userfreundlich, würde das Thema Backup "Apps" eher in den Profibereich schieben.

Du hast halt falsche Vorstellungen oder gehst ziemlich blauäugig an die Sache heran.
Wie kommst du darauf, dass Privatpersonen, die fehlerfrei einen PC zusammen schrauben und ein Linux installieren können, die Zielgruppe von TrueNAS Scale sind?
Hat irgendwer bzw. iXsystems behauptet, dass Scale userfreundlich sein muss?
Sind dir die Ursprünge von ZFS bekannt, die Vor- u.v.a. auch die Nachteile?

SOHO ist nicht unbedingt die primäre Zielgruppe auch wenn es sich da einsetzen lässt wenn man weiß, worauf man sich da einlässt. Gewisse Dinge, die Otto Normalverbraucher als vermeintlich selbstverständlich ansieht, die er halt vom Fertig-NAS aus dem Elektronikladen um die Ecke kennt, sind bei Systemen mit ZFS nicht dabei.

Man kann halt nicht mal eben eine HDD dazu stecken und den nutzbaren Speicher vergrößern. (Also kann man technisch zwar schon aber dann sind einem entweder die eigenen Daten nichts wert oder man hat ZFS nicht verstanden.)
Man kann halt nicht mal eben ein Backup to USB machen, also kann man schon aber dann z.B. mit rsync oder vergleichbaren Tools aber nicht mit ZFS Snapshots.

Du hast mit Scale eine Appliance vor dir mit definierten Funktionen und Möglichkeiten und wirfst jetzt einen Komplexitätslayer nach dem anderen auf das Problem um eine gewohnte Arbeitsweise von einem anderen System dahin zu übertragen.
Du willst also auf dem K8s was durch die GUI von Scale verwaltet wird, einen Pod werfen (was Scale Apps nennt aber in k8s Sprech sind es Pods) in dem ein Docker Daemon läuft um damit Portainer zu installieren um damit dann was genau zu tun? Den k8s auf Scale zu verwalten? Dann musst ja trotzdem deine jetzigen unter Docker lauffähigen Anwendungen auf k8s migrieren, die Arbeit wird dir Portainer vermutlich nicht abnehmen, oder?

Ich mach diesen Quatsch mit IT lang genug und die goldene Regel, egal ob IT Infrastruktur oder Software Architektur oder irgendwas dazwischen und drum herum, die stets trifft ist: Komplexität ist der Feind.
Vermeide dies wo es nur geht denn wenn Fehler auftreten, willst du das nicht erst alles auseinander dröseln wollen weil du ja erst einmal den Fehler verstehen musst um ihn dann zu beheben.

über TrueCharts ist es möglich, Portainer einfach runterzuladen

Zum einen ist Portainer nirgends bei TrueCharts gelistet und zum anderen zeigt ja dein zitierter Text ohne Quelle warum das nur sehr bedingt eine gute Idee ist. Woher auch immer du das hast und was auch immer da noch so stehen mag...
https://github.com/truecharts/charts/issues/2148 Dort steht auch nochmal, warum Verwaltung des k8s unter TrueNAS Scale mit Portainer keine gute Idee ist.

 

[Paddy0293]

Wie kommst du darauf, dass Privatpersonen, die fehlerfrei einen PC zusammen schrauben und ein Linux installieren können, die Zielgruppe von TrueNAS Scale sind?

Weil gefühlt jede Privat Person (was man in Foren ließt) wenn man ZFS haben möchte auf Truenas oder Proxmox setzt.

wer mit dem Dateisystem ZFS liebäugelt, für den führt eigentlich kein Weg an TrueNAS Core vorbei.

Quelle ->Link

Sind dir die Ursprünge von ZFS bekannt, die Vor- u.v.a. auch die Nachteile?

Natürlich -> Snapshots, Checksum,COW, Komprimierung, Snapshots dieses Dateisystem ist wie gemacht für mich, da mir meine Daten sehr wichtig sind. Da ich seit mehreren Jahren alles nur noch einscanne und wir nur noch die wichtigsten Dokumente in Papierform haben.
Deshalb habe ich auch von allen 4 Backups + 1 verschlüsseltes Cloud Backup

Man kann halt nicht mal eben eine HDD dazu stecken und den nutzbaren Speicher vergrößern. (Also kann man technisch zwar schon aber dann sind einem entweder die eigenen Daten nichts wert oder man hat ZFS nicht verstanden.)
Man kann halt nicht mal eben ein Backup to USB machen, also kann man schon aber dann z.B. mit rsync oder vergleichbaren Tools aber nicht mit ZFS Snapshots.

Das benötige ich nicht, habe seit 4 Jahren 2,5TB von 4 TB belegt und habe eigentlich geplant mein TrueNas Setup mit 8TB in Mirror zu starten, damit sollte ich eine Weile hinkommen.
Wenn dann muss halt in den sauren Apfel beißen, mit größeren HDDs weitermachen und alles rüber ziehen.
Das wird die einfachste Methode sein.

Ich mach diesen Quatsch mit IT lang genug und die goldene Regel, egal ob IT Infrastruktur oder Software Architektur oder irgendwas dazwischen und drum herum, die stets trifft ist: Komplexität ist der Feind.

Okay langsam hast du mich von Truenas weg
Aber was bleibt mir für eine "einfache" Alternative ?

OMV -> ZFS über geht nur über den Proxmox Kernel -> das soll auch mehr schlecht als Recht funktionieren
bzw. wenn das ZFS Plugin mal geupdatet wird, dann der Kernel aber noch nicht, steht man dann da -> Link
Proxmox -> soll noch komplizierter als TrueNas sein -> fällt also auch raus
Unraid -> auch nur mit ZFS Plugin, was ich beim kurzen überfliegen über Unraid gelesen habe, auch nicht so die feine Sache

Zum einen ist Portainer nirgends bei TrueCharts gelistet und zum anderen zeigt ja dein zitierter Text ohne Quelle warum das nur sehr bedingt eine gute Idee ist. Woher auch immer du das hast und was auch immer da noch so stehen mag...

Habe ich mich falsch ausgedrückt, es gibt Docker compose ->Link
Okay was machen wir da jetzt ?
Trotzdem auf Truenas setzen und Docker in einer VM fahren ?

Bin dir sehr dankbar, für dein versiertes Fachwissen

 

[snaxilian]

Weil gefühlt jede Privat Person (was man in Foren ließt) wenn man ZFS haben möchte auf Truenas oder Proxmox setzt.

Ja und nein. TrueNAS ist eine Marke, was du vermutlich meinst ist aber TrueNAS Core, nicht unbedingt Scale. Scale ist ein relativ neues Produkt was mMn noch in den Kinderschuhen steckt.

Hinzu kommt, dass du hier wild Appliances mit unterschiedlichen Zielen in einen Topf wirfst: TrueNAS Core ist primär als NAS gedacht, wo noch diverse andere kleinere Anwendungen mit drauf laufen können. Proxmox ist ein Hypervisor bzw. das was sich HCI nennt wobei der Storage-Port Ausbaupotential hätte um als vollwertiges HCI durchzugehen.

Wenn du nur einen Mirror nutzen willst, könntest genau so gut btrfs nutzen aber andererseits ist das auch in keiner der bekannteren NAS-Distributionen sinnvoll inkludiert.
Da wird halt vorausgesetzt, dass man sich da rein arbeitet und dann sein System auf der CLI einrichten kann...

Das wird die einfachste Methode sein.

Kannst auch erst eine der alten HDDs im Mirror entfernen, eine große rein, resilver abwarten, dann die andere alte HDD ziehen, resilver abwarten und dann hat der Mirror die neue Kapazität. Zumindest wenn man mit der verringerten Redundanz leben kann. Ansonsten ja, zweiten Pool erstellen und die Daten migrieren.

Okay langsam hast du mich von Truenas weg

Ich will dich nicht zwingend von TrueNAS Scale weg (das meinst du doch, oder?^^) aber du bzw. dieser Thread ist ein schönes Beispiel für den Spruch: Wer als Werkzeug nur einen Hammer kennt, für den sieht jedes Problem wie ein Nagel aus.

Du gehst da völlig falsch an die Auswahl heran. Formuliere alle deine Anforderungen und Kriterien und dann kann man gucken wie man diese sinnvoll umsetzen kann.

Aber was bleibt mir für eine "einfache" Alternative ?

Das habe ich dir bereits in #9 am Ende erklärt.

Proxmox -> soll noch komplizierter als TrueNas sein -> fällt also auch raus

Hätte sollte würde könnte. Zum einen vielleicht nicht alles glauben, was im Internet steht und zum anderen sind das Äpfel und Birnen. Die genannten Systeme/Lösungen haben andere Schwerpunkte und Zielsetzungen.
Du willst dir doch auch kein Fahrzeug kaufen und vergleichst einen ID.Buzz, Tesla 3 und einen Uno Move nur weil alle drei einen Elektromotor (dein ZFS Wunsch) haben...

Habe ich mich falsch ausgedrückt, es gibt Docker compose ->Link

Habe ich gelesen und verstanden aber die Konsequenzen und Schlussfolgerungen hast du nicht verstanden. Du kannst auf diese Art und Weise zwar Portainer zum laufen bekommen aber wie willst du dann deine bisherigen Docker Compose Projekte starten? Diese Art der Portainer-Installation kann keine weiteren docker-compose Setups starten/verwalten, lediglich sich selbst oder den k8s unter Scale. Warum das aber keine gute Idee ist, findest du am Ende von #11 in dem Link.
Du hättest zwar dein Portainer aber hast nix gewonnen weil du technisch damit nicht in der Lage wärest, den Rest, so wie du es gewohnt bist, ans laufen zu bekommen.

Okay was machen wir da jetzt ?
Trotzdem auf Truenas setzen und Docker in einer VM fahren ?

Zwei Dinge machen wir ab jetzt mindestens:
1. Korrekte Bezeichnungen verwenden. TrueNAS Core oder TrueNAS Scale? Ich glaube ich weiß was du meinst aber glaube kann man sich für die Kirche aufheben und auf diese Art von Vermutungen und Spekulationen beruhen Missverständnisse, die sehr leicht zu verhindern sind durch korrekte Benennung von Dingen und Themen über die man spricht bzw. schreibt.
2. Wenn du Appliances verwenden willst, dann halte dich an die Spielregeln und Grenzen solcher Systeme und frickel nicht drum herum. Das führt zu Problemen, die du nicht mal eben so einfach selbst lösen kannst. Akzeptiere diese Limitierungen oder nutze ein System mit mehr Freiheiten, dass dich dann aber eben weniger an die Hand nimmt.

TrueNAS Core oder Scale und da drauf dann eine VM. In der VM installierst ein Linux deiner Wahl sowie Docker. Die VM musst du halt regelmäßig sichern für eventuelle Fehlersituationen.
Aufgrund der integrierten Hypervisoren würde ich eher zu Scale raten in deinem Fall.

 

[Paddy0293]

ich will dich nicht zwingend von TrueNAS Scale weg (das meinst du doch, oder?^^) aber du bzw. dieser Thread ist ein schönes Beispiel für den Spruch: Wer als Werkzeug nur einen Hammer kennt, für den sieht jedes Problem wie ein Nagel aus.

Ja das meine ich versuche mich jetzt klarer auszudrücken ob ich Scale oder Core meine

Du gehst da völlig falsch an die Auswahl heran. Formuliere alle deine Anforderungen und Kriterien und dann kann man gucken wie man diese sinnvoll umsetzen kann.

Okay gerne
Aktuell auf meinen OMV NAS benötige ich folgende Sachen, die ich auch gerne mit ins nächste NAS übersiedeln möchte:

• rclone
• Docker
• sheduld tasks
• SMB Zugriff

Dinge die ich mir von meinem neuen Nas wünsche

• Snapshots
• Cow
• Checksum Prüfung
• opensense

Habe ich gelesen und verstanden aber die Konsequenzen und Schlussfolgerungen hast du nicht verstanden. Du kannst auf diese Art und Weise zwar Portainer zum laufen bekommen aber wie willst du dann deine bisherigen Docker Compose Projekte starten?

Also auf der Vm die ich zum spielen erstellt hatte, hat es mit TrueNas Scale funktioniert ? Habe spaßigshalber mal meine ganzen Container in den Truenas Scale VM rüber transformiert und diese liefen anstandslos.
Aber das Thema hatten wir ja schon, dass man es nicht machen sollte, also mach ich es über die VM außer wir finden beide ein andere Distribution Oder verstehe ich dich da falsch ?

Zwei Dinge machen wir ab jetzt mindestens:
1. Korrekte Bezeichnungen verwenden. TrueNAS Core oder TrueNAS Scale?

Denk ich, klappt ab diesem Thread dann ganz gut :=)

 

[snaxilian]

versuche mich jetzt klarer auszudrücken [...] Denk ich, klappt ab diesem Thread dann ganz gut

opensense

https://www.opensense.com/ Was haben Tools für Mailsignaturen, Spam und Analyse mit einem NAS zu tun?^^
"Der TE hat sich stets bemüht" würde im Arbeitszeugnis stehen...

Docker: Weder Core noch Scale bieten Docker. Willst du dies, entweder ein separates System dafür nehmen oder auf Core oder Scale mit dem vorhandenen Hypervisor eine VM erstellen, dort $Linux installieren, Docker installieren und verwenden.

Alle anderen Anforderungen sind nativ bei TrueNAS Core und Scale vorhanden. Rclone nennt sich da "Cloud Sync Task", ggf. bist du in der Auswahl der Anbieter eingeschränkt, hier hilft ein Blick in die Doku

Also auf der Vm die ich zum spielen erstellt hatte, hat es mit TrueNas Scale funktioniert ? Habe spaßigshalber mal meine ganzen Container in den Truenas Scale VM rüber transformiert und diese liefen anstandslos.

Du hast in Scale die "Docker Compose" App von TrueCharts installiert und konntest dann weitere einzelne Container mittels Portainer starten? Ja, das mag gehen und wenn du nur lauter einzelne Container hast, dann wäre auch das eine Möglichkeit. Aber so wie ich die Fehlermeldungen lese, kann man dann aus Portainer heraus keine weiteren docker-compose Setups starten. Wenn du nur single-container-Anwendungen hast, mag das ein Kompromiss sein. Kann funktionieren aber ich würde es nicht machen sondern Docker in eine eigene VM stopfen. Es erleichtert einfach die Fehlersuche wenn etwas nicht funktioniert.

Bedenke: TrueNAS Core basiert auf FreeBSD, wird nicht mal eben auf beliebiger Consumer-Frickel-Gaminghardware laufen, Scale auf Debian-Basis dürfte da kompatibler sein.

 

[Paddy0293]

https://www.opensense.com/ Was haben Tools für Mailsignaturen, Spam und Analyse mit einem NAS zu tun?^^

Sorry pfsense

Alle anderen Anforderungen sind nativ bei TrueNAS Core und Scale vorhanden. Rclone nennt sich da "Cloud Sync Task", ggf. bist du in der Auswahl der Anbieter eingeschränkt, hier hilft ein Blick in die Doku

Nee muss unbedingt rclone sein, da meine Dokumente auch mit rclone verschlüsselt sind, laut Doku läuft es auch mit Linux und FreeBSD

Du hast in Scale die "Docker Compose" App von TrueCharts installiert und konntest dann weitere einzelne Container mittels Portainer starten?

Jo funktioniert, werde es aber wie besprochen in einer VM betreiben

Bedenke: TrueNAS Core basiert auf FreeBSD, wird nicht mal eben auf beliebiger Consumer-Frickel-Gaminghardware laufen, Scale auf Debian-Basis dürfte da kompatibler sein.

Wird nen Supermicro Board werden, genauere Bezeichnung habe ich gerade nicht im Kopf, weil ich grad unterwegs bin, auf Wunsch kann ich dies aber gerne nachreichen

 

[andy_m4]

ZVOLs/Volumes können als Dateisystem dann ZFS beinhalten aber auch beliebige(?) andere Dateisysteme.

Ja. Im Prinzip können da beliebige Dateisysteme rein.
Wie gesagt. zvols verhalten sich nach außen hin wie ein Blockdevice.

Der @andy_m4 möge mich bitte korrigieren, wenn ich hier groben Unfug schreiben sollte.

Grober Unfug war nicht dabei. :-)

Gerade deshalb würde ich wirklich überlegen ob du nicht eine VM auf TrueNAS Scale laufen lassen willst und in der VM dann Docker und Portainer.

Das ist natürlich etwas von hinten durch die Brust ins Auge.
Ich kenne jetzt TrueNAS nicht, aber TrueNAS Scale basiert ja auf Linux (im Gegensatz zu TrueNAS Core, welches ein FreeBSD-Unterbau hat). Im Prinzip braucht man dann den Umweg über eine VM gar nicht und kann Docker direkt laufen lassen.
Man sollte aber vielleicht gucken, was da der offizielle Weg ist (laut Beitrag #15 gibts keinen). Denn hinbasteln kann man sich zwar prinzipiell Vieles aber wenns dann durch irgendein Upgrade geshreddert wird weil das nicht vorgesehen ist, ists natürlich auch Asche.

Man kann halt nicht mal eben ein Backup to USB machen, also kann man schon aber dann z.B. mit rsync oder vergleichbaren Tools aber nicht mit ZFS Snapshots.

Naja. Im Prinzip geht das schon. Man kann ja ZFS serialisieren (zfs send ...) und quasi den Snapshot als Datei rausschreiben.
Man kann sogar die USB-Platte als ZFS formatieren und dann dort Snapshots gleich wieder "importieren" (zfs receive ...). Insofern kann man sich da mit einfachen Mitteln ein sogar versioniertes Backup bauen.

Man muss allerdings eine Problematik im Blick behalten: Wenn Docker-Container und sonstigen Services noch laufen dann sind evtl. nicht alle Daten auf Platte geschrieben die besser da wären.
Das stellt man sicher, in dem man die Container / Services sauber runter fährt. Dann den Snapshot macht und dann kann man sie auch wieder hochfahren (man hat ja den Snapshot) und den Snapshot kann man dann in Ruhe wegsichern.

Ansonsten wurde ja im Prinzip schon alles gesagt. :-)

 

[snaxilian]

Im Prinzip braucht man dann den Umweg über eine VM gar nicht und kann Docker direkt laufen lassen.

Ja und nein.

Ja, da kann man Docker Container laufen lassen und nein, da läuft kein simpler Docker Daemon drauf sondern Kubernetes, genau genommen sogar nur die abgespeckte Variante k3s. Wenn dann also nur einzelne Container und keine Docker Compose Setups oder muss das eben zu Pods anpassen.
Hinzu kommt, dass es einige Einschränkungen gibt für gehostete Container auf TrueNAS Scale: Container werden nur über die IP vom Hostsystem exposed und der verwendete Port muss >9000 liegen.

Wenn die Erwartungshaltung ist, dass man ein vollwertiges natives Docker Setup mit allen Möglichkeiten hat, dann werden diese Erwartungen nicht erfüllt.

Denn hinbasteln kann man sich zwar prinzipiell Vieles aber wenns dann durch irgendein Upgrade geshreddert wird weil das nicht vorgesehen ist, ists natürlich auch Asche.

This. Gibt halt dann doch einige Schlaumeier, die meinen sie wüssten alles besser, frickeln sich da irgendwas zurecht, feiern sich ggf. noch wenn man Appliance XYZ 'überlistet' hat und jammern dann wenige Monate später wenn ihr Gefrickel nicht mehr läuft weil es halt an vorgesehenen Nutzungsmöglichkeiten solcher Lösungen vorbei implementiert wurde.

Naja. Im Prinzip geht das schon.

Korrekt. Du weißt das und ich weiß das. Wir können aber auch ein FreeBSD oder $Linux so bedienen und brauchen nicht zwingend irgendwelche vorgefertigten Appliance-Lösungen.

Der Kern meiner Aussage war eher in die Richtung: Mit TrueNAS Core als auch Scale ist kein Backup to USB vorgesehen oder implementiert. Will man das aber trotzdem haben, dann muss man das alles selbst umsetzen und so unterbringen, dass es nicht beim nächsten Update zerbricht.
Also die USB Disk mounten, gucken ob ein ZFS Pool dort existiert, falls nein anlegen und falls ja mounten/importieren, gucken welche Snapshots da liegen, alte aus Retention gefallene Snapshots löschen und dann neue Snapshots dorthin versenden.
Ich stelle mal die These auf: Ein sehr großer Teil der TrueNAS Anwender können dies nicht unbedingt.

pfsense

puh... Bin kein Freund virtualisierter Firewalls. Muss man halt deutlich genauer aufpassen, wie man die NICs konfiguriert damit man nicht mehr einreißt als man eigentlich absichern will.

muss unbedingt rclone sein

Wie gesagt: Wird afaik mit ausgeliefert aber Zugriff bzw. Konfiguration per WebUI. Bietet auch Encryption. Weniger vermuten, mehr RTFM oder eben probieren ob per WebUI die gleichen Einstellungen gesetzt werden wie beim direkten Aufruf von rclone. Kannst ja testen ob du deine bereits online abgelegten und gesicherten Daten mit deiner Test-VM öffnen/wiederherstellen kannst.

 

[andy_m4]

Korrekt. Du weißt das und ich weiß das. Wir können aber auch ein FreeBSD oder $Linux so bedienen und brauchen nicht zwingend irgendwelche vorgefertigten Appliance-Lösungen.

Genau. Appliances ist was für Weicheier. ;-)

Der Kern meiner Aussage war eher in die Richtung: Mit TrueNAS Core als auch Scale ist kein Backup to USB vorgesehen oder implementiert. Will man das aber trotzdem haben, dann muss man das alles selbst umsetzen und so unterbringen, dass es nicht beim nächsten Update zerbricht

Wobei das ja zumindest nicht ins Setup eingreift, sondern letztlich einfach nur ein Skript ist.
Aber ja. Das bauen erfordert schon ein bisschen Know-How und nach Upgrades sollte man auch gucken, ob alles noch passt (man muss also dran denken).
Insofern hast Du nicht Unrecht. Die Möglichkeiten einwerfen wollte ich aber dennoch. Der entsprechende Anwender kann dann immer noch entscheiden, ob er den Weg wirklich gehen will/kann oder nicht.

 

[snaxilian]

Appliances ist was für Weicheier

Würde ich so nur bedingt unterschreiben
Appliances sind eine gute Möglichkeit auch komplexere Systeme für technisch weniger versierte zur Verfügung zu stellen. Für solche Vereinfachungen muss man dann aber Komplexität vor dem Anwender verstecken und damit dann auch oft theoretisch technische Möglichkeiten. Ist halt immer eine Gradwanderung für wie unbedarft man seine Zielgruppe hält bzw. wie viel Einarbeitung man ihnen zutrauen möchte.
Problematisch wird es halt immer erst dann wenn der Anwender mehr oder andere Features nutzen möchte als vom Hersteller der Appliance vorgesehen ist.
Meiner Erfahrung nach fühlen sich viele vor den Kopf gestoßen wenn man ihnen klar und deutlich sagt: "Geht nicht und wenn du das doch willst dann ist unsere Lösung die falsche für dich."

Ich hab selbst hier ein TrueNAS Core stehen aber ich kenne eben auch dessen Grenzen und akzeptiere diese. Dafür vereinfacht es die Administration bzw. bin ich nicht der einzige Nutzer und so können auch andere Nutzer des Systems damit interagieren, zumindest in dem Rahmen der Möglichkeiten und ihrer Benutzerrechte & -rollen.