Umzug von Docker zu Kubernetes

[Fusionator]

Wird nen Supermicro Board werden, genauere Bezeichnung habe ich gerade nicht im Kopf, weil ich grad unterwegs bin, auf Wunsch kann ich dies aber gerne nachreichen

Nur mal aus Neugier. Welches schwebt dir da vor?

 

[andy_m4]

@snaxilian

Da hast Du natürlich absolut Recht.

 

[Paddy0293]

@snaxilian und @andy_m4 eventuell könnt ihr ja helfen

Server steht und konnte bis jetzt alles ordentlich einrichten
Habe mich am Ende jetzt dafür entschieden alles auf kubernetes zu bauen.
Ich scheitere bloß jetzt an der Wiederherstellung von vaultwarden.
Vaultwarden lief ja über Docker per sqlite, in Truenas Scale läuft vaultwarden über PostgreSQL, das heißt er kann mit meiner sqlite Datenbank nichts anfangen

Weiß einer von euch wo die PostgreSQL gespeichert wird ?
Oder noch einfacher wie ich vaultwarden auf sqlite in truenas umstellen kann ?

Ich hoffe ihr wisst weiter

 

[andy_m4]

Weiß einer von euch wo die PostgreSQL gespeichert wird ?

Der generelle Unterschied zwischen Sqlite und PostgreSQL (oder vergleichbarer Datenbanken) ist ja, das Sqlite keine laufende Datenbank ist. Die Datenbank ist im wesentlichen eine Datei. Und das Programm das darauf zugreifen will öffnet einfach diese Datei via der Sqlite-Bibliothek.

Bei PostgreSQL hast Du einen Server-Prozess mit dem Du Dich verbindest. Der kann, im Falle von Containern, auch in einem anderen Container laufen (keine Ahnung wie es da bei Dir orgnaisiert ist).

PostgreSQL speichert seine Daten üblicherweise auch in Dateien. Normalerweise ist da eine Umgebungsvariable namens PGDATA definiert. Üblicherweise zeigt die irgendwo hin nach /var/lib/postgresql/
Du kannst auch in der postgresql.conf nachschauen (Eintrag data_directory). Außerdem kann es dem postgres-Prozess als Parameter übergeben werden. Wenn der Prozess läuft, kannst Du da natürlich auch via ps nachschauen.
siehe dazu auch:
https://www.postgresql.org/docs/current/runtime-config-file-locations.html
Wenn Du Dich via psql mit der PostgreSQL-Datenbank verbindest kannst Du den Parameter auch via
show data_directory;
einsehen.

 

[snaxilian]

vaultwarden auf sqlite in truenas umstellen kann ?

Am einfachsten dürfte es sein beim alten Setup alle Credentials und gespeicherten Daten zu exportieren und dann im neuen Setup zu importieren. Also vorausgesetzt, vaultwarden hat solche Funktionen. Falls dem nicht so ist, würde ich mich ernsthaft nach einer Alternative umsehen...

Zu Postgresql wurde das meiste ja bereits gesagt.

Allgemein: Was soll eigentlich diese Unart der Leerzeichen vor Satzzeichen in Foren und dann noch nicht einmal konsequent umgesetzt. Bei Kommata und Punkten wird es ja korrekt gemacht.

 

[Paddy0293]

@andy_m4 und @snaxilian
Das importieren funktioniert, aber ich muss die Database ja dennoch backuppen.
Habe jetzt nach langen das hier gefunden -> Link
Da steht sogar das man den Database Typ ändern kann, muss jetzt nur noch herausfinden wo ich die Datei finde.

 

[snaxilian]

Im besten Fall: Die erzeugten Pods werden ja ein oder mehrere Volumes haben. Pod pausieren/stoppen, vom persistenten Volume ein Snapshot erstellen und wegkopieren, fertig ist dein Backup.
Sollten die Volumes kein eigenes Dataset oder ZVol sein dann halt nur den Pfad weg kopieren und irgendwie ggf. versionieren.

 

[Paddy0293]

@snaxilian und @andy_m4 vielleicht könnt ihr ja nochmal helfen

Die Platten sind ja allesamt sehr neu, deshalb halte ich diese akribisch im Auge.
Bei meiner APPS SSD ist mir folgender Error aufgefallen -->
SMART Error Log Version: 1
Invalid Error Log index = 0x07 (T13/1321D rev 1c Section 8.41.6.8.2.2 gives valid range from 1 to 5)

Könnt ihr mir sagen was es bedeutet ?

Hier mal der gesamte Auszug des Logs

smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.10.142+truenas] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Crucial/Micron Client SSDs
Device Model:     CT250MX500SSD1
Serial Number:    2235E65C71F5
LU WWN Device Id: 5 00a075 1e65c71f5
Firmware Version: M3CR045
User Capacity:    250,059,350,016 bytes [250 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Oct 17 00:30:34 2022 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                                        was completed without error.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  30) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.
SCT capabilities:              (0x0031) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   000    Pre-fail  Always       -       0
  5 Reallocate_NAND_Blk_Cnt 0x0032   100   100   010    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       234
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       2
171 Program_Fail_Count      0x0032   100   100   000    Old_age   Always       -       0
172 Erase_Fail_Count        0x0032   100   100   000    Old_age   Always       -       0
173 Ave_Block-Erase_Count   0x0032   100   100   000    Old_age   Always       -       5
174 Unexpect_Power_Loss_Ct  0x0032   100   100   000    Old_age   Always       -       0
180 Unused_Reserve_NAND_Blk 0x0033   000   000   000    Pre-fail  Always       -       36
183 SATA_Interfac_Downshift 0x0032   100   100   000    Old_age   Always       -       0
184 Error_Correction_Count  0x0032   100   100   000    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0022   074   063   000    Old_age   Always       -       26 (Min/Max 0/37)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_ECC_Cnt 0x0032   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   100   100   000    Old_age   Always       -       0
202 Percent_Lifetime_Remain 0x0030   100   100   001    Old_age   Offline      -       0
206 Write_Error_Rate        0x000e   100   100   000    Old_age   Always       -       0
210 Success_RAIN_Recov_Cnt  0x0032   100   100   000    Old_age   Always       -       0
246 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       600647328
247 Host_Program_Page_Count 0x0032   100   100   000    Old_age   Always       -       5851154
248 FTL_Program_Page_Count  0x0032   100   100   000    Old_age   Always       -       5402648

SMART Error Log Version: 1
Invalid Error Log index = 0x07 (T13/1321D rev 1c Section 8.41.6.8.2.2 gives valid range from 1 to 5)

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%       234         -
# 2  Short offline       Completed without error       00%       233         -
# 3  Short offline       Completed without error       00%       209         -
# 4  Extended offline    Completed without error       00%       190         -
# 5  Short offline       Completed without error       00%        64         -
# 6  Short offline       Completed without error       00%        40         -
# 7  Short offline       Completed without error       00%        37         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

 

[andy_m4]

Könnt ihr mir sagen was es bedeutet ?

Gute Frage. Es ist ja kein S.M.A.R.T.-Fehler ansich wo dann irgendeiner der Werte außerhalb des Normbereiches liegt. Viel mehr klingt es so, als ob das interne Error-Logging der SSD ein Problem hat.
Wenn im Error-Log Einträge sind, dann sollte er die eigentlich ausgeben (ich nehme jetzt mal an, das irgendwie smartctl -a ... aufgerufen wurde).
Der hat insgesamt 5 Einträge aber irgendwie wird versucht auf den siebenten zuzugreifen, was eigentlich nicht passieren dürfte. Könnte evtl. darauf hindeuten das da ein paar Fehler aufgelaufen sind (normal dürften dort keine stehen wenn alles in Ordnung sind) und zwar sogar mehr als 5. Aber das ist alles Spekulation. Ich hatte einen solchen Fall noch nie.
Möglicherweise ist auch ganz banal die Firmware fehlerhaft. Leider schweigen sich die Hersteller gerne mal zu solchen Fehlern aus aber wenn zu der spezifischen SSD ein Firmware-Update angeboten wird, dann könnte das ein Hinweis darauf sein und hilft evtl.

 

[Paddy0293]

@andy_m4
Scheint wirklich nen Firmware Bug zu sein, meine zweite SSD hat jetzt den gleichen Error 😩
Also hoffe ich mal das alles gut ist

 

[snaxilian]

Also hoffe ich mal das alles gut ist

Ach ja das Prinzip Hoffnung oder auch: Wenn ich die Augen verschließe, sehe ich das Problem nicht mehr. Funktioniert so lange, bis sich das Problem weiter vergrößert denn kleiner wird es dadurch nicht...

Ich würde hier auch mindestens prüfen ob es neue Firmware gibt.

 

[Paddy0293]

Ich würde hier auch mindestens prüfen ob es neue Firmware gibt.

Schon geprüft, ist leider die aktuellste
Habe mich aber noch ein wenig belesen und dieses Problem haben wahnsinnig viele mit einer MX500

Meine größere Sorge ist, was man leider auch nicht beheben kann, das die Apps SSD permanent mit 292.64 KiB in der Sekunde schreibt. Habe auch schon den System Dataset verschoben bzw mal alle Apps ausgeschalten, ändert sich nur geringfügig.
Gibt zwar nen Workaround dazu, aber der behebt das Problem nicht wirklich.

Hier Mal nen Link zu dem Problem ->Link
Am Ende soll bei manchen mehr RAM geholfen haben ?

 

[snaxilian]

Meine größere Sorge ist, was man leider auch nicht beheben kann, das die Apps SSD permanent mit 292.64 KiB in der Sekunde schreibt.

Ja und wo ist da jetzt das Problem wenn eine SSD so genutzt wird, wie vorgesehen? Glaubst du etwa, du würdest der SSD durch Benutzung Schaden zufügen? Betreibst du die SSD außerhalb der Specs?
Letzteres kannst du ja in unter 5 Minuten selbst herausfinden. 300 KiB * 60 * 60 * 24 für KiB/Tag und dann /1024 /1024 um auf GiB/Tag zu kommen. Das kannst dann mit dem Datenblatt vergleichen, was die SSD so an writes per day verträgt.

 

[andy_m4]

Also hoffe ich mal das alles gut ist

Ich würde jetzt das Problem auch nicht als wirklich schwerwiegend einordnen. Schön ist es nicht, aber vermutlich auch nicht wirklich dramatisch.

Meine größere Sorge ist, was man leider auch nicht beheben kann, das die Apps SSD permanent mit 292.64 KiB in der Sekunde schreibt.

Ich würde einfach mal nachgucken, wer da denn schreibt.
Zum Beispiel mit dem Tool iotop (lässt sich bestimmt nachinstallieren falls nicht sogar schon vorhanden).
Oder auch mit lsof einfach mal nach den offenen Dateien gucken. Wobei das vermutlich eher unübersichtlich ist.

 

[Paddy0293]

Zum Beispiel mit dem Tool iotop (lässt sich bestimmt nachinstallieren falls nicht sogar schon vorhanden).

Ist schon drauf
Schaue ich mir demnächst an, aktuell privat bisschen viel um die Ohren