Bash Testen, ob zwei Files genau gleich sind, in POSIX-Shell

[kali-hi]

Gibt es einen einfacheren/schnelleren Weg, um zwei Binärdateien inhaltlich zu vergleichen? Es sollte POSIX-konform bleiben

#!/bin/sh
set -e
mysum1=$(sha256sum file1)
mysum1_short=$(echo "${mysum1}" | cut -c1-32)
mysum2=$(sha256sum file2)
mysum2_short=$(echo "${mysum2}" | cut -c1-32)
if [ "$mysum1_short" = "$mysum2_short" ]; then
    echo "Warning: The files are identical!"
    sleep 10
fi

cmp -s ... funktioniert leider nicht...

 

[kieleich]

Was funktioniert an cmp nicht?

Was man zusätzlich noch machen könnte wäre zuerst auf die Datei Größe schauen. Dateien die nicht die gleiche Größe haben können nicht gleich sein.

Ansonsten müsste cmp effizienter sein, als shasum da shasum die gesamte datei lesen muss, aber cmp bricht ab, beim ersten Unterschied

es gibt ansonsten mit fdupes, fclones u.a. dedizierte tools dafür

 

[Tornhoof]

Vorher prüfen ob die Datei gleich groß ist

 

[kali-hi]

Was funktioniert an cmp nicht?

ich kann das nicht in der if-Bedingung unterbringen...

 

[a170bi]

chatgpt sagt:
if cmp -s file1.bin file2.bin; then
echo "identical"
else
echo "different"
fi

 

[blablub1212]

#!/bin/sh

if [ "$#" -ne 2 ]; then
  echo "Usage: $0 file1 file2" >&2
  exit 2
fi

if cmp -s "$1" "$2"; then
  echo "true"
  exit 0
else
  echo "false"
  exit 1
fi

so wird es aufgerufen:

./compare.sh file1 file2

Als Ergebnis gibt es ein true oder false, je nachdem ob die Dateien gleich sind oder nicht. (Läuft so unter Ubuntu 24.04)

 

[Krik]

@kali-hi
Das ist bestimmt nur ein Syntaxfehler. Beispielsweise klappt das hier bei mir:

#!/bin/bash

if [ $(cmp -s test1.txt test2.txt) ]; then
    echo "Die Dateien sind gleich."
else
    echo "Die Dateien sind nicht gleich."
fi

 

[madmax2010]

diff geht auch

 

[kali-hi]

if cmp -s file1.bin file2.bin; then

ja gut, ich bin nicht darauf gekommen, alles aus der Bedingung zu entfernen... ich teste das mal gerade.

Ergänzung (15. Oktober 2025)

#!/bin/sh
if cmp -s file1 file2; then echo "identical"; else echo "different"; fi

funktioniert ...

Aber das Problem ist noch etwas komplexer. Von file1 habe ich zwecks Logging schon die sha256sum berechnet (diese wird zur Sicherheit samt Dateinamen und Zeitstempel in eine Datei geschrieben). Was wäre dann insgesamt gesehen schneller?

a) Von file2 die sha256sum auch berechnen und vergleichen?
b) Oder cmp -s für beide Files aufrufen und vergleichen?

Es geht um ca. 1 GB file size.

 

[kieleich]

cmp hat nur vorteile, wenn sich die dateien unterscheiden - abbruch beim ersten unterschied

sonst wenn du die shasum hast, auch shasum nehmen. dann muss die erste datei nicht noch einmal, gelesen werden

 

[a170bi]

muss sha256sum nicht auch die ganze Datei lesen?

 

[Termy]

diff geht auch

if diff -q file1 file2; then wäre auch mein erster Ansatz gewesen

 

[a170bi]

diff ist aber nicht Posix conform

 

[kali-hi]

muss sha256sum nicht auch die ganze Datei lesen?

schon, aber hier geht es um 2x sha256sum vs. 1x sha256sum + 1x cmp ..., wobei in 50 % der Fälle die Dateien identisch sind, und ein Overhead aufgrund der relativen großen file sizes vernachlässigbar ist.

 

[madmax2010]

diff ist aber nicht Posix conform

Jein
Teile sind es nicht, je nachdem welche flags genutzt werden
Wenn POSIXLY_CORRECT gesetzt ist, ist auch diff output posix konform

 

[Bagbag]

In der Praxis wird die erste Datei wahrscheinlich noch im block cache sein? Dann wird cmp im Schnitt wohl schneller sein.

 

[kali-hi]

Vergleicht cmp vorweg auch die Dateigrößen - oder muss man das selbst machen?

 

[a170bi]

cmp prüft vorher nicht auf Dateigröße.

 

[Bagbag]

Doch. Wenn cmp keine Ausgabe geben muss, wo die Dateien sich unterscheiden, prüft es auf Dateigröße und liest die Dateien nicht ein. Also einfach --silent nutzen.

 

[kali-hi]

Alles klar, dann mache ich noch ein paar Zeitmessungen, also Benchmarks