Mehrere Dateien Bitweise kopieren und danach Inhaltsverzeichnis beschreiben?

[ulfh10]

Ich entschuldige mich für den Titel, mir viel nur nichts besseres ein.
Ich bin zZ dabei mehrere Daten von einem Server auf meinen Desktop zu bringen, jedoch zieht sich dies einfach ewig.
Die Daten sind zwischen 1KB und 50 MB groß (Linux Paket Repository) aber es sind eben Tausende davon.
Somit braucht das öffnen und schließen einer Datei auf dem Server und auf dem Desktop länger als der eigentliche Download.

Jetzt war meine Frage ob es ein Programm gibt das mir einfach die Bits ein zu eins rüber kopiert und später dann eben das Inhaltsverzeichnis nachfügt das sagt von Sektor A bis Sektor B ist Datei X Größe Y [evtl. Zugriffsbeschränkungen] und das eben für alle.

Würde so etwas überhaupt gehen?
Wenn ja, auch bei Flash speicher basierten Systemen?


Bei Bittorrent läuft es doch meines Wissens so, dass das Inhaltsverzeichnis vorgereicht wird und die Daten dann als feste Chunks nachkommen. Oder liege ich hier falsch?
Also gibt es doch sicher auch eine Möglichkeit dies ohne .torrent Datei, Tracker und Torrentsoftware umzusetzen ?


PS: es handelt sich um ein öffentliches Ubuntu repo, welches ich eben auf Festplatte schreiben möchte da der Betroffene PC keine Netzwerkverbindung hat und auch keine bekommen kann, aus Hardware gründen


Gruß und Danke schonmal

 

[John Reese]

Wenn du sagst, öffentliches Ubuntu Repository, dann meinst du, ein entferntes Repository, also nicht lokal?

Sonst könntest du nämlich den Ordner einfach packen und das gepackte Archiv verschicken.

 

[ulfh10]

Ein "normales" im Internet das nicht von mir betrieben wird, ich also auch kein Archiv daraus machen kann

 

[blablub1212]

Wie synchronisierst du denn das Repository? Ich habe gerade mal das Script ausprobiert, dass man im Arch Wiki findet (https://wiki.archlinux.de/title/Eigenen_Mirror_erstellen) und damit werden meine 100Mbit fast komplett ausgelastet.

 

[Piktogramm]

Downloadmanager verwenden, der mehrere Verbindungen nutzt um die Downloads zu bewältigen und gegebenenfalls in der Lage ist eine entsprechende Downloadgallerie zu erstellen. Typischerweise wird HTTP(s) und FTP dir nur erlauben Dateien einzeln anzusprechen und nicht ganze Speicheradressen auszulesen.

 

[HominiLupus]

rsync

 

[ulfh10]

aktuell via rsync, meine Leitung ist auch gut ausgelastet, sobald aber ein haufen klein Vieh kommt geht mein download in den keller.

Ergänzung (8. Januar 2017)

@Piktogramm wundervoll, kannst du mir dazu einen namen nennen. WHTT geht btw. nur bis 10 Verbindungen.

 

[Hancock]

Hmm, wie gut funktionieren die "offiziellen" Tools für das Herunterladen von einem Repository?
apt-mirror http://www.zyxware.com/articles/265...and-to-create-your-own-ubuntu-repository-dvds

Deine Idee mit torrents ist an sich ganz spannend (man kann HTTP-Seeds hinterlegen, wenn man jetzt eine Torrent-Datei anlegt, die die Verzeichnisstruktur wiederspiegelt und wenn man die Hashes von all den Dateien schon weiß, könnte man so ein Torrent-Downloader dazu bringen, alles runterzuladen), allerdings ist das Programmierarbeit.

 

[ulfh10]

@Hancock, freut mich das ich jmd. angesteckt habe, vieleicht wächst der baum ja und in 2 Jahren gibt es so ein Pro
Meine Programmierkenntnisse belaufen sich nämlich nur auf das nötigste.

Der link gefällt mir, bisher habe ich mit rsync und den filter Funktionen gearbeitet.

 

[Piktogramm]

@ulfh10

Jdownloader kann bis 20. Das sollte aber auch reichen, Der Overhead für einen Verbindungsaufbau ist ja auch beim Server da und so gern gesehen wird es nicht, wenn der Server von Einzelnen zugespammt wird. Vor allem ist es bei Zeiten von DDoS kaum mehr zu unterscheiden.
Daran wird auch jedwede sonstige Lösung scheitern, ab einer gewissen Anzahl an gleichzeitigen Requests wird der Server keine weitere Verbindung mehr akzeptieren.

Schön wäre es natürlich, wenn via HTTP/2 mit einer konsistenten Verbindung alles abwickeln könnte. Da ist mir aber nicht bekannt inwieweit das irgend eine Lösung aus Seiten der Reposerver und Downloadmanager implementiert ist.
Schön wäre auch eine Übertragung über SSH bzw. sonstige Netzwerkfreigaben, die nur einmal die Verbindung aufbauen müssen.

 

[ulfh10]

danke

Nun aber mal wieder BTT,
gibt es da nun Programme außer Torrent?
Die "einmal" eine große lange kette aus 1 und 0en laden und dann später die TOC drüber legen, oder auch vorher.

Ich meine allgemein, nicht nur für diesen Fall.

 

[Piktogramm]

Was du machen willst ist weniger die Frage des Programms als des Protokolls und der Zugriffsrechte. Auf Basis von Protokollen fürs Web fällt mir kein Protokoll ein, welches ein direktes Adressieren von Speicher zulässt. Das wäre schlicht und ergreifend ein riesen Problem in Sachen Sicherheit. Daher gibts nur Highlevelzugriff auf Dateiebene. Was dann wieder dazu führt, dass man ein entsprechend auf Protokollebene optimiert. Bei HTTP 1.1 und FTP wäre das entsprechend viele parallele Verbindungen bis der Server nicht mehr mag oder eben noch besser eine persistente Verbindung via HTTP/2 wo entsprechend die Verbindungsinitialisierung je einzelner Datei wegfällt. Alternativ eben kleine Dateien in ein Archiv packen und so zigtausendfachen Verbindungsaufbau/-abbau auf 1 reduzieren.

Torrent macht das an der Stelle recht ähnlich. Es werden zig Verbindungen aufgebaut (Verteilt auf viele Quellen, daher ist es in der Regel weniger schlimm, wenn man 200 Verbindungen initialisiert) und in der Regel werden viele kleine Dateien innerhalb größerer Chunks zusammengefasst und damit der Selbe erreicht wie das Packen in klassische Archive.

Wenn du einen Server findest der Zugriff via SSH, SMB oder anderen Protokollen die persistente Verbindungen erlauben findest wäre das auch eine Option. Auch da fällt der Overhead des zig Verbindungen weg. Oder eben HTTP/2, aber da müsstest du echt selber suchen ob das die Reposerver mitmachen.