rsync

rsync-sidekick – rsync’s dufter Kumpel

Gastbeitrag von Sven Wick

Wenn es darum geht Daten zu synchronisieren, findet sich auch heute noch das bewährte rsync im Werkzeugkoffer der meisten Admins. Doch bei den Mengen von Daten heutzutage zeigt sich bei rsync das ein oder andere Manko besonders deutlich.

Geänderte Ordnerstruktur

Ändert man z.B. einfach nur die Ordnerstruktur, ist das für rsync nicht direkt ersichtlich
und es wird im schlimmsten Fall erneut komplett alles übertragen. Um dieses Problem zu lösen, gibt es in rsync selbst den --fuzzy Parameter, der jedoch nur bedingt gut funktioniert. Projekte wie casync lösen ähnliche Probleme, können teilweise aber nicht, wie man es von rsync gewohnt ist, benutzt werden.

rsync-sidekick räumt auf

Ansetzen möchte hier das Projekt rsync-sidekick. Das Tool, das vor dem Aufruf von rsync gestartet wird, schaut sich alle Dateien in Quelle und Ziel an und versucht zu ermitteln, welche Dateien und Ordner verschoben oder umbenannt werden müssen, damit der normale rsync-Aufruf danach nur wenig Gerade ziehen bzw. nur Daten, die wirklich fehlen, übertragen muss. Dabei werden Daten nicht direkt verändert, sondern am Ende wird einfach nur ein Shellskript ausgespuckt, das man entweder manuell ausführt oder direkt von rsync-sidekick starten lassen kann. Danach sollte man unbedingt nochmal rsync selbst drüberschlichten lassen, um das ein oder andere Fältchen gerade zu bügeln…

Auf GitHub zu Hause

Um das Vergleichen der Daten zu beschleunigen, wird nicht die komplette Datei, sondern nur einzelne Stellen darin gehashed (das Verfahren ähnelt dem von OpenSubtitles). Um rsync-sidekick zwischen Hosts zu nutzen,
muss man sich derzeit noch mit SSHFS oder ähnlichem behelfen. Das Tool wird auf GitHub entwickelt, wird unter der Apache-2.0 License veröffentlicht und steht in Version 1.22 als Quellcode zum Download bereit.

64449155

Teilt den Beitrag, falls ihr mögt

Vielleicht gefällt Dir auch

5 Kommentare
Newest
Oldest Most Voted
Inline Feedbacks
View all comments