Datensicherung

ZDV erwirbt neue Tape Library zur Datenspeicherung an der Universität

Seit Mitte Dezember steht an der JGU ein neues System zur Datenspeicherung und -archivierung zur Verfügung. Die Diamondback Tape Library von IBM ersetzt nach über 20 Jahren Betrieb den Vorgänger. Mit der Einstellung des Supports für die alte Tape Library TS3500 zum Ende letzten Jahres hat das ZDV mit der Diamondback eine Alternative gefunden.

Eine Tape Library ist ein System, mit dem Daten automatisiert auf Magnetbändern (Tapes) gespeichert und wieder abgerufen werden können. Auf den Bändern liegen die Backups und Archive der Universität. Mit der neuen Diamondback Tape Library steht dem ZDV deutlich mehr Speicherplatz zur Verfügung: Auf 1.584 Bändern bietet das System eine Kapazität von bis zu 28,5 Petabyte. Auch der Platzbedarf ist deutlich geringer: Während die alte bis zu sechs Quadratmeter Fläche beanspruchte, benötigt die neue Tape Library weniger als einen Quadratmeter, da sie in einem Standard 19-Zoll-Gehäuse untergebracht ist.

Der Standort für das neue System ist gleichgeblieben. Es wurde wieder im Forum universitatis aufgestellt, konfiguriert und in Betrieb genommen. Damit sind die Daten auch bei einem Ausfall des Hauptserverraums sicher und jederzeit verfügbar.

 

Die in Mainz installierte Diamondback ist die erste ihrer Art in Deutschland. Sie bietet Langzeitdatenspeicherung mit hoher Speicherkapazität unter der Verwendung eines Air-Gap.

Air-Gap ist ein Sicherheitskonzept, bei dem IT-Systeme räumlich getrennt voneinander aufgestellt werden. Die Systeme sind weder mit dem Internet noch mit anderen IT-Systemen verbunden. Die Übertragung von Daten zwischen diesen räumlich getrennten Systemen ist immer nur in eine Richtung über Datenträger (Tapes/Bänder) möglich. Für die Aufbewahrung gibt es zwei Möglichkeiten: 1. Die Datenkopien werden innerhalb der Library in einem geschützten Bereich abgelegt. 2. Die Datenträger werden zu Fuß in ein anderes Gebäude gebracht, in dem kein direkter Zugriff auf die Daten möglich ist.

An der JGU wird Variante 1 praktiziert. So bietet die Diamondback Tape Library einen hohen Sicherheitsstandard für die Daten aus Forschung und Lehre an der Universität.



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

Burp Backup

Burp ist eine Software zur netzwerk-basierten Datensicherung und -wiederherstellung. Die Software bietet - genau wie Tivoli - eine Möglichkeit, Sicherungskopien aller Ihrer lokalen Daten zu erstellen.
Burp ist für Backups mit kleinerem Datenaufkommen, unter 30 GB, gedacht. Wenn Sie ein höheres Datenaufkommen haben und dafür Backups benötigen, benutzen Sie bitte Tivoli.
Backups können nur innerhalb des Uni Netzwerks erstellt werden.

Wenn Sie Burp als Backup-Lösung benutzen wollen, muss für Ihren Computer ein Account angelegt werden. Dafür wird Ihr Rechnername benötigt. Welchen Namen Ihr Rechner hat, können Sie herausfinden, indem Sie im Terminal
hostname -f
eingeben.

Beantragen Sie einen Burp-Zugang bei folgender e-Mail-Adresse:
unix@zdv.uni-mainz.de.
Bitte geben Sie in der e-Mail folgende Informationen an:

  • Ihren Rechnernamen,
  • die zu erwartende Größe des Backup-Speicherplatzes
  • wie häufig sich die Dateien ändern werden

Installation

ZDV Linux

Wenn Sie ein ZDV Linux benutzen, wird die Installation und Konfiguration vom ZDV vorgenommen.

Da die Konfiguration vom ZDV vorgenommen wird, werden Änderungen an der Konfiguration überschrieben. Wenn Sie eine andere als die Standard-Konfiguration benötigen, kontaktieren Sie bitte die Unix Abteilung des ZDV, damit die gewünschten Veränderungen vorgenommen werden können.

Andere Linux-Installationen

Installation
Burp steht in den meisten Linux-Distributionen als Paket zur Verfügung (Debian, Ubuntu, Open Suse, Fedora ...).

Konfiguration
Die Konfigurationsdatei von Burp ist unter /etc/burp/burp.conf gespeichert.

Die folgenden Zeilen müssen geändert werden:

Diese Zeile müssen Sie gegebenenfalls anpassen:

cross_filesystem = [Pfad zur eingehängten Partition oder unverschlüsseltem Ordner]

Der Grund: In der Standardeinstellung überspringt Burp eingehängte Partitionen und Ordner. Eine Ausnahme sind Partitionen, die unter /home eingehängt sind.

Da bei verschlüsselten Ordnern (z.B. Ubuntus Heimatverzeichnis /home, das in der Regel verschlüsselt ist) die entschlüsselten Dateien wie eine Festplatte eingehängt werden, überspringt Burp Ordner mit entschlüsselten Dateien.

Mit der option cross_filesystem werden auch eingehängte Pfade berücksichtigt.

Welche Pfade berücksichtigt und ignoriert werden, wird vom Server vorgegeben. Alle lokalen Änderungen werden dadurch ignoriert.

Automatische Backups
Das Einrichten automatischer Backups ist von Ihrer Linux-Distribution abhängig. Halten Sie sich daher bitte an die Anleitungen, die von Ihrer Distribution bereit gestellt wird.
Damit automatische Backups erstellt werden, muss der Befehl burp -a t in regelmäßigen Abständen ausgeführt werden.

Arbeiten mit Burp

Burp wird über das Terminal gesteuert, alle Befehle müssen mit Root-Rechten ausgeführt werden.

Wenn Sie Burp mit dem Befehl burp aufrufen, wird Ihnen eine Liste mit allen verfügbaren Backups angezeigt. Um eine andere Aktion auszuführen, müssen hinter den burp-Befehl weitere Optionen geschrieben werden.

Eine bestimmte Aktion ausführen

Um Burp mitzuteilen, dass eine bestimmte Aktion ausgeführt werden soll, wird die Option -a (+ um welche Aktion es sich handeln soll) genutzt. Dabei kann immer nur eine Aktion ausgeführt werden.
Als Optionen stehen zur Verfügung:

    • Backup erstellen

burp -a t
Mit diesem Befehl wird beim Server angefragt ob es Zeit für ein automatisches Backup ist, wenn dies der Fall ist wird eine Backup erstellt.

burp -a b
Mit diesem Befehl wird ein Backup manuell gestartet.

    • Dateien anzeigen

burp -a l
Dabei handelt es sich um die Standardaktion, die Burp ausführt, wenn keine Aktion eingeben worden ist.
Um eine ausführlichere Ansicht zu bekommen, nutzen Sie den Befehl.: burp -a L
Ohne weitere Optionen wird eine Liste mit allen Backups angezeigt.

    • Dateien wiederherstellen

burp -a r
Wenn keine weiteren Optionen angegeben sind, werden die Daten aus dem letzten Backup an ihrem ursprünglichen Ort wiederhergestellt, ohne dabei Dateien zu überschrieben.

Aktionen spezifizieren

Burp können neben der Aktion noch weitere Optionen mitgeteilt werden. Diese zusätzlichen Optionen können miteinander kombiniert werden. Dadurch kann man genau spezifizieren, wie Burp eine Aktion ausführen soll.

    • Zugriff auf ein Backup beschränken

burp -b [Backup Nummer]
Ersetzen Sie dabei [Backup Nummer] durch die Nummer des Backups, auf das Sie zugreifen möchten.

    • Bestimmte Dateien anzeigen und wiederherstellen

burp -r [Zeichenfolge]

Jede der Dateien wird in Burp mit ihrem kompletten Pfad dargestellt (mit allen Ordnern).
Beispiel: Eine Datei im Download-Ordner wird mit dem Pfad /home/benutzer/Download/Datei dargestellt.

Wenn Sie eine Zeichenfolge eingeben, wird geschaut, ob diese Zeichenfolge irgendwo in dem Pfad enthalten ist. Wenn dies der Fall ist, wird die Datei angezeigt oder wiederhergestellt.
Beispiel: wenn Sie als Zeichenfolge home eingeben, werden alle Dateien angezeigt, die home im Pfad haben. Dies wird für alle Dateien zutreffen, die Benutzer gespeichert haben, da diese Dateien unter /home/benutzername/... gespeichert werden.
Wenn Sie nur Dateien aus einem bestimmten Ordner anzeigen lassen wollen, geben Sie als Zeichenfolge den Pfad zum Ordner an.

Wenn Sie nur nach einer Datei suchen wollen, ohne dass der Pfad berücksichtigt wird, können Sie ein $ hinter die Zeichenfolge setzen. Damit wird Burp gesagt, dass die Zeichenfolge an letzter Stelle des Pfades stehen soll. Dateiendungen müssen dabei berücksichtigt werden.
Beispiel: Es wird eine Datei mit dem Namen wichtig.txt gesucht. Wenn man als Zeichenfolge nur wichtig$ eingibt, wird die Datei nicht angezeigt, da die der Dateiname auf .txt endet. Daher müsste man in diesem Fall wichtig.txt$ eingeben.

Man kann Burp auch mitteilen, dass die Zeichenfolge am Anfang des Pfades stehen soll. Dazu setzt man ein ^ an den Anfang der Zeichenfolge. Dies kann für das Wiederherstellen von Systemordnern von Bedeutung sein, wenn man verhindern möchte, dass Dateien in anderen Ordnern wiederhergestellt werden.

Wenn Sie bestimmte Dateien wiederherstellen wollen, wird empfohlen, sich die Dateien mit dem Befehl burp -a l -r [Zeichenfolge] anzeigen zu lassen. Verändern Sie die Zeichenfolge, bis nur noch die Dateien angezeigt werden, die Sie wiederherstellen wollen.
Dann ändern Sie nur die Aktion, die Burp zur Wiederherstellung ausführen soll burp -a r -r [Zeichenfolge] Benutzen Sie dabei die gleiche Zeichenfolge, wie beim Anzeigen der Dateien.
So können Sie sicherstellen, dass wirklich nur die Dateien wiederhergestellt werden, die Sie auch benötigen.

  • Dateien in einem anderem Ordner wiederherstellen

Diese Option ist nur möglich, wenn Daten wiederhergestellt werden.
burp -a r -d [Pfad zum Ordner in dem die Daten wiederherstellt werden sollen]
Burp stellt Dateien immer mit ihrem kompletten Pfad wieder her. Das bedeutet, dass in dem ausgewählten Ordner der komplette Pfad zu der wiederhergestellten Datei angelegt wird. Wenn Sie die Datei direkt in dem Ordner wiederherstellen wollen, beschneiden Sie den Pfad beim Wiederherstellen (im nächsten Punkt beschrieben).

  • Pfad beim Wiederherstellen beschneiden

Diese Option ist nur möglich, wenn Daten wiederhergestellt werden.
Burp stellt Dateien mit ihrem kompletten Pfad wieder her. Der Anfang vom Pfad kann jedoch beschnitten werden, so dass nur die Datei oder Unterordner wiederhergestellt werden.
Der Befehl dafür ist
burp -a r -s [Nummer, bis zu welcher Stelle der Pfad abgeschnitten wird].

Beispiel:
Der Pfad der eigentlich wiederhergestellt wird ist:
/home/user/Dokumente/WichtigeUnterlagen/Datei.
Soll jetzt nur die Datei wiederhergestellt werden, muss -s 5 angegeben werden, da sich die Datei an der 5. Stelle befindet.
Soll nur der Ordner Dokumente wiederhergestellt werden, der auch Unterordner beinhaltet, gibt man -s 3 ein, da 'Dokumente' die 3. Stelle im Pfad ist.

  • Vorhandene Dateien überschreiben

Beim Wiederherstellen werden Dateien normalerweise nicht überschrieben.
Um vorhandene Dateien zu überschrieben, wird der Befehl
burp -f benutzt.

Beispiele

    • Eine Datei aus dem letzten Backup an ihrem ursprünglichen Ort wiederherstellen:

burp -a r -r [Zeichenfolge, um nur die Datei auszuwählen]

    • Den Inhalt des Ordners eines speziellen Backups anzeigen:

burp -a l -b [Nummer des Backups] -r [Zeichenfolge, um nur den Ordner anzuzeigen]

    • Eine Datei aus einem speziellen Backup an ihrem ursprünglichen Ort wiederherstellen:

burp -a r -b [Nummer des Backups] -r [Zeichenfolge, um nur die Datei auszuwählen]

    • Eine Datei aus einem speziellen Backup an einem anderen Ort wiederherstellen:

burp -a r -b [Nummer des Backups] -r [Zeichenfolge, um nur die Datei auszuwählen] -d [Pfad zu dem Ordner, in dem die Datei wiederhergestellt werden soll]

    • Eine Datei aus einem speziellen Backup an einem anderen Ort ohne den kompletten Pfad wiederherstellen:

burp -a r -b [Nummer des Backups] -r [Zeichenfolge, um nur die Datei auszwählen] -d [Pfad zu dem Ordner, in dem die Datei wiederhergestellt werden soll] -s [Nummer, an welcher Stelle des Pfades sich die Datei befindet]

Veröffentlicht am

Datensicherung mittels Tivoli Storage Manager (TSM)

Der Tivoli Storage Manager (TSM) ermöglicht es, automatisierte → inkrementelle Backups von Computern durchzuführen oder Dateien zu archivieren.

 

Erklärungen

Backups ermöglichen das Sichern und Wiederherstellen von Dateien, beispielsweise nach einem Plattenfehler oder versehentlichem Löschen von Dateien. Auf dem TSM-Server werden die Dateien von neueren Versionen überschrieben und es wird die vorherige Version, sowie die neuste Version auf dem Server gehalten. Ist die vorherige Version älter als 90 Tage, so wird diese gelöscht.

Wenn der Benutzer auf seinem Computer eine Datei löscht, wird die letzte Version der Datei für 180 Tage aufbewahrt und frühere Versionen gelöscht.

Zu beachten ist: Speichert man eine Datei gleichen Namens im selben Ordner wie die zuvor gelöschte Datei, so wird die gesicherte, letzte Version der gelöschten Datei beim nächsten Backup durch die neue Datei überschrieben.

Es wird empfohlen, Filesysteme täglich zu sichern. Verzeichnisse mit vielen, sich schnell ändernden Dateien (Scratch, tmp,...) sollten vom Backup ausgeschlossen werden. Liegt das letzte Backup eines Filesystems länger als ein Jahr zurück, so wird das Backup vom ZDV gelöscht.

Ein Backup wir für einen Pc eingerichtet und kann daher nur von diesem Computer aus benutzt werden.

Archive ermöglichen das Lagern von Dateien, die aktuell nicht oder nur selten benötigt werden. Dadurch kann man Speicherplatz auf lokalen Datenträgern gewinnen.

Im Falle einer Umstellung des Archivsystems der Universität müssen die Daten aus dem Archiv innerhalb von 3 Monaten nach Benachrichtigung durch den Benutzer aus dem alten Archiv ins neue übertragen werden.

Auf Archive kann von mehreren Computern aus zugegriffen werden. Daher können sie z.B. von einer Arbeitsgruppe geteilt und gemeinsam benutzt werden. Aus diesem Grund muss auch bei jedem Zugriff das Passwort des Archivs neu eingegeben werden.

Einen Zugang Beantragen

Um TSM benutzen zu können, muss Ihr Computer als Node auf dem Server hinzugefügt werden. Ein Zugang kann über die e-Mail Adresse hotline@uni-mainz.de beantragt werden.
Teilen Sie in der e-Mail bitte folgende Informationen mit:

Für die Nutzung des Backups

  • Eine dauerhaft erreichbare e-Mail Adresse
  • Die IP-Adresse ihres Computers
    • Linux
      Wenn Sie Ihre IP nicht kennen, tippen Sie ip addr in Ihr Terminal. Es wird Ihnen eine Liste mit allen Netzwerk Geräten angezeigt. Wählen Sie Ihr Netzwerkgerät: in den meisten Fällen wird es das Gerät sein, dessen Bezeichnung mit „en“ (Kabelgebundene) oder „wn“ (Wi-Fi) beginnt. Ihre IP-Adresse steht hinter dem Eintrag inet.
    • Windows
      Geben sie in ein Terminal den Befehl ipconfig ein. Die benötigte IP- Adresse ist die IPv4 Adresse.
  • FQDN (Fully Qualified Domain Name)
    • Linux:
      Um Ihren FQDN herauszufinden geben sie hostname -f in Ihr Terminal ein.
    • Windows:
      Drücken Sie Windows + Pause. Ein Informationsfenster öffnet sich der FQDN ist der Vollständige Computername.
  • Eine Schätzung, wie viel Speicherplatz Sie benötigen werden.

Für die Nutzung des Archivs

  • Eine dauerhaft erreichbare e-Mail Adresse
  • Für welche Einrichtung das Archive eingerichtet werden soll
  • Wie viel Speicherplatz benötigt wird
  • Wie lange das Archive benötigt wird


Anleitungen für Nicht-Windows-Betriebssysteme finden Sie jeweils unter den betriebssystemspezifischen Sammlungen:

  Mobilgeräte mit Android oder Apple iOS
Rechner mit macOS-Betriebssystem

Rechner mit Unix-Betriebssystem

Veröffentlicht am

Datensicherung

Sicherungskopien von Verzeichnissen

Allgemeine Informationen

Sollten Sie unabsichtlich Dateien in Ihrem Heimatverzeichnis oder auf einer beim ZDV gehosteten Website gelöscht haben, so ist die Wiederherstellung des ursprünglichen Zustands in der Regel kein Problem. Sie können die Dateien aus einem der regelmäßigen 'Snapshots' (Schnappschüsse) unserer Server-Verzeichnisse wiederherstellen.

Snapshots

Alle vier Stunden, also um 0 Uhr, 4 Uhr, 8 Uhr, 12 Uhr, 16 Uhr und 20 Uhr wird der Zustand der Daten in den Heimatverzeichnissen aller Nutzerinnen und Nutzer, sowie in den Webverzeichnissen, in einem Schnappschuss (snapshot) festgehalten. Die letzten sechs dieser Versionen, die letzen sieben aus den beiden vorausgegangen Nächten (jeweils um 24.00 Uhr erzeugt) sowie vier Versionen aus den vier vergangenen Wochen (jeweils Sonntags um Mitternacht erzeugt) werden gespeichert und können von den Nutzerinnen und Nutzern selbst direkt aufgerufen werden. Die einzelnen Sicherungskopien heißen hourly.0 (das aktuellste), hourly.1 usw., sowie nightly.0, nightly.1 ... und weekly.0, weekly.1 ...

Die jeweils acht letzten wöchentlichen Snapshots werden außerdem auf einem zusätzlichen, nicht öffentlich zugänglichen Server vorrätig gehalten. Über diese acht Wochen hinaus gibt es keine Restoremöglichkeiten von Daten mittels Snapshots.

Aufruf unter Windows 10

Klicken Sie mit der rechten Maustaste auf die Datei, deren Snapshots Sie nutzen möchten. Wählen Sie nun den Eintrag ‚Vorgängerversionen wiederherstellen’ und im sich öffnenden kleinen Fenster den Reiter 'Vorgängerversionen':

Hier können Sie die gewünschte Dateiversion anklicken und diese wiederherstellen, indem Sie den Button Wiederherstellen weiter unten anklicken.

TSM-Datensicherung (Tivoli Storage Manager)

Für Rechner, die sich nicht in der Domäne uni-mainz befinden: https://www.zdv.uni-mainz.de/datensicherung-mittels-tivoli-storage-manager-tsm/

Archivierung von Forschungsdaten mit iRODS

Archivierung von Forschungsdaten mit iRODS: technische Grundlagen für das Forschungsdatenmanagement an der JGU.

Speicherung von großen Datenmengen

Wenn Sie zusätzlich größere Dateimengen speichern müssen, können Sie sich → an die ZDV-Hotline wenden.

 



Anleitungen für Nicht-Windows-Betriebssysteme finden Sie jeweils unter den betriebssystemspezifischen Sammlungen:

  Mobilgeräte mit Android oder Apple iOS
Rechner mit macOS-Betriebssystem

Rechner mit Unix-Betriebssystem

Veröffentlicht am