Discussion:Les sauvegardes - Historique des versions

Oudoubah (phorum) le 8 septembre 2006 à 18:02

2006-09-08T18:02:48Z

← Version précédente		Version du 8 septembre 2006 à 18:02
Ligne 3 :		Ligne 3 :

	re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net, et j'ai sur le serveur les n derniers backups. Tu peux copier/coller ça :		re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net, et j'ai sur le serveur les n derniers backups. Tu peux copier/coller ça :

			Je pense boucler tar ce soir (il ne reste que la restorre). Ensuite, je vais commencer par donner les options de rsync les plus communes (on ne va pas refaire le man), et reprendre ce que tu as écrit.

	====Sauvegardes incrémentales avec rsync====		====Sauvegardes incrémentales avec rsync====
Ligne 22 :		Ligne 24 :
	</code>		</code>

	Ce ~~scrript~~ fait un backup vers le répertoire <code>backup/current</code> du serveur (nommé <code>mon.serveur.net</code>) ; à la fin, il copie un fichier (vide) <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.		Ce script fait un backup vers le répertoire <code>backup/current</code> du serveur (nommé <code>mon.serveur.net</code>) ; à la fin, il copie un fichier (vide) <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.

	PS : voici un exemple de fichier <code>excludes</code>		PS : voici un exemple de fichier <code>excludes</code>

LeaJice le 7 septembre 2006 à 17:39

2006-09-07T17:39:37Z

@@ Ligne 2 : / Ligne 2 : @@
     Pas du tout dans le sens où les seules distribs que j'ai sous la main sont Arch et Debian. Par contre, je vais regarder un peu ce qui se fait avec des interfaces graphiques. [[Utilisateur:oudoubah|oudoubah]] 7 sep 2006 19h30
-re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>
+re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net, et j'ai sur le serveur les n derniers backups. Tu peux copier/coller ça :
 Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les  midi) :
 <code>#!/bin/sh

Oudoubah (phorum) le 7 septembre 2006 à 17:38

2006-09-07T17:38:46Z

← Version précédente		Version du 7 septembre 2006 à 17:38
Ligne 1 :		Ligne 1 :
	salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)		salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)
			Pas du tout dans le sens où les seules distribs que j'ai sous la main sont Arch et Debian. Par contre, je vais regarder un peu ce qui se fait avec des interfaces graphiques. [[Utilisateur:oudoubah\|oudoubah]] 7 sep 2006 19h30

	re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>		re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>
Ligne 36 :		Ligne 37 :
	En utilisant le <code>cp</code> avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).<br>		En utilisant le <code>cp</code> avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).<br>
	Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.<br>		Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.<br>

	A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans <code>~/backup/current/repertoire/fichier</code> et la version précédente qui a été copiée par le script ci-dessus dans <code>~/backup/<la date du dernier backup>/repertoire/fichier</code>.		A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans <code>~/backup/current/repertoire/fichier</code> et la version précédente qui a été copiée par le script ci-dessus dans <code>~/backup/<la date du dernier backup>/repertoire/fichier</code>.

Fred (phorum) : /* en utilisant xdeltas */

2006-09-06T18:52:59Z

en utilisant xdeltas

← Version précédente		Version du 6 septembre 2006 à 18:52
Ligne 137 :		Ligne 137 :

	C'est quoi xdeltas ? [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 20:08 (CEST)		C'est quoi xdeltas ? [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 20:08 (CEST)

			C'est l'équivalent de diff mais fonctionne aussi pour des fichiers binaires (et ça gère nativement le gzip pour faire le ''xdelta'' - aka: ''diff'')

LeaJice : /* en utilisant xdeltas */

2006-09-06T18:08:57Z

en utilisant xdeltas

← Version précédente		Version du 6 septembre 2006 à 18:08
Ligne 135 :		Ligne 135 :
	le script doit être lancé dans le répertoire où doivent se retrouver les backups et les backups doivent être en .bz2 ou .gz.		le script doit être lancé dans le répertoire où doivent se retrouver les backups et les backups doivent être en .bz2 ou .gz.
	à chaque nouvel appel du script un répertoire est créé, et le dernier contient une version complète, les précédants des xdeltas entre la version n et la n+1		à chaque nouvel appel du script un répertoire est créé, et le dernier contient une version complète, les précédants des xdeltas entre la version n et la n+1

			C'est quoi xdeltas ? [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 20:08 (CEST)

Fred : en utilisant xdeltas

2006-09-06T11:25:44Z

en utilisant xdeltas

← Version précédente		Version du 6 septembre 2006 à 11:25
Ligne 67 :		Ligne 67 :
	<br>		<br>
	Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 11:48 (CEST)		Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 11:48 (CEST)

			== en utilisant xdeltas ==

			Sur Léa j'utilise un script du style :
			<code>#!/bin/sh
			FICHIERS="user@serveur:/path/to/backup-mysql.tar.bz2 user@serveur:/path/to/backup-www.tar.gz"


			if [ ! "$1" = "--skip-download" ] ; then

			rm -f bz2 gz
			scp ${FICHIERS} .

			DATE=$(date +"%Y%m%d")

			mkdir ${DATE}
			mv bz2 gz ${DATE}/

			cd ${DATE}
			for file in *bz2 ; do
			echo -n "bunziping ${file} "
			nice -n 19 bunzip2 ${file}
			echo " [ok]"
			echo -n "gziping ${file%%.bz2} "
			nice -n 19 gzip ${file%%.bz2}
			echo " [ok]"
			done
			cd ..

			fi

			DSTDIR=$(ls -dp * \| grep -E "/\$" \| sort \| uniq \| tail -n 2\|head -n 1)
			SRCDIR=$(ls -dp * \| grep -E "/\$" \| sort \| uniq \| tail -n 1)

			echo "SOURCE DIR : ${SRCDIR}"
			echo "DESTINATION DIR : ${DSTDIR}"

			if [ -f ${DSTDIR}deltas ] ; then
			source ${DSTDIR}deltas
			DELTAS=$((DELTAS+1))
			else
			DELTAS=1
			fi

			if [ $DELTAS -gt 9 ] ; then
			echo "Vous avez créé 10 deltas de suite, par sécurité je ne créee pas de deltas cette fois"
			exit 0
			else
			echo "C'est votre delta n°${DELTAS}/10"
			fi

			echo "DELTAS=${DELTAS}" > ${SRCDIR}deltas

			cd ${SRCDIR}
			for file in *.gz ; do
			if [ -f ../${DSTDIR}${file} ] ; then
			echo -n "Création du delta : ../${DSTDIR}${file}.delta "
			nice -n 19 xdelta delta ${file} ../${DSTDIR}${file} ../${DSTDIR}${file}.delta
			echo "[ok]"
			echo -n "J'efface : ../${DSTDIR}${file} "
			rm ../${DSTDIR}${file}
			echo "[ok]"
			fi
			done
			cd ..
			</code>
			le script doit être lancé dans le répertoire où doivent se retrouver les backups et les backups doivent être en .bz2 ou .gz.
			à chaque nouvel appel du script un répertoire est créé, et le dernier contient une version complète, les précédants des xdeltas entre la version n et la n+1

LeaJice le 6 septembre 2006 à 10:12

2006-09-06T10:12:19Z

@@ Ligne 1 : / Ligne 1 : @@
 salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice|LeaJice]] 5 sep 2006 à 20:40 (CEST)
-re. Tu pourrais ajouter dans ton § rsync un truc sur les sauvegardes incrémentales. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>
+re. Tu pourrais ajouter dans ton § rsync un truc sur les ''sauvegardes incrémentales''. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>
 Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les  midi) :
 <code>#!/bin/sh
@@ Ligne 35 : / Ligne 35 : @@
 Si le backup a été fait (présence du fichier <code>backup_done</code>, il effectue une rotation des backups.<br>
 En utilisant le <code>cp</code> avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).<br>
-Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera temporairement un nom différent. Ainsi, il ne va pas écraser le fichier hardlinké. A la fin de la copie du fichier, Rsync renomme le fichier temporaire vers son nom normal. A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans <code>~/backup/current/repertoire/fichier</code> et la version précédente qui a été copiée par le script ci-dessus dans <code>~/backup/'(la date du dernier backup)'/repertoire/fichier</code>.<br>
+Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.<br>
 Ainsi j'ai toujours les backup des 8 (réglable par la variable <code>KEEP</code> ci-dessus) derniers jours disponible. Je peux retrouver les dernières versions d'un fichier en cas de problème.
 <br>
 Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice|LeaJice]] 6 sep 2006 à 11:48 (CEST)

LeaJice le 6 septembre 2006 à 10:00

2006-09-06T10:00:21Z

← Version précédente		Version du 6 septembre 2006 à 10:00
Ligne 1 :		Ligne 1 :
	salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)		salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)

	re. je fais un backup régulier sur un serveur sur le net.		re. Tu pourrais ajouter dans ton § rsync un truc sur les sauvegardes incrémentales. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire <code>current</code> ; à la fin, il copie un fichier <code>backup_done</code> à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.<br>
	~~dans ma~~ crontab, j'ai un rsync bien configuré, et à la fin, il copie un fichier <code>backup_done</code> sur le serveur.<br>		Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les midi) :
	Côté serveur, j'ai ce script qui fait une rotation des backups :
	<code>#!/bin/sh		<code>#!/bin/sh

Ligne 33 :		Ligne 32 :
	# on fait le rsync ensuite		# on fait le rsync ensuite
	fi</code>		fi</code>
	~~ainsi~~, en utilisant le <code>cp</code> avec les ~~hardlinks~~, la ~~prochaine synchro rsync~~ n'~~enverra~~ que ~~les fichiers modifiés, et la version copiée contiendra les fichiers~~ de la ~~veille~~. ~~Les fichiers n~~'~~ayant pas changé restent~~ un ~~lien (donc~~ pas de ~~place en trop consommée)~~, ~~alors que les fichiers~~ qui ~~ont changé deviennent des fichiers différents. On~~ a ~~alors une sauvegarde incrémentale~~ (i.~~e. on a~~ la ~~situation des x~~ derniers ~~backups)~~.<br>
			Si le backup a été fait (présence du fichier <code>backup_done</code>, il effectue une rotation des backups.<br>
			En utilisant le <code>cp</code> avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).<br>
			Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera temporairement un nom différent. Ainsi, il ne va pas écraser le fichier hardlinké. A la fin de la copie du fichier, Rsync renomme le fichier temporaire vers son nom normal. A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans <code>~/backup/current/repertoire/fichier</code> et la version précédente qui a été copiée par le script ci-dessus dans <code>~/backup/'(la date du dernier backup)'/repertoire/fichier</code>.<br>
			Ainsi j'ai toujours les backup des 8 (réglable par la variable <code>KEEP</code> ci-dessus) derniers jours disponible. Je peux retrouver les dernières versions d'un fichier en cas de problème.
			<br>
	Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 11:48 (CEST)		Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 11:48 (CEST)

LeaJice le 6 septembre 2006 à 09:48

2006-09-06T09:48:09Z

← Version précédente		Version du 6 septembre 2006 à 09:48
Ligne 1 :		Ligne 1 :
	salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)		salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice\|LeaJice]] 5 sep 2006 à 20:40 (CEST)

			re. je fais un backup régulier sur un serveur sur le net.
			dans ma crontab, j'ai un rsync bien configuré, et à la fin, il copie un fichier <code>backup_done</code> sur le serveur.<br>
			Côté serveur, j'ai ce script qui fait une rotation des backups :
			<code>#!/bin/sh

			if [ -f ~/backup_done ]; then
			KEEP=8
			DIR=~/backup

			# arborescence :
			# ~/backup/2006-04-03
			# ~/backup/2006-04-04
			# ~/backup/2006-04-05
			# ~/backup/current

			# calcule date du jour
			DATE=`date --date=yesterday "+%Y-%m-%d"`

			# crée le répertoire pour les backups du jour
			mkdir $DIR/$DATE

			# supprime les vieux directories
			ls -d $DIR/2* \| sort \| head --lines=-$KEEP \| xargs rm -rf

			# copie (hard links) les données
			cp -al $DIR/current/* $DIR/$DATE

			# supprime le fichier flag
			rm ~/backup_done

			# on fait le rsync ensuite
			fi</code>
			ainsi, en utilisant le <code>cp</code> avec les hardlinks, la prochaine synchro rsync n'enverra que les fichiers modifiés, et la version copiée contiendra les fichiers de la veille. Les fichiers n'ayant pas changé restent un lien (donc pas de place en trop consommée), alors que les fichiers qui ont changé deviennent des fichiers différents. On a alors une sauvegarde incrémentale (i.e. on a la situation des x derniers backups).<br>
			Si tu veux, tu peux reprendre ça dans ton article. [[Utilisateur:LeaJice\|LeaJice]] 6 sep 2006 à 11:48 (CEST)

LeaJice le 5 septembre 2006 à 18:40

2006-09-05T18:40:51Z

Nouvelle page

salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? [[Utilisateur:LeaJice|LeaJice]] 5 sep 2006 à 20:40 (CEST)

Discussion:Les sauvegardes - Historique des versions

Oudoubah (phorum) le 8 septembre 2006 à 18:02

LeaJice le 7 septembre 2006 à 17:39

Oudoubah (phorum) le 7 septembre 2006 à 17:38

Fred (phorum) : /* en utilisant xdeltas */

LeaJice : /* en utilisant xdeltas */

Fred : en utilisant xdeltas

LeaJice le 6 septembre 2006 à 10:12

LeaJice le 6 septembre 2006 à 10:00

LeaJice le 6 septembre 2006 à 09:48

LeaJice le 5 septembre 2006 à 18:40

Fred (phorum) : /* en utilisant xdeltas */

LeaJice : /* en utilisant xdeltas */

Fred : en utilisant xdeltas