Discussion:Les sauvegardes
salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? LeaJice 5 sep 2006 à 20:40 (CEST)
Pas du tout dans le sens où les seules distribs que j'ai sous la main sont Arch et Debian. Par contre, je vais regarder un peu ce qui se fait avec des interfaces graphiques. oudoubah 7 sep 2006 19h30
re. Tu pourrais ajouter dans ton § rsync un truc sur les sauvegardes incrémentales. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire current
; à la fin, il copie un fichier backup_done
à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.
Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les midi) :
#!/bin/sh
if [ -f ~/backup_done ]; then
KEEP=8
DIR=~/backup
# arborescence :
# ~/backup/2006-04-03
# ~/backup/2006-04-04
# ~/backup/2006-04-05
# ~/backup/current
# calcule date du jour
DATE=`date --date=yesterday "+%Y-%m-%d"`
# crée le répertoire pour les backups du jour
mkdir $DIR/$DATE
# supprime les vieux directories
ls -d $DIR/2* | sort | head --lines=-$KEEP | xargs rm -rf
# copie (hard links) les données
cp -al $DIR/current/* $DIR/$DATE
# supprime le fichier flag
rm ~/backup_done
# on fait le rsync ensuite
fi
Si le backup a été fait (présence du fichier backup_done
, il effectue une rotation des backups.
En utilisant le cp
avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).
Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.
A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans ~/backup/current/repertoire/fichier
et la version précédente qui a été copiée par le script ci-dessus dans ~/backup/<la date du dernier backup>/repertoire/fichier
.
Plus d'explications :
- on a deux fichiers
current/toto
ethier/toto
qui pointent vers le même contenu. Ces 2 fichiers (ou plus) on été obtenus suite au script de rotation, par la copie avec hardlinks. On a donc :
current/toto --> contenu <-- hier/toto
\
'--------- avant-hier/toto
- si le fichier a été modifié, rsync va envoyer le nouveau fichier sous un nom temporaire
toto.tmp
(par exemple). On a donc :
current/toto --> contenu <-- hier/toto
\
'--------- avant-hier/toto
current/toto.tmp --> nouveau contenu
- ensuite, rsync supprime
current/toto
On obtient, par la magie des hardlinks :
contenu <-- hier/toto
\
'--------- avant-hier/toto
current/toto.tmp --> nouveau contenu
- enfin,
toto.tmp
est renommé entoto
:
contenu <-- hier/toto
\
'--------- avant-hier/toto
current/toto --> nouveau contenu
- on obtient bien 2 versions différentes, celle d'hier et d'avant-hier (le fichier n'avait alors pas changé), et celle d'aujourd'hui.
Ainsi j'ai toujours les backup des 8 (réglable par la variable KEEP
ci-dessus) derniers jours disponible. Je peux retrouver les dernières versions d'un fichier en cas de problème.
Si tu veux, tu peux reprendre ça dans ton article. LeaJice 6 sep 2006 à 11:48 (CEST)
en utilisant xdeltas
Sur Léa j'utilise un script du style :
#!/bin/sh
FICHIERS="user@serveur:/path/to/backup-mysql.tar.bz2 user@serveur:/path/to/backup-www.tar.gz"
if [ ! "$1" = "--skip-download" ] ; then
rm -f *bz2 *gz
scp ${FICHIERS} .
DATE=$(date +"%Y%m%d")
mkdir ${DATE}
mv *bz2 *gz ${DATE}/
cd ${DATE}
for file in *bz2 ; do
echo -n "bunziping ${file} "
nice -n 19 bunzip2 ${file}
echo " [ok]"
echo -n "gziping ${file%%.bz2} "
nice -n 19 gzip ${file%%.bz2}
echo " [ok]"
done
cd ..
fi
DSTDIR=$(ls -dp * | grep -E "/\$" | sort | uniq | tail -n 2|head -n 1)
SRCDIR=$(ls -dp * | grep -E "/\$" | sort | uniq | tail -n 1)
echo "SOURCE DIR : ${SRCDIR}"
echo "DESTINATION DIR : ${DSTDIR}"
if [ -f ${DSTDIR}deltas ] ; then
source ${DSTDIR}deltas
DELTAS=$((DELTAS+1))
else
DELTAS=1
fi
if [ $DELTAS -gt 9 ] ; then
echo "Vous avez créé 10 deltas de suite, par sécurité je ne créee pas de deltas cette fois"
exit 0
else
echo "C'est votre delta n°${DELTAS}/10"
fi
echo "DELTAS=${DELTAS}" > ${SRCDIR}deltas
cd ${SRCDIR}
for file in *.gz ; do
if [ -f ../${DSTDIR}${file} ] ; then
echo -n "Création du delta : ../${DSTDIR}${file}.delta "
nice -n 19 xdelta delta ${file} ../${DSTDIR}${file} ../${DSTDIR}${file}.delta
echo "[ok]"
echo -n "J'efface : ../${DSTDIR}${file} "
rm ../${DSTDIR}${file}
echo "[ok]"
fi
done
cd ..
le script doit être lancé dans le répertoire où doivent se retrouver les backups et les backups doivent être en .bz2 ou .gz.
à chaque nouvel appel du script un répertoire est créé, et le dernier contient une version complète, les précédants des xdeltas entre la version n et la n+1
C'est quoi xdeltas ? LeaJice 6 sep 2006 à 20:08 (CEST)
C'est l'équivalent de diff mais fonctionne aussi pour des fichiers binaires (et ça gère nativement le gzip pour faire le xdelta - aka: diff)