Léa-Linux : « Wget Recursif !!! »

Conversation precedente ou suivante

Les sections > Les forums de cette section > Les messages de ce forum > Ce thread >

Aller à la page: 1 2 Page suivante

Page: 1 sur 2

Wget Recursif !!!

Envoyé par: DfGik

Salut,

Donc en faite j'explique ce que je veux faire:

* je veux copier tous les répertoires d'un site.

* Ces repertoires sont nommés de 1 à 1300 et contiennent des fichiers .html/.jpg/.c/.png etc...

Il n'y a pas d'index.html/php donc nous avons la liste des fichiers presents du genre:

Index of /intra/edoc/1030
Name Last modified Size Description
--------------------------------------------------------------------------------
Parent Directory 31-Mar-2006 16:45 -
Slide1.PNG 31-Jan-2006 11:07 13k
Slide2.PNG 31-Jan-2006 11:07 15k
Slide3.PNG 31-Jan-2006 11:07 16k
Slide4.PNG 31-Jan-2006 11:07 15k
Slide5.PNG 31-Jan-2006 11:07 15k
Slide6.PNG 31-Jan-2006 11:07 17k
Slide7.PNG 31-Jan-2006 11:07 13k
Slide8.PNG 31-Jan-2006 11:07 16k
Slide9.PNG 31-Jan-2006 11:07 16k
Step4.html 06-Feb-2006 09:36 2k
Step4.swf 06-Feb-2006 09:36 10.3M
Step4_config.xml 06-Feb-2006 09:36 1k
Step4_controller.swf 06-Feb-2006 09:36 74k

Apache/1.3.34 Server at www.blabla.net Port 80

On peut tout consulter.

En faite je veux copier tous les repertoire /intra/edoc/[1-1300] recursivement, c'est à dire que wget recreer les répertoire, copie tous les fichiers (html compris) et refet les links pour consulter en local (avec les jpg etc...).

Je vous remercie,

Poste le Tuesday 4 April 2006 20:04:02

Répondre Citer

Re: Wget récursif

Envoyé par: nicola

man wget donne déjà wget -r, cherche un peu pour le reste !

--
On ne prête qu’aux riches, et on a bien raison, parce que les autres remboursent difficilement.
-+- Tristan Bernard (1866-1947) -+-

Poste le Tuesday 4 April 2006 20:28:39

Répondre Citer

Re: Wget récursif

Envoyé par: DfGik

SI je demande sa ici c'est que justement j'ai pas trouvé ds les man linux ... du moins la syntase...

Poste le Tuesday 4 April 2006 21:05:45

Répondre Citer

Re: Wget récursif

Envoyé par: Basile STARYNKEVITCH

Une autre solution pour ce genre de chose, c'est de faire un script dans un langage qui offre une API pour HTTP; par exemple Ruby...

Ca se code en quelques dizaines de lignes de Ruby...

----

Basile STARYNKEVITCH

Membre de l'APRIL « promouvoir et défendre le logiciel libre » - adhérez vous aussi à l'APRIL!

Projet logiciel libre: RefPerSys

Poste le Tuesday 4 April 2006 21:07:37

Répondre Citer

Re: Wget récursif

Envoyé par: DfGik

Je code qu'en C pas en ruby.

Poste le Tuesday 4 April 2006 21:10:42

Répondre Citer

Re: Wget récursif

Envoyé par: Basile STARYNKEVITCH

Citation
DfGik
Je code qu'en C pas en ruby.

Dommage, moi j'aime bien choisir le langage adapté.

Mais on peut coder ce genre de choses en C avec une bibliothèque interfaçant HTTP comme curl.

----

Basile STARYNKEVITCH

Membre de l'APRIL « promouvoir et défendre le logiciel libre » - adhérez vous aussi à l'APRIL!

Projet logiciel libre: RefPerSys

Poste le Tuesday 4 April 2006 21:19:26

Répondre Citer

Re: Wget Recursif !!!

Envoyé par: chromosome

Tu peux regarder le package httrack, ca sert a ca.

Poste le Tuesday 4 April 2006 22:04:08

Répondre Citer

Re: Wget récursif

Envoyé par: nicola

Tu n’as pas trouvé ? C’est une blague ? C’est le premier exemple donné.

--
On ne prête qu’aux riches, et on a bien raison, parce que les autres remboursent difficilement.
-+- Tristan Bernard (1866-1947) -+-

Poste le Wednesday 5 April 2006 06:47:22

Répondre Citer

Re: Wget récursif

Envoyé par: DfGik

Donne moi la syntaxe si t'es si fort smiling smiley

Poste le Wednesday 5 April 2006 11:54:50

Répondre Citer

Re: Wget récursif

Envoyé par: chromosome

Tu as dis ca :

Citation
DfGik
copie tous les fichiers (html compris) et refet les links pour consulter en local (avec les jpg etc...).

Alors je me repete regarde httrack, c'est un programme qui pompe un site, te change les liens en interne de maniere a pouvoir le consulter off-line (donc il ramene les images, les css, les js, les html, ...).

Poste le Wednesday 5 April 2006 11:58:28

Répondre Citer

Re: wget récursif

Envoyé par: nicola

Tu ne sais pas lire une page de manuel ? ^^D-*

--
On ne prête qu’aux riches, et on a bien raison, parce que les autres remboursent difficilement.
-+- Tristan Bernard (1866-1947) -+-

Poste le Wednesday 5 April 2006 13:04:46

Répondre Citer

Re: wget récursif

Envoyé par: DfGik

nicola, au lieu de te la peter et dire des conneries, tu peux me donner la syntaxe ? Tu m'aides pas bcp là, tout ce que tu me dit je l'ai déjà fait, mais si t'as pas compris que le forum lea-linux est un dernier recours, c'est ton problème. J'ai pas besoin de tes remarques bidon, il y a des forums pour ça. De plus ne juges pas les gens sans savoir.

Poste le Wednesday 5 April 2006 13:12:39

Répondre Citer

Re: wget récursif

Envoyé par: chromosome

Bon si tu y tiens, (mais c'est une erreur)
wget -r --convert-links [ton.site.com] (ca donne de bon resultat)
Mais wget n'est pas ta solution, car il ne change pas les paths des images dans les css (et n'a pas l'air de downloader les images definies dans les css), contrairement a httrack, mais bon je me repete.

Maintenant il existe peut-etre une option pour wget, mais la c'est pas dans le man.

Poste le Wednesday 5 April 2006 14:18:07

Répondre Citer

Re: wget récursif

Envoyé par: DfGik

Avec httrack j'ai toujours le même problème; comment lui faire télécharger les repertoire en stipulant l'option de 1 à 1300 ? smiling smiley

Merci

Poste le Wednesday 5 April 2006 14:50:53

Répondre Citer

Re: wget récursif

Envoyé par: chromosome

Je suppose que tu as un fichier index.html ou equivalent dans chaque repertoire ?
Si oui, pourquoi ne pas faire une boucle dans ton shell ?

Poste le Wednesday 5 April 2006 15:48:56

Répondre Citer

Re: wget récursif

Envoyé par: fraazz

Il m'est arrivé d'utiliser la syntaxe suivante :
$: wget -k -r -E -l2 -P /home/user [site]

l2 > par défaut le niveau de "récursivité" est égal à 5, tu peux donc ajuster ou omettre cette option

Poste le Wednesday 5 April 2006 16:33:34

Répondre Citer

Re: wget récursif

Envoyé par: Léa (Fred)

Citation
DfGik
Avec httrack j'ai toujours le même problème;
comment lui faire télécharger les repertoire en
stipulant l'option de 1 à 1300 ?

une boucle for ? en bash, ça donne :

for((i=1;i<=1300;i++)); do wget [bonnes options] htttp://server/path/$i ; done

Modifié 1 fois. Dernière modification le 05/04/06 17:29 par fred.

Poste le Wednesday 5 April 2006 17:28:45

Répondre Citer

Re: wget récursif

Envoyé par: DfGik

Donc voila j'ai ce pb. Au lieu de recopier tous les fichier .html + .gif. Wget me fait un index.html qui est en faite un screen du listing de fichier.

En gros quand on arrive dans un répertoire (en temps normal), on tombe sur:

---------------------------------------------------
Index of /intra/edoc/1030
Name Last modified Size Description

Slide1.PNG 31-Jan-2006 11:07 13k
Slide2.PNG 31-Jan-2006 11:07 15k
Slide3.PNG 31-Jan-2006 11:07 16k
Slide4.PNG 31-Jan-2006 11:07 15k
Slide5.PNG 31-Jan-2006 11:07 15k
Slide6.PNG 31-Jan-2006 11:07 17k
Slide7.PNG 31-Jan-2006 11:07 13k
Slide8.PNG 31-Jan-2006 11:07 16k
Slide9.PNG 31-Jan-2006 11:07 16k
Step4.html 06-Feb-2006 09:36 2k
Step4.swf 06-Feb-2006 09:36 10.3M
Step4_config.xml 06-Feb-2006 09:36 1k
Step4_controller.swf 06-Feb-2006 09:36 74k

Apache/1.3.34 Server at www.blabla.net Port 80
--------------------------------------------------

Le problème, c'est qu'au lieu de compier tous ces fichiers, WGET fait un screen et le met dans un index.html. Du coup je me retouve avec un index.html qui est une copie du listing de fichiers en temps normal.

Moi je veux copier tous ces fichiers, pas avoir un index.html !

Poste le Wednesday 5 April 2006 17:29:55

Répondre Citer