Nous aimons tous télécharger des contenus sur Internet, et il existe de nombreux outils de gestion de téléchargement que nous pouvons utiliser pour planifier nos téléchargements. Il est peut-être plus simple d’utiliser un gestionnaire de téléchargement, mais il n’y a aucun mal à explorer les outils déjà fournis avec notre Ubuntu et à en tirer pleinement parti.
Dans cet article, nous allons vous montrer un logiciel intégré à Ubuntu que nous pouvons utiliser pour télécharger des éléments sur Internet en utilisant . En plus de cela, nous vous montrerons comment planifier le téléchargement à l’aide de Cron.
Télécharger avec Wget
Wget est un logiciel gratuit permettant de récupérer des fichiers en utilisant HTTP, HTTPS et FTP, les protocoles Internet les plus utilisés. Il s’agit d’un outil de ligne de commande non interactif, il peut donc être facilement appelé à partir de scripts, de tâches cron, de terminaux sans prise en charge de X-Windows, etc.
Ouvrez votre terminal et explorons comment nous pouvons utiliser wget pour télécharger des éléments sur le net. La syntaxe de base du téléchargement avec wget est la suivante:
wget [option]… [URL]…
Cette commande téléchargera le manuel wget sur votre lecteur local
wget http://www.gnu.org/software/wget/manual/wget.pdf
Linux Cron
Ubuntu est livré avec un démon cron utilisé pour planifier des tâches à exécuter à un certain moment. Crontab vous permet de spécifier les actions et les heures auxquelles elles doivent être exécutées. C’est ainsi que vous planifiez normalement une tâche à l’aide de l’outil de ligne de commande.
Ouvrez une fenêtre de terminal et entrez crontab -e.
Chacune des sections d’un crontab est séparée par un espace, la section finale contenant un ou plusieurs espaces. Une entrée cron se compose de minute (0-59), heure (0-23, 0 = minuit), jour (1-31), mois (1-12), jour de la semaine (0-6, 0 = dimanche), commande. La troisième entrée dans le crontab ci-dessus télécharge wget.pdf à 2 heures du matin. La première entrée (0) et la deuxième entrée (2) signifie 2:00. La troisième à la cinquième entrée
signifie n’importe quel moment de la journée, du mois ou de la semaine. La dernière entrée est la commande wget pour télécharger le wget.pdf à partir de l’URL spécifiée.
C’est la base sur wget et comment fonctionne Cron. Prenons un butin à un exemple réel sur la façon de planifier un téléchargement.
Planification du téléchargement
Nous allons télécharger Firefox 3.6 à 2 heures du matin, puisque notre FAI ne donne qu’une quantité limitée de données, nous devons arrêter le téléchargement à 8 heures du matin. Voici à quoi ressemble la configuration.
[code]
Ignorez les 2 premières entrées de la crontab ci-dessus. Les troisième et quatrième commandes sont les 2 seules commandes dont vous avez besoin. La troisième commande configure une tâche qui téléchargera Firefox à 2 heures du matin:
[/code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
Les options -c indiquent que wget doit reprendre le téléchargement existant s’il n’est pas terminé.
[code]
La quatrième commande arrêtera wget à 8 heures du matin. «Killall» est une commande unix qui tue les processus par leur nom.
[/code]
0 8 * * * killall wget
Le wget killall dit à Ubuntu d’arrêter wget de télécharger le fichier à 8 heures du matin.
Autres commandes wget utiles
[code]
1. Spécification du répertoire pour télécharger un fichier
[/code]
wget –output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
l’option –output-document vous permet de spécifier le répertoire et le nom du fichier que vous téléchargez
2. Téléchargement d’un site Web
[code]
wget est également capable de télécharger un site Web.
[/code]
wget -m http://www.google.com/profiles/zainul.franciscus
La commande ci-dessus téléchargera toute ma page Web de profil Google. L’option ‘-m’ indique à wget de télécharger une image ‘miroir’ de l’URL spécifiée.
[code]
Une autre option importante consiste à indiquer à wget combien de liens doit-il suivre lors du téléchargement d’un site Web.
[/code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
La commande wget ci-dessus utilise deux options. La première option «-r» indique à wget de télécharger le site Web spécifié de manière récursive. La deuxième option ‘-l1’ indique à wget de n’obtenir que le premier niveau de liens de ce site Web spécifié. Nous pouvons définir jusqu’à trois niveaux «-l2» et «-l3».
3. Ignorer l’entrée du robot
[code]
Le webmestre gère un fichier texte appelé Robot.txt. ‘Robot.txt’ gère une liste d’URL qu’un robot d’exploration de page Web tel que wget ne doit pas explorer. Nous pouvons dire à wget d’ignorer l’option ‘Robot.txt’ avec l’option ‘-erobots = off’. La commande suivante indique à wget de télécharger la première page de mon profil google et d’ignorer le ‘Robot.txt.
[/code]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[code]
Une autre option utile est -U. Cette option masquera wget en tant que navigateur. Notez que le fait de masquer une application comme une autre application peut enfreindre les termes et services d’un fournisseur de services Web.
[/code]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
Conclusion
[code]
Wget est un progiciel GNU très ancien mais piratable que nous pouvons utiliser pour télécharger des fichiers. Wget est un outil de ligne de commande interactif qui signifie que nous pouvons le laisser fonctionner sur notre ordinateur en arrière-plan sans avoir à démarrer aucune application. Consultez la page de manuel wget
[/code]
$ homme wget
pour comprendre les autres options que nous pouvons utiliser avec wget.
Liens
Manuel Wget
Comment combiner deux fichiers téléchargés lorsque wget échoue à mi-chemin
Linux QuickTip: téléchargement et dé-tarage en une seule étape
