Путеводитель по сайту

Что такое wget, или Качать вам – не перекачать…

 

 

***

Что такое wget, или Качать вам – не перекачать…

Что такое wget

wget – это бесплатная консольная программа для загрузки файлов по сети. Поддерживает протоколы http, ftp и https, может работать через http-прокси-сервер.

Утилита включена практически во все дистрибутивы GNU/Linux.

 

wget является неинтерактивной программой: после её запуска пользователь не может повлиять на её работу, кроме как прервать её выполнение с помощью Ctrl+C;

– поддерживает докачку файла в случае обрыва соединения;

– может выступать в качестве поискового робота;

– поддерживается эмуляция конкретно заданного браузера, что позволяет представить wget для удалённого сервера в качестве любого веб-браузера;

– хорошо работает на медленных и неустойчивых соединениях, повторяя попытки скачивания файла до тех пор, пока он не будет скачан или не будет исчерпано определённое пользователем максимальное количество попыток. В случаях разрыва соединения до момента полного скачивания файла, wget будет пытаться продолжить скачивание, используя методы REST для ftp и Range для http (если удалённый сервер их поддерживает).

 

Утилита wget создавалась как универсальный инструмент для скачивания файлов из Интернета, – её возможности простираются от скачивания отдельно взятого файла, до зеркалирования (mirroring; создание локальной точной копии удалённого ресурса, бэкап сайта). При зеркалировании wget автоматически сравнивает уже существующие на локальном ПК файлы и каталоги с файлами и каталогами на зеркалируемом сайте, докачивая только разницу.

 

 

***

Установка и использование wget

Зайдите на страницу http://www.gnu.org/software/wget;

– выберите setup-версию утилиты, скачайте её;

– запустите файл wget-*.**.*-*-setup.exe;

– установите программу, следуя указаниям инсталлятора (Next –> I accept the agreement –> Next –> Next –> Next –> Next –> Next –> Install):

 

Что такое wget, или Качать вам – не перекачать…

 

 

По умолчанию программа устанавливается в каталог \Program Files\GnuWin32\.

При этом исполняемый файл wget.exe расположен в каталоге \Program Files\GnuWin32\bin\.

Конфигурационный файл wgetrc располагается в каталоге \Program Files\GnuWin32\etc\.

 

Запускать wget можно с помощью пакетного файла или командного интерпретатора:

 

Что такое wget, или Качать вам – не перекачать…

 

 

Для запуска wget очень удобно использовать командную строку файлового менеджера Total Commander:

 

Что такое wget, или Качать вам – не перекачать…

 

 

В случае ошибки wget возвращает от 1 до 8, в зависимости от вида ошибки.

 

 

 

 

Примеры использования wget:

– загрузка всех URL, указанных в файле FILE: wget -i FILE

– скачивание файла в указанный каталог: wget -P <путь_сохранения_файла> <URL_загружаемого_ресурса>

– использование имени пользователя и пароля на ftp/http: wget ftp:[http:]//login:password@<URL_загружаемого_ресурса>

– скачивание в фоновом режиме: wget -b <URL_загружаемого_ресурса>

– продолжить загрузку ранее не полностью загруженного файла: wget -c <URL_загружаемого_ресурса>

– скачать содержимое сайта с глубиной следования 10, записывая протокол в файл log:

   wget -r -l 10 <URL_загружаемого_ресурса> -o log

– во всех скачанных страницах преобразовать ссылки в относительные (для локального просмотра):

   wget -r -l 10 -k <URL_загружаемого_ресурса>

– закачать (скопировать) весь сайт целиком: wget -r -l0 -k <URL_загружаемого_ресурса> (например, wget -r -l0 -k http://netler.ru/).

 

В лог-файлах сайта wget, как правило, представляется, например, так:

64.124.57.5 - - [16/Aug/2011:03:35:19 +0400] "GET http://netler.ru/" 200 9990 "-" "Wget/1.10.2 (Red Hat modified)" 127.0.0.2

 

или так:

79.133.69.22 - - [16/Aug/2011:08:16:31 +0400] "GET http://aldanpgp.ru/" 200 9375 "-" "Wget/1.11.4" 127.0.0.6

 

Скачиваемый контент по умолчанию сохраняется в каталоге с исполняемым файлом wget (\Program Files\GnuWin32\bin\).

 

 

***

wget – это «качалка качалок». Качество работы программы поражает воображение!..

Когда другие «качалки» отдыхают, wget «пашет»!..

Короче говоря, если вы не «юзали» wget, вы не знаете, что такое «качать»…

 

Валерий Сидоров

 

 

***

Раскрывая тайны Windows…

Дело о…

Статьи о ПК и PC

Вирусы vs. антивирусы

Apple = iСтив + iPod + iPhone + iPad + iTunes + iMac + …

Apps for iPad, iPhone, iPod touch…

 

 

 

 

 

 

Путеводитель по сайту

18+

© Сидоров В.В. 2016. All rights reserved.

Авторство всех материалов сайта http://netler.ru принадлежит Валерию Сидорову и охраняется Законом о защите авторских прав. Использование материалов сайта в offline-изданиях без согласования с автором категорически запрещается. В online-изданиях разрешается использовать материалы сайта при условии сохранения имени и фамилии автора и активной гиперссылки на сайт http://netler.ru.