|
·Интересное и полезное в Инете и Рунете
|
***
Что такое wget
wget – это бесплатная консольная программа для загрузки файлов по сети. Поддерживает протоколы http, ftp и https, может работать через http-прокси-сервер.
Утилита включена практически во все дистрибутивы GNU/Linux.
wget является неинтерактивной программой: после ее запуска пользователь не может повлиять на ее работу, кроме как прервать ее выполнение с помощью Ctrl+C;
– поддерживает докачку файла в случае обрыва соединения;
– может выступать в качестве поискового робота;
– поддерживается эмуляция конкретно заданного браузера, что позволяет представить wget для удаленного сервера в качестве любого веб-браузера;
– хорошо работает на медленных и неустойчивых соединениях, повторяя попытки скачивания файла до тех пор, пока он не будет скачан или не будет исчерпано определенное пользователем максимальное количество попыток. В случаях разрыва соединения до момента полного скачивания файла, wget будет пытаться продолжить скачивание, используя методы REST для ftp и Range для http (если удаленный сервер их поддерживает).
Утилита wget создавалась как универсальный инструмент для скачивания файлов из Интернета, – ее возможности простираются от скачивания отдельно взятого файла, до зеркалирования (mirroring; создание локальной точной копии удаленного ресурса, бэкап сайта). При зеркалировании wget автоматически сравнивает уже существующие на локальном ПК файлы и каталоги с файлами и каталогами на зеркалируемом сайте, докачивая только разницу.
***
Установка и использование wget
Зайдите на страницу http://www.gnu.org/software/wget;
– выберите setup-версию утилиты, скачайте ее;
– запустите файл wget-*.**.*-*-setup.exe;
– установите программу, следуя указаниям инсталлятора (Next –> I accept the agreement –> Next –> Next –> Next –> Next –> Next –> Install):
По умолчанию программа устанавливается в каталог \Program Files\GnuWin32\.
При этом исполняемый файл wget.exe расположен в каталоге \Program Files\GnuWin32\bin\.
Конфигурационный файл wgetrc располагается в каталоге \Program Files\GnuWin32\etc\.
Запускать wget можно с помощью пакетного файла или командного интерпретатора:
Для запуска wget очень удобно использовать командную строку файлового менеджера Total Commander:
В случае ошибки wget возвращает от 1 до 8, в зависимости от вида ошибки.
Примеры использования wget:
– загрузка всех URL, указанных в файле FILE: wget -i FILE
– скачивание файла в указанный каталог: wget -P <путь_сохранения_файла> <URL_загружаемого_ресурса>
– использование имени пользователя и пароля на ftp/http: wget ftp:[http:]//login:password@<URL_загружаемого_ресурса>
– скачивание в фоновом режиме: wget -b <URL_загружаемого_ресурса>
– продолжить загрузку ранее не полностью загруженного файла: wget -c <URL_загружаемого_ресурса>
– скачать содержимое сайта с глубиной следования 10, записывая протокол в файл log:
wget -r -l 10 <URL_загружаемого_ресурса> -o log
– во всех скачанных страницах преобразовать ссылки в относительные (для локального просмотра):
wget -r -l 10 -k <URL_загружаемого_ресурса>
– закачать (скопировать) весь сайт целиком: wget -r -l0 -k <URL_загружаемого_ресурса> (например, wget -r -l0 -k http://netler.ru/).
В лог-файлах сайта wget, как правило, представляется, например, так:
64.124.57.5 - - [16/Aug/2011:03:35:19 +0400] "GET http://netler.ru/" 200 9990 "-" "Wget/1.10.2 (Red Hat modified)" 127.0.0.2
или так:
79.133.69.22 - - [16/Aug/2011:08:16:31 +0400] "GET http://aldanpgp.ru/" 200 9375 "-" "Wget/1.11.4" 127.0.0.6
Скачиваемый контент по умолчанию сохраняется в каталоге с исполняемым файлом wget (\Program Files\GnuWin32\bin\).
***
Когда другие «качалки» отдыхают, wget «пашет»!..
Короче говоря, если вы не «юзали» wget, вы не знаете, что такое качать…
|
• SAPE.RU – покупка и продажа ссылок
|
|
|