Wget - неинтерактивный менеджер закачек

В Ubuntu есть штучка

Wget - неинтерактивный менеджер закачек, что значит, что все операции по загрузке будут проводиться в фоне. Вы можете загружать любые файлы из интернета с помощью команды wget. Wget также позволяет пользователю загрузить веб-сайт. 

Процесс загрузки начинается с простой команды wget, затем адрес веб-сайта. Этот пост включает все руководства по команде wget, которую можно использовать как менеджер закачек в Linux, а также для других различных целей. Wget поддерживает протоколы HTTP, HTTPS и FTP для загрузки файлов.
Загрузка веб-страниц, используя wget
Например, вы хотите загрузить главную страницу сайта freshtutorial.com. Вам нужно просто выполнить команду:

wget freshtutorial.com

Начнётся загрузка, и файл будет сохранён в вашей домашней директории для дальнейшего использования в оффлайне. Теперь давайте представим, что у вас появилась проблема, или у удаленного сервера возникли какие-либо неполадки. Wget по умолчанию пытается повторно подсоединиться к серверу двадцать раз. Вы можете изменить этот лимит следующей командой:

wget -t freshtutorial.com

Теперь wget будет пытаться восстановить соединение с сервером восемь раз. Команда выше загрузит только файл index.html. Что же сделать, если вы хотите загрузить веб-сайт или страницу полностью? Команда ниже загрузит веб-сайт до пятого уровня вложенности

wget -r freshtutorial.com

Чтобы сконвертировать весь веб-сайт для оффлайн-просмотра, вы можете использовать следующую команду

wget --convert-links -r linux.about.com -o logfile

Загружаем и восстанавливаем ваши загрузки, используя Wget
Представим, что вы загружаете файл, как тут внезапно отключился Интернет. Используя wget, вы можете возобновлять ваши загрузки. Чтобы загрузить файл, просто откройте ваш терминал и введите команду wget, а затем URL. Например

wget URL

wget http://wordpress.org/extend/themes/download/evolve.1.2.2.zip

Теперь, что если вы загружаете большой файл, например, игру, и соединение с сервером разорвалось? Теперь вам нужно начать загружать файл с начала, если вы не использовали никакого менеджера закачек. Wget позволяет вам загружать файлы с того момента, как вы отключились от сети. Для этой цели, мы будем использовать следующую команду:

wget -c http://wordpress.org/extend/themes/download/evolve.1.2.2.zip

Это возобновит вашу загрузку.
Загружаем динамический веб-сайт в статичную локальную копию
А что, если вы хотите загрузить динамический веб-сайт, например на WordPress, Joomla или Durpal, в котором многие вещи хранятся в базе данных? Для этой цели вы можете использовать следующую команду, которая сконвертирует все динамичные веб-страницы в статичные, которые вы сможете использовать локально, без сети

wget --mirror --convert-links URL

Пример

wget --mirror --convert-links freshtutorial.com

Анализ HTTP-запроса
Для этой цели мы будем использовать следующую команду в терминале

wget -r --spider URL

Пример

wget -r --spider freshtutorial.com