Архивация веб-страниц — это критически важный процесс для сохранения цифрового наследия, защиты от потери данных при блокировках или удалении ресурсов, а также для создания локальных копий сайтов для автономной работы. В этой статье мы подробно разберем существующие подходы: от быстрых онлайн-сервисов для одиночных страниц до профессиональных утилит командной строки для полного зеркалирования крупных порталов.

Быстрая архивация отдельных страниц (Онлайн-сервисы)

Если вам нужно сохранить одну или несколько страниц «здесь и сейчас» без установки ПО, лучше всего подходят веб-интерфейсы публичных архивов.

Internet Archive (Archive.org) — Save Page Now

Самый известный и надежный способ сохранить страницу в публичном доступе.

1. Перейдите на главную страницу archive.org.
2. Найдите форму Save Page Now (обычно расположена внизу справа).
3. Вставьте URL-адрес нужной страницы.
4. Нажмите кнопку Сохранить страницу (или Enter).
5. Дождитесь завершения краулинга. Вы получите постоянную ссылку на неизменную копию (формат web.archive.org/web/дата/url).

Плюсы: Бесплатно, публично, долгосрочное хранение, сохраняет текст и графику.
Минусы: Не подходит для приватных/закрытых страниц, не качает весь сайт целиком автоматически.

Archive.ph (archive.today / archive.is)

Отличная альтернатива для экстренного сохранения. Часто лучше справляется со сложной версткой, скриптами и обходит некоторые блокировки.

• Откройте archive.ph.
• Вставьте ссылку и нажмите «Сохранить».
• Сервис выдаст короткую ссылку на снимок.

Особенность: Идеален для «экстренной ситуации», когда сайт может исчезнуть через минуты. Сохраняет только введенный URL, не переходит по ссылкам рекурсивно.

Расширение SingleFile (Firefox / Chrome)

• Установите расширение.
• Нажмите иконку на панели браузера на нужной странице.

Удобно для личного архива, передачи коллегам или офлайн-чтения.

Полная архивация сайтов (Локальное зеркалирование)

Для загрузки всего сайта (десятки, сотни, тысячи страниц) на локальный диск используются специализированные краулеры. Ниже приведена сравнительная таблица основных инструментов (на основе данных Национального цифрового архива России (ruarxive.org)).

HTTrack Website Copier — лучший старт для новичков

HTTrack — свободная программа (GPL) с графическим интерфейсом (GUI) для Windows, Linux, macOS. Позволяет загрузить сайт в локальную папку, сохраняя относительную структуру ссылок для автономного просмотра в браузере.

• Режим: Мастер пошаговой настройки (Wizard).
• Функции: Рекурсивный обход, возобновление прерванной загрузки, фильтры по типам файлов/маскам URL, ограничение скорости/соединений.
• Командная строка: Также доступен как httrack для автоматизации.

Рекомендация: Для сайтов до ~1000–5000 страниц, статических или с простым JS — оптимальный выбор.

Wget — стандарт де-факто для автоматизации и серверов

Консольная утилита (GNU GPL), установленная по умолчанию почти во всех Linux-дистрибутивах и доступная для Windows. Мощнейший инструмент для зеркалирования.

Ключевые возможности Wget:

• Возобновление прерванных загрузок (-c).
• Рекурсивное зеркалирование (-r, --mirror).
• Преобразование абсолютных ссылок в относительные для локального просмотра (-k, --convert-links).
• Скачивание всех необходимых ресурсов (CSS, JS, картинки) — -p, --page-requisites.
• Поддержка прокси, cookies, авторизации, ограничение скорости (--limit-rate), паузы между запросами (--wait).
• Работа в фоне (-b) и логирование (-o log.txt).

Пример «Экстренной» команды (быстро, но может пропустить контент):

wget --mirror --convert-links --adjust-extension 
 --page-requisites --wait=0.5 --limit-rate=200k 
 --no-parent https://site-to-save.com

Пример «Качественной» команды (рекомендуемая для полноты):

wget --mirror 
 --convert-links 
 --adjust-extension 
 --page-requisites 
 --no-parent 
 --execute robots=off 
 --wait=1 
 --random-wait 
 --limit-rate=500k 
 --user-agent="Mozilla/5.0 (compatible; ArchiveBot/1.0)" 
 -o wget_log.txt 
 https://target-site.com

Пояснение флагов: --execute robots=off игнорирует robots.txt (используйте этично), --random-wait маскирует бота, -o пишет подробный лог.

Wpull — современная замена Wget для профессиональной архивации

Написан на Python, совместим с флагами Wget, но расширяет возможности:

• Нативная поддержка формата WARC (Web ARChive) — стандарта Library of Congress для долгосрочного хранения.
• Интеграция с PhantomJS / Headless Chrome для рендеринга JavaScript (экспериментально).
• Интеграция с youtube-dl / yt-dlp для загрузки встроенного видео.
• Легко модифицируется и встраивается в Python-скрипты.

Команда для сохранения в WARC:

wpull --warc-file "my_archive" 
 --warc-cdx 
 --wait 1 
 --random-wait 
 --user-agent "Mozilla/5.0 ..." 
 https://target-site.com

Browsertrix / Browsertrix-Crawler — архивация современного веба (JS, SPA, WebAssembly)

Browsertrix (от команды Webrecorder) использует настоящий браузер (Chromium/Firefox в headless-режиме) для рендеринга страниц перед сохранением.

• Запускается через Docker.
• Сохраняет в формат WACZ (WARC + ZIP + Index) — современный стандарт упаковки архивов.
• Поддерживает «поведения» (клики, скролл, ввод текста) через YAML-конфиг для доступа к скрытому контенту.

Пример запуска (Docker):

docker run -v $(pwd)/output:/crawls 
 webrecorder/browsertrix-crawler 
 --url https://spa-site.com 
 --generateWacz 
 --text 
 --workers 2

Протокол экстренной архивации (Когда сайт может исчезнуть/заблокировать)

Алгоритм действий, если время исчисляется минутами/часами (по материалам ruarxive.org):

Этап 1: Первые 30 секунд — «Точечные удары» (Archive.ph)

Вручную сохраните критически важные URL через archive.ph (оно быстрее и надежнее Archive.org для единичных запросов):

• Главная страница.
• Страница «О нас» / «Контакты» / «Реквизиты».
• Ключевые статьи, التحقيقы, документы.
• Страницы авторов/редакторов.

Этап 2: Первые 5 минут — Запуск полного краулера (Wget)

Запустите «быструю» команду Wget (см. выше) в фоне (-b) на сервере или мощном ПК. Это создаст «черновик» зеркала.

Этап 3: 1–2 часа — Качественная архивация (HTTrack или Wget с полными флагами)

• Если есть GUI — используйте HTTrack, визуально контролируя процесс и корректируя фильтры (исключить видео, тяжелые архивы, если место мало).
• Если нужен стандарт WARC — настройте Wpull или Wget + warc (Wget 1.20+ поддерживает --warc-file).

Этап 4: Сложные сайты — Browsertrix

Если после Этапа 3 сайт выглядит сломанным (пустые блоки, «загрузка…»), разверните Browsertrix для рендеринга JS.

Архивация файлов сайта и БД (Сторона хостинга/администратора)

Если вы владелец сайта и имеете доступ к панели управления хостингом (Plesk, cPanel, ISPmanager, собственная панель типа mchost.ru), процесс отличается — вы архивируете исходный код и базы данных, а не публичный фронтенд.

Через панель хостинга (Пример: mchost.ru / Панель аккаунта)

1. Раздел «Управление услугами» → Выбор сайта.
2. Открыть Файл-менеджер.
3. Выделить все файлы/папки → Нажать «Сжать в zip» (или tar.gz).
4. Скачать готовый архив по прямой ссылке или через FTP.

Через Plesk (Пример: Rusonyx / support.rusonyx.ru)

1. Базы данных: Вкладка «Базы данных» → Для каждой БД: «Экспортировать дамп» → Сохранить в домашнюю директорию.
2. Файлы: «Файлы» → «Менеджер файлов» → Домашняя директория → Выбрать файлы сайта + дампы БД → «Архив» → «Добавить в архив».
3. Скачать итоговый архив через Файл-менеджер или FTP.

Важно: Перед созданием архива проверьте свободное дисковое пространство (нужно минимум 2x от размера сайта).

Пост-обработка и хранение архива

После завершения загрузки (любым методом) обязательно выполните:

1. Резервное копирование (Правило 3-2-1):
   • 3 копии данных.
   • 2 разных носителя (локальный диск + внешний HDD/NAS + Облако: Yandex Disk, Google Drive, S3, MEGA).
   • 1 копия в другом географическом расположении (offsite).
2. Метаданные: Создайте README.txt рядом с архивом: дата загрузки, инструмент и версия, команда запуска, URL источника, известные проблемы (пропущенные разделы, авторизация).
3. Форматы долгосрочного хранения: Рассмотрите конвертацию в WARC (если качали Wget/HTTrack) или WACZ для стандартизации.

Специфика: Создание «Архивного сайта» (Институциональный подход)

Если задача, не просто скачать копию, а создать публичный архивный ресурс (например, для государственного архива, музея, организации), следуйте рекомендациям АИТЕХ (aiteh.ru) и Росархива:

Обязательные разделы архивного сайта:

• Реквизиты: Полное/сокращенное название, ФИО директора (), контакты: почтовый адрес (), телефон (), email ().
• Режим работы: Читальный зал, летний график.
• Нормативная база: Положение об архиве, Правила читального зала (можно ссылкой на «Архивы России»).
• Фонды и НСА: Общее описание составов, Путеводители/Справочники (электронные версии), Тематические БД, Каталог библиотеки.
• Доступ и услуги: Социально-правовые запросы (порядок, языки, *), Платные/бесплатные услуги с расценками.
• Деятельность: Мероприятия (выставки, конференции — программа, фото), Проекты (в т.ч. грантовые, фондрейзинг), Публикации сотрудников.
• Новые поступления / Рассекреченные документы: В виде гипертекста или поиска по БД.

Техническая сторона: адаптивный дизайн, доступность (WCAG), защита персональных данных (152-ФЗ), резервное копирование CMS и БД по регламенту.

Полезные ссылки и ресурсы для углубленного изучения

• Национальный цифровой архив (ruarxive.org) — раздел «Инструменты / Как собрать / Сделать копию сайта» (источник таблиц и протоколов выше).
• The Web Archiving Life Cycle Model (Library of Congress) — теоретическая база.
• Wget Manual (GNU) — полная документация по флагам.
• Webrecorder / Browsertrix Docs (GitHub) — инструкции по деплою краулера на Docker/K8s.
• Awesome Web Archiving (GitHub) — курируемый список инструментов, библиотек, сервисов.
• Рекомендации по созданию архивного сайта в Интернет (aiteh.ru) — методология наполнения для учреждений архивной сферы.

Помните: Лучший архив — это тот, который вы проверили и храните в нескольких местах. Начинайте с простых инструментов (Archive.ph, HTTrack), переходите к сложным (Wget, Wpull, Browsertrix) по мере роста задач.