Narzędzia do pobierania stron WWW: co zapisują, a co psują

Firma hostingowa zniknęła w weekend z klientem. Kopii zapasowych oczywiście brak. Strona jeszcze w poniedziałek rano odpowiadała, ledwo, więc pierwsze, co zrobiłem, to skierowałem na nią web downloader i ściągnąłem każdą dostępną stronę, zanim światło zgasło na dobre. Do tego właśnie służą te narzędzia: chwycić to, co serwer jeszcze chce oddać, szybko, zanim przestanie oddawać.

Web downloader to jednak nie magia, a cztery narzędzia, po które ludzie faktycznie sięgają, HTTrack, SiteSucker, wget i wbudowany przycisk zapisu w przeglądarce, bardzo różnią się między sobą tym, co zachowują. Oto, co każde z nich zapisuje, co po cichu psuje i jak wybrać między nimi.

Co web downloader faktycznie zapisuje

Każdy web downloader działa pod spodem tak samo. Wysyła żądanie pod URL, parsuje zwrócony HTML, znajduje powiązane zasoby i linki wewnętrzne, pobiera je, przepisuje linki, żeby działały z dysku, i tak dalej, aż kolejka się wyczerpie. Crawler z przyciskiem zapisu.

Co ląduje na dysku:

• Strony HTML, zwykle ze zmienioną nazwą, żeby otwierały się lokalnie bez serwera
• CSS, JavaScript i fonty, do których odwołują się te strony
• Obrazy, filmy, pliki PDF i wszystko inne, do czego strony linkują bezpośrednio
• Struktura folderów odzwierciedlająca oryginalny układ URL-i

Co nie ląduje: wszystko, co serwer generuje dynamicznie. Downloader otrzymuje ten sam wyrenderowany HTML, który dostaje każdy anonimowy odwiedzający. PHP, baza danych, panel admina, historia zamówień, nic z tego nie przechodzi przez sieć, więc nic z tego nie trafia do domu. Pobrany WordPress to posąg strony, nie strona.

Dwa szczegóły zakresu decydują o tym, co ostatecznie dostaniesz. Po pierwsze, odkrywanie: crawler znajduje tylko URL-e podlinkowane ze stron, które już ma, plus sitemapę, jeśli mu ją wskażesz, strony osierocone bez linków przychodzących pozostają niewidoczne. Po drugie, uprzejmość: większość narzędzi domyślnie respektuje robots.txt, a choć HTTrack pozwala to obejść, rób tak tylko na stronach, które posiadasz.

HTTrack i SiteSucker: opcje z GUI

HTTrack (WinHTTrack na Windows) to dziadek tej kategorii: darmowy, open source, z nami od 1998 roku. Wklejasz URL, wybierasz folder projektu i lustrzanie kopiuje stronę. Prawdziwa wartość tkwi w opcjach, limity głębokości crawlowania, filtry typów plików, limity przepustowości i reguły skanowania włączające lub wykluczające wzorce URL-i. Lustrzanie skopiowałem portfolio fotografa z 400 stron w jakieś dwadzieścia minut, ze wszystkimi zdjęciami.

Ustawienia, które faktycznie zmieniam w stosunku do domyślnych:

• Maksymalna głębokość mirrorowania: zostaw bez limitu dla małych stron, ogranicz do 3 lub 4 dla dużych
• Reguły skanowania: dodaj wzorzec include dla docelowej domeny, żeby crawl nie zszedł na obce strony
• Kontrola przepływu: dwa do czterech połączeń i limit przepustowości na wszystkim, co nie jest twoim własnym serwerem
• Typy MIME: wyklucz wideo przy pierwszych przebiegach, jeden zapomniany folder z webinarami to potencjalnie 40 GB

Haki: interfejs wygląda na swoje lata, ostatnie znaczące wydanie było lata temu i jest ślepy na JavaScript. Jeśli strona buduje treść w przeglądarce, HTTrack zapisuje puste rusztowanie.

SiteSucker to odpowiedź dla Maca, kilka dolarów w App Store. Wklejasz URL, naciskasz start i pobiera w tle z rozsądnymi domyślnymi ustawieniami, z pauzą i wznawianiem w zestawie. Mniej pokręteł niż HTTrack i ta sama ślepota na JavaScript, ale do szybkiego, czystego mirrora na macOS to najmniej bolesna opcja.

wget dla ludzi, którzy lubią terminal

wget to opcja skryptowalna, zainstalowana na prawie każdym Linuksie i oddalona o jedno brew install na Macu. Klasyczny przepis na pełny mirror:

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com

Co daje każda flaga:

• --mirror włącza rekurencję i timestamping, dzięki czemu ponowne uruchomienia pobierają tylko to, co się zmieniło
• --convert-links przepisuje linki po pobraniu, żeby strony działały offline
• --adjust-extension zapisuje generowane przez serwer strony jako porządne pliki.html
• --page-requisites ściąga CSS, JS i obrazy potrzebne każdej stronie do wyrenderowania
• --no-parent utrzymuje crawl poniżej ścieżki startowej, zamiast pożerać całą domenę

Dodatki warte poznania: --wait=1 --random-wwait utrzymuje cię w uprzejmości wobec małych serwerów, -c wznawia przerwany mirror bez ponownego pobierania gotowych plików, a --load-cookies z wyeksportowanym plikiem ciasteczek może wyciągnąć strony za twoim własnym logowaniem. I nie myl wget z curlem, curl pięknie pobiera jeden URL, wget mirroruje całe strony. Ludzie mylą je bez przerwy.

Zapis w przeglądarce: wbudowana opcja

Ctrl+S, Cała strona, downloader, który już masz. Zapisuje jedną stronę plus folder zasobów. Dla paragonu, artykułu czy strony kontaktowej, której potrzebujesz teraz, jest w porządku. Ma nawet jedną prawdziwą supermoc: przeglądarka zapisuje stronę po wykonaniu JavaScriptu, więc strona oparta na Reakcie, która daje wgetowi pustą skorupę, przechodzi w pełni wyrenderowana.

Limity ujawniają się szybko. Obrazy tła w CSS i łańcuchy @import często znikają, linki wskazują z powrotem na żywą stronę zamiast na siebie nawzajem i nie ma rekurencji, 300-stronicowa strona oznacza 300 ręcznych zapisów. Jeden pokrewny trik warty poznania: rozszerzenie SingleFile wstawia każdy zasób do jednego samodzielnego pliku HTML, po wykonaniu JavaScriptu. Do archiwizowania pojedynczych stron ciężkich od JS bije zwykły Ctrl+S na głowę. Zapisz jako PDF to inna bestia: łapie wygląd, nie stronę, i nic w nim nie działa.

Sesja web downloadera, od początku do końca

Pierwszy mirror nieznanej strony idzie lepiej z rutyną. Moja:

1. Sprawdź robots.txt i regulamin strony przed crawlowaniem, i tak używaj flagi wait na małych serwerach.
2. Wybierz zakres: cała domena czy jedna sekcja. Reguła no-parent albo reguła skanowania HTTrack powstrzymuje crawl bloga przed połknięciem sąsiedniego sklepu.
3. Uruchom mirror i obserwuj log. Powtarzające się 403 oznaczają wykrywanie botów; zalew stron kalendarza albo tagów oznacza, że zakres ci przecieka.
4. Wybiórczo sprawdź offline dziesięć losowych stron, w tym jedną z formularzem kontaktowym i jedną ciężką galerię. Zepsute teraz oznacza zepsute na zawsze.
5. Porównaj lokalną liczbę plików z sitemapą strony. Duża luka oznacza treści renderowane przez JavaScript albo reguły zakresu pożerające strony.

Co psuje każdy web downloader

Wybierz dowolne z powyższych narzędzi, a te same rzeczy się sypią, bo problemy tkwią w medium, nie w oprogramowaniu:

Uważaj też na zasoby międzydomenowe. Większość crawlerów domyślnie trzyma się hosta startowego, więc obrazy serwowane z subdomeny CDN albo fonty z zewnętrznego hosta są pomijane, chyba że poszerzysz zakres, a wtedy zapisane strony wracają pełne zepsutych odwołań. Jest też osad SEO: tagi canonical, URL-e Open Graph i bezwzględne linki wewnętrzne wciąż wskazują na starą domenę. Nieszkodliwe w archiwum osobistym, ale prawdziwy problem, jeśli mirror wraca do sieci.

Pobrany site to posąg: wygląda dokładnie tak, jak trzeba, a w środku nic się nie rusza.

Kiedy web downloader to złe narzędzie

Oczywisty przypadek: strona jest już offline. Downloader potrzebuje żywego serwera odpowiadającego na żądania, a wygasła domena czy martwy host nie dają mu czego crawlować. Ocalała kopia siedzi w Wayback Machine, a skierowanie wgeta na web.archive.org to męczarnia: dławione żądania, przepisane przez archiwum URL-e, wstrzykiwany toolbar na każdej stronie i snapshoty rozrzucone po latach.

Do tego właśnie istnieje Restorix. Przywraca strony ze snapshotów archiwum z wyborem zakresu dat, usuwa śmieci archiwalne i stare skrypty analityczne, i pokazuje dokładną liczbę zarchiwizowanych plików, łączny rozmiar i zablokowaną cenę, zanim cokolwiek zapłacisz.

Drugi przypadek złego narzędzia: chcesz treść, nie piksele, artykuły do arkusza kalkulacyjnego, produkty do bazy danych. To ekstrakcja, nie pobieranie. I trzeci: jeśli strona potrzebuje z powrotem swoich funkcji opartych na bazie danych, sklepu, forum, statyczny mirror daje ci wygląd, nie maszynę. Potrzebujesz przywracania plus świeżego backendu.

Od plików z powrotem do żywej strony

Folder z mirrorem to nie strona internetowa. Przywrócenie go do sieci oznacza hostowanie go gdzieś, naprawienie bezwzględnych linków, usunięcie martwych skryptów śledzących i ogarnięcie HTTPS. Da się ręcznie, albo pomiń tę hydraulikę: Restorix deployuje przywrócone strony prosto na SSH/SFTP, FTP/FTPS lub S3, z lekkim CMS-em w zestawie, żeby strona znów była edytowalna, nie tylko do oglądania. Tak czy inaczej, przetestuj efekt na telefonie, zanim uznasz, że gotowe.