Przywróć stronę z Archive.org: samodzielnie czy zlecić?

Są dwa sposoby, żeby wyciągnąć martwą stronę z Archive.org. Możesz spędzić weekend, męcząc się z wget i ręcznie przepisując linki, albo zapłacić za plik i mieć wyczyszczoną stronę wdrożoną na hostingu, podczas gdy ty robisz coś innego. Oba podejścia są uczciwe. Przy obu znajdą się ludzie, którzy będą przekonywać, że to drugie jest złe.

Przeszedłem obie drogi, od dziesięciostronicowego portfolio po forum phpBB z 2009 roku i 4000 załącznikami. Oto szczery rozkład: co kosztuje każda opcja, gdzie każda się sypie, i ramy decyzyjne, które nie zakładają, że twój czas jest bezwartościowy.

Co tak naprawdę dostajesz, przywracając stronę z Archive.org

Najpierw urealnij oczekiwania, bo archiwum nie jest backupem. Wayback Machine przechowuje to, co jego crawler był w stanie zobaczyć: strony HTML oraz obrazy, CSS i JavaScript, gdy były publiczne i dostępne do crawlowania. To dużo, często cała widoczna strona.

Czego nie przechowuje: wszystkiego, co za logowaniem, obsługi formularzy, baz danych, indeksów wyszukiwania i zwykle tego, co JavaScript renderował po stronie przeglądarki w nowszych stronach. Przywrócona strona WordPress wraca jako strony statyczne, nie WordPress. Przywrócony sklep wraca bez działającego koszyka. Niezależnie od wybranej drogi, ten sufit obowiązuje, usługa „zleć to” przywraca te same pliki, co ty, tylko szybciej i czyściej.

Jeszcze jedno oczekiwanie do urealnienia: snapshoty to nie gwarancje. Crawler mógł pobrać HTML strony, ale pominąć tego dnia grafikę w banerze albo zapisać przekierowanie zamiast strony. Pokrycie robi się też rzadsze na stronach, które blokowały archiwizację albo stały za agresywną ochroną przed botami. W przypadku większości stron, które były publiczne i linkowane, archiwum sięga jednak zaskakująco głęboko, wrócą typy stron, o których istnieniu zapomniałeś.

Droga samodzielna, krok po kroku

Samodzielny zestaw narzędzi jest darmowy i działa. Dla małej, w większości statycznej strony to zupełnie sensowny weekendowy projekt:

1. Znajdź snapshoty: użyj kalendarza Wayback Machine albo API CDX, żeby wylistować każdy zapisany URL domeny.
2. Pobierz hurtowo: odpal narzędzie typu wayback-machine-downloader albo wget z flagami mirrorowania na wybranym zakresie dat. Nasz przewodnik o tym, jak pobrać stronę z Archive.org, opisuje komendy.
3. Wyczyść markup: wytnij wstrzyknięty przez archiwum kod paska narzędzi i przepisz URL-e z prefiksem web.archive.org na linki względne.
4. Namierz brakujące assety: obrazy i pliki pominięte przez crawlera trzeba pozyskać z innych źródeł albo odtworzyć.
5. Przetestuj lokalnie, potem wgraj na hosting i napraw to, co przesiadka psuje, zwykle bezwzględne URL-e i ostrzeżenia o mieszanej zawartości HTTPS.

Zaplanuj 10–15 minut na stronę z samą robotą, mniej przy dobrych narzędziach. Trzydzieści stron to popołudnie. Trzysta stron to miesiąc wieczorów.

Gdzie samodzielne przywracanie się sypie

Pobranie to łatwa część. Czyszczenie to jest to, gdzie umierają weekendy.

• Operacja na linkach: każdy href i src wskazuje na web.archive.org. Przepisanie ich brzmi banalnie, dopóki nie natkniesz się na query stringi, zakodowane URL-e i linki ukryte w JavaScripcie.
• Brakujące obrazy: pokrycie graficzne przez crawlera jest dziurawe, szczególnie po 2015 roku. Odkrywasz to po jednej niedziałającej miniaturze na raz.
• Ciche luki: strony, o których istnieniu zapomniałeś, stare landing pages, archiwa tagów, zostają martwe, chyba że najpierw wymienisz każdy URL.
• Zniekształcenie kodowania: stare strony zakodowane w Latin-1 wracają z krzakami zamiast polskich znaków, gdy narzędzia zakładają UTF-8.
• Pułapka 80%: pierwsze 80% strony zajmuje 20% czasu. Ostatnie 20%, dziwne szablony, ramki, strony z epoki Flasha, zjada resztę. Pewien sklep WooCommerce klienta, wyceniony jako szybka robota, zjadł właścicielowi sześć tygodni wieczorów, a paginacja kategorii nigdy nie działała do końca dobrze.

Zauważ, czego na tej liście nie ma: samego pobierania. Ściąganie plików to rozwiązany problem. Każda historia o nieudanym samodzielnym przywracaniu, jakie słyszałem, a słyszałem ich sporo, zaczyna się od kogoś, kto nie docenił czyszczenia, nie pobierania.

Przywróć stronę z Archive.org sposobem „zleć to”

Narzędzia „zleć to” istnieją, bo czyszczenie da się zautomatyzować, a produktem nigdy nie było pobieranie, produktem jest czyszczenie. Restorix przeprowadza przywracanie za ciebie: wybierasz domenę i zakres dat, a usługa pobiera archiwalne pliki, przepisuje linki, usuwa to, o co poprosisz, i wdraża wynik.

Szczegóły, które mają znaczenie: wycena jest darmowa i pokazuje dokładną liczbę plików w archiwum, łączny rozmiar i zablokowaną cenę, zanim cokolwiek zapłacisz, płacisz za każdy przywrócony plik plus niewielką opłatę stałą, pierwszy plik gratis. Opcje przywracania obejmują najbardziej żmudne części: usuwanie analityki, reklam, iframe’ów i linków zewnętrznych; minifikację JS i CSS; zamianę linków wewnętrznych na względne; kanonizację do www lub non-www; zachowanie przekierowań 301 i 302; konwersję wszystkiego na HTTPS.

Wdrożenie to jedno kliknięcie na serwery SSH lub SFTP, hosting współdzielony FTP lub FTPS albo S3, a dołączony CMS w jednym pliku webarchive-cms.php sprawia, że przywrócona strona pozostaje edytowalna, edycja treści, wyszukaj i zamień oraz menedżer plików, z hasłem admina na stronę i włączonym domyślnie trybem bezpiecznym. Jeśli przywracanie lub wdrożenie się nie powiedzie, zwrot na saldo jest automatyczny. Doładowania są jednorazowe; nie ma subskrypcji, o której można by zapomnieć i nie anulować.

Samodzielnie czy zlecić: szczere porównanie

Dwa wiersze zasługują na wyróżnienie. Czas nie rozkłada się liniowo, koszt na stronę przy samodzielnym podejściu rośnie, im starszy i dziwniejszy serwis. A wiersz o ryzyku to ten, który ludzie ignorują: nieudane samodzielne przywracanie kosztuje cię godziny, nieudana usługa nie kosztuje nic.

Jak zdecydować, która droga jest dla ciebie

Zapomnij o ideologii. Decyzja to arytmetyka plus jedno uczciwe pytanie o siebie.

• Poniżej 30 stron, statycznie, i lubisz takie majsterkowanie: samodzielnie. To satysfakcjonujący projekt i naprawdę darmowy.
• Ponad 100 stron albo jakikolwiek serwis z dużą liczbą assetów: zlecić. Matematyka na stronę szybko przestaje działać na korzyść samodzielnego podejścia.
• Praca dla klienta albo jakikolwiek termin: zlecić. Zablokowana cena i zadanie bez nadzoru biją optymistyczny szacunek własnych wieczorów.
• Twoja stawka godzinowa razy liczba godzin przy samodzielnym podejściu przekracza zablokowaną wycenę: zlecić. Przelicz się z tym na zimno, ludzie systematycznie zaniżają swój własny czas.
• Chcesz zrozumieć, jak działa archiwum: zrób samodzielnie najpierw małą stronę. Ta wiedza się przenosi i będziesz korzystać z narzędzi „zleć to” ze znacznie lepszym rozeznaniem już zawsze.

Podejście hybrydowe jest niedoceniane: zrób samodzielnie pobranie na małej stronie, żeby zrozumieć proces, a potem zapłać za przywracanie, gdy strona naprawdę ma znaczenie. Nawet zagorzali samodzielni powinni odpalić darmową wycenę, znajomość realnej liczby plików w archiwum mówi ci z góry, czy weekendowy plan to dwie godziny czy dwadzieścia.

Pierwsze kroki, żeby przywrócić stronę z Archive.org, niezależnie od wybranej drogi

1. Potwierdź pokrycie: znajdź zakres dat, w którym strona wyglądała kompletnie i kluczowe strony mają snapshoty.
2. Wybierz datę docelową: najlepiej wyglądająca era, niekoniecznie najnowsza.
3. Określ realny zakres: odpal darmową wycenę, żeby dostać dokładną liczbę plików w archiwum i łączny rozmiar.
4. Wybierz drogę z pomocą powyższych ram.
5. Ustal hosting: dowolny hosting współdzielony albo VPS działa; wdrożenia „zleć to” obsługują bezpośrednio SSH, SFTP, FTP i S3.
6. Po przywróceniu przejdź kliknięciem każdy typ strony raz i napraw niedziałające formularze, zanim uznasz robotę za skończoną. Tutorial przeprowadza przez cały proces.