Wayback Machine vs Google: Znajdź utracone strony po wycofaniu pamięci podręcznej

Przez dwadzieścia lat najszybszym sposobem na zobaczenie strony, która właśnie zniknęła, był link Google Cache. W lutym 2024 roku Google go usunął, a do września przestał również działać operator wyszukiwania cache:. W tym samym roku Google zrobiło coś nieoczekiwanego: zaczęło linkować do Wayback Machine Internet Archive z panelu Informacje o tym wyniku. Przekaz był jasny, Google to indeks na żywo, a nie archiwum, i przestało udawać, że jest inaczej.

Ale te dwa narzędzia wciąż najlepiej działają razem. Oto jak je łączę, gdy strona lub cała witryna zniknęła, włączając w to triki z operatorami, które przetrwały czystkę.

Wayback Machine vs Google: dwa różne rodzaje pamięci

Google utrzymuje indeks żywej sieci. Nieustannie ją przeszukuje, co godzinę aktualizuje rankingi, a jego celem jest odpowiadanie na podstawie tego, co jest aktualne w danej chwili. Gdy strona się zmienia, stara wersja jest odrzucana przy następnym indeksowaniu. Gdy strona znika, jej wpis utrzymuje się przez chwilę, a potem wypada.

Wayback Machine działa odwrotnie. To biblioteka zrzutów tylko do dopisywania, sięgająca 1996 roku, ponad 900 miliardów stron. Nie obchodzi jej, co jest istotne w tym tygodniu; obchodzi ją, co strona mówiła 12 marca 2014 roku, i pokaże ci dokładnie tę wersję, z całym wyglądem.

Zatem narzędzia odpowiadają na różne pytania. Google: co jest na tej stronie teraz? Wayback: co ta strona mówiła kiedyś? Zamieszanie między nimi sprawia, że wiele osób myśli, że sieć ma pamięć, której nie ma.

Co się stało z Google Cache

Przez dwie dekady każdy wynik Google krył link Kopia, zrzut strony tak, jak ostatnio widziała ją Googlebot. Był to standardowy ratunek, gdy strona wyświetlała błąd 404 na pięć minut przed spotkaniem. W lutym 2024 roku Danny Sullivan, łącznik Google ds. wyszukiwania, ogłosił wycofanie tego linku, argumentując, że niezawodność stron wzrosła, a użycie spadło. Do września 2024 roku operator wyszukiwania cache: przestał całkowicie działać.

W kwestii czasu ważne są dwie rzeczy. Po pierwsze, pamięć podręczna nigdy nie była archiwum: przechowywała dokładnie jedną wersję, z ostatniego indeksowania, i stale ją nadpisywała. Jej utrata kosztowała nas przypadek „usunięto dziś rano”, a nie cokolwiek historycznego. Po drugie, w tym samym miesiącu, w którym zniknęła pamięć podręczna, Google dodało linki do Wayback Machine w panelu Informacje o tym wyniku. Kliknij trzy kropki obok dowolnego wyniku, wybierz Więcej o tej stronie, a Google przekieruje cię do zrzutów Internet Archive. Google oficjalnie wskazało swoim użytkownikom narzędzie, które faktycznie wykonuje to zadanie.

W przypadku bardzo niedawnych usunięć opcje są teraz skromniejsze: Wayback często indeksuje popularne strony, archive.today zapisuje strony na żądanie, a same fragmenty Google utrzymują się w wynikach przez wiele dni po śmierci strony. To zwykle wystarcza. Ledwo.

Użyj Google do przeszukiwania indeksu Wayback Machine

Wayback Machine ma wersję beta wyszukiwania pełnotekstowego, ale jest niespójna. Obejście, o którym nikt nie mówi: Google indeksuje wycinek samego web.archive.org, a Google jest bardzo dobry w wyszukiwaniu.

Schemat jest prosty: site:web.archive.org/web plus domena, tytuł lub, najlepiej, fraza, którą pamiętasz dosłownie. Wyszukanie site:web.archive.org "z przykrością informujemy" obok nazwy marki wydobywa zarchiwizowane ogłoszenia o zaprzestaniu, których własne wyszukiwanie Wayback nie znajdzie. Zarchiwizowane komunikaty prasowe, usunięte przeprosiny, stara dokumentacja: wszystko jest dozwolone.

Ustal oczekiwania prawidłowo. Google zindeksowało tylko ułamek zrzutów archiwum, większość z tych 900 miliardów stron jest dla niego niewidoczna. Wyszukanie z zerowym wynikiem niczego nie dowodzi; oznacza to, że nie ma w wycinku archiwum Google, a nie że nie jest zarchiwizowane. Traktuj Google jako warstwę odkrywczą, a kalendarz Wayback jako źródło prawdy.

Sztuczki z operatorem site: w Google i Wayback Machine

Oto zapytania, które faktycznie wykonuję, mniej więcej w kolejności:

1. site:example.com, najszybszy spis tego, co Google wciąż wie o umierającej witrynie. Fragmenty utrzymują się przez dni lub tygodnie po tym, jak same strony zwracają 404.
2. site:example.com inurl:blog (lub /products/, /docs/), dzieli dużą domenę na sekcje, aby sprawdzić pokrycie według obszarów.
3. site:example.com filetype:pdf, stare białe księgi, instrukcje i karty specyfikacji. Każdy martwy adres URL PDF trafia prosto do paska Wayback.
4. "dokładna fraza z usuniętej strony", wyszukiwania w cudzysłowie znajdują kopie scraperów, cytaty z forów i lustra. Im bardziej charakterystyczna fraza, tym lepiej.
5. before:2019-01-01, operatory before: i after: kierują wyniki w stronę interesującej cię epoki.
6. site:web.archive.org/web "example.com", przechodzi od razu do zrzutów, które Google zindeksowało.

Gdy masz już adres URL, dwa skróty oszczędzają naprawdę dużo czasu. Wklej go do Wayback z web.archive.org/web/2/, a następnie adres, 2 przekierowuje do najbliższego zrzutu w czasie. Albo użyj API dostępności: archive.org/wayback/available?url=example.com/old-page zwraca najbliższy zrzut jako schludny JSON, czyli dokładnie to, czego potrzebujesz w skryptach.

Kiedy wygrywa Google, a kiedy Wayback Machine

Szybka tabela decyzyjna:

W skrócie: Google znajduje igły; Wayback przechowuje stogi siana. Jeśli potrzebujesz pełnego spisu adresów URL, a nie jednej strony, ścieżka CDX jest opisana krok po kroku w przewodniku znajdowanie wszystkich stron w witrynie.

Przykład praktyczny: polowanie na martwą stronę produktu z 2012 roku

Prawdziwy scenariusz z zeszłej wiosny. Sklep WooCommerce klienta zastąpił ich starą witrynę Joomla wiele lat wcześniej; sprzedawca potrzebował karty specyfikacji wycofanego produktu, a kopie zapasowe klienta były, jak to ujął, gdzieś na dysku.

1. Uruchomiłem site:clientdomain.com filetype:pdf i site:clientdomain.com inurl:products. Aktywna witryna nie miała nic, ale utrzymujący się fragment ujawnił stary wzorzec adresów URL Joomla, index.php z identyfikatorem artykułu.
2. Wkleiłem domenę do Wayback Machine i przeskoczyłem do zrzutów z 2012 roku za pomocą wykresu kalendarza.
3. Przeszedłem od zrzutu strony głównej do sekcji produktów. Pierwszy zrzut miał uszkodzone obrazy; zrzut cztery miesiące później był kompletny, z działającym linkiem do PDF.
4. Sprawdziłem krzyżowo archive.today dla kilku stron, które Wayback pominął.

Całkowity czas: około dziesięciu minut. Bez sztuczek z operatorami to wieczór ślepych zaułków. Ruchy są proste; wiedza, które narzędzie odpowiada na które pytanie, to cała umiejętność.

Jeden szczegół wart zapamiętania z tego zlecenia: uszkodzone obrazy w pierwszym zrzucie nie zostały utracone, były po prostu asynchroniczne. Wayback indeksuje strony i ich zasoby w różnym czasie, więc strona przechwycona w marcu może odwoływać się do obrazów przechwyconych w czerwcu. Gdy zrzut wygląda na w połowie pusty, nie poddawaj się, przeskocz kilka miesięcy do przodu lub do tyłu, a brakujące elementy zwykle się uzupełniają. Fragmenty Google cierpią na tę samą rozłożoną w czasie aktualność, dlatego fragment może cytować akapit, którego obecna strona już nie zawiera.

Od znalezionych stron do działającej witryny ponownie

Znajdowanie stron to przyjemna część. Odbudowa witryny ze zrzutów już nie: kliknij prawym przyciskiem i zapisz jako, zmień nazwy zasobów, napraw ścieżki, a przy czterdziestej stronie odkrywasz, że arkusz stylów znajduje się w innym dniu zrzutu. Widziałem, jak ludzie tracą weekend na piętnastostronicowej witrynie.

To jest problem, który automatyzuje Restorix. Darmowa wycena odczytuje indeks CDX Wayback i podaje dokładną liczbę zarchiwizowanych plików, całkowity rozmiar i zablokowaną cenę, zanim cokolwiek zapłacisz. Odtwarzanie odbywa się w modelu płatności za plik, z pierwszym plikiem za darmo, możesz usunąć ówczesne kody analityczne i reklamowe, a odbudowana witryna wdraża się na twój własny hosting jednym kliknięciem, lub eksportuje jako dane strukturalne, jeśli wolisz samodzielny hosting. Gdy Google i Wayback Machine pokazały ci, co istniało, oto jak to odzyskać.