Pamięć podręczna sieci Web: jak działa i jak z niej korzystać

Każda strona, którą kiedykolwiek otworzyłeś, była kopią. Przeglądarka nie pobrała witryny; pobrała kopię z pamięci podręcznej, która przechowywała kopię z innej pamięci podręcznej, a ta pytała rzeczywisty serwer tylko wtedy, gdy musiała. Ten łańcuch kopii to system pamięci podręcznej sieci Web i przez większość czasu jest to niewidoczna instalacja, aż do momentu, gdy potrzebna Ci strona znika, a pytanie, czyja kopia przetrwała, staje się bardzo interesujące.

Oto jak naprawdę działa każda warstwa, do których wciąż można zajrzeć i jak ich użyć, aby zobaczyć stronę, która już nie istnieje.

Czym naprawdę jest pamięć podręczna sieci Web?

Pamięć podręczna sieci Web to przechowywana kopia odpowiedzi, trzymana gdzieś między serwerem źródłowym a Twoim ekranem, aby kolejne żądanie było szybsze i tańsze. To cała definicja. Serwer źródłowy określa, jak długo kopia może być ponownie używana, za pomocą nagłówków takich jak Cache-Control i ETag; pamięć podręczna serwuje kopię, dopóki nie stanie się nieaktualna, a następnie ponownie ją waliduje lub pobiera świeżą.

Wynikają z tego dwie konsekwencje. Po pierwsze, sieć to nie jedna kopia każdej strony, ale tysiące, rozproszone po przeglądarkach, serwerach i usługach. Po drugie, prawie żadna z tych kopii nie została stworzona po to, byś mógł ją później przeglądać. Istnieją dla szybkości i większość z nich znika zgodnie z harmonogramem. Cała gra, gdy strona znika, polega na znalezieniu tej jednej pamięci podręcznej, która została zbudowana, by przechowywać rzeczy.

Cztery rodzaje pamięci podręcznej sieci Web, które warto znać

W praktyce liczą się cztery warstwy. Różnią się one diametralnie tym, jak długo przechowują dane i czy masz do nich dostęp:

Obserwuj ładowanie pojedynczej strony, a zobaczysz cały stos w działaniu. Otwórz witrynę na telefonie, a pamięć podręczna przeglądarki serwuje to, co już posiada, najbliższy węzeł brzegowy CDN dostarcza większość reszty, a serwer źródłowy jest wybudzany tylko dla tego, czego nikt nie miał kopii. Potem każda warstwa przechowuje swoje kopie, każda według własnego harmonogramu, z własnych powodów, prawie żadna z myślą o Tobie.

Pamięć podręczna przeglądarki: kopia na Twoim własnym komputerze

Twoja przeglądarka przechowuje obrazy, skrypty, arkusze stylów, a czasem całe strony w pamięci podręcznej na dysku, aby ponowne wizyty omijały sieć. To jedyna pamięć podręczna sieci Web, którą fizycznie posiadasz, i jest prawie bezużyteczna do celowego odzyskiwania: nie ma interfejsu przeglądania, Chrome usunął swoją stronę chrome://cache lata temu, wpisy są przechowywane pod zahaszowanymi nazwami plików, a pamięć podręczna po cichu usuwa rzeczy, gdy tylko potrzebuje zwolnić miejsce.

Pozostają dwie resztki praktycznej wartości. Jeśli odwiedziłeś stronę krótko przed jej zniknięciem, ponowne załadowanie z historii czasami serwuje ją z pamięci podręcznej, zanim pojawi się błąd 404, niskie szanse, zerowy koszt, warto spróbować. A Twoja historia zawsze przechowuje dokładny adres URL, który jest jedynym wejściem potrzebnym każdemu innemu narzędziu do odzyskiwania.

Pamięci podręczne CDN i proxy: pośrednicy

Między Tobą a większością popularnych witryn znajduje się sieć dostarczania treści przechowująca kopie w lokalizacjach brzegowych na całym świecie, plus wszelkie warstwy pamięci podręcznej dodane przez hosting. Te pamięci podręczne przestrzegają nagłówków serwera źródłowego, a dobrze skonfigurowana nadal serwuje nieaktualną zawartość przez jakiś czas po awarii źródła, dyrektywa stale-if-error istnieje właśnie dla martwych serwerów. Dlatego witryna może wyglądać na w pełni działającą przez wiele dni po odłączeniu jej serwera.

Jednak do odzyskiwania traktuj pamięci podręczne CDN jak pogodę: mogą utrzymać widoczność witryny nieco dłużej, ale nie możesz ich przeszukiwać, przeglądać ani prosić o zeszłoroczną kopię. Firmowe pamięci podręczne proxy to ta sama historia z dodatkową warstwą celowej nieprzejrzystości. Kopie istnieją; żadna z nich nie jest dla Ciebie. Kiedyś obserwowałem, jak sklep Magento klienta pozostawał „online” przez cztery dni po awarii serwera, CDN nadal serwował stronę główną i strony kategorii, podczas gdy realizacja zamówienia po cichu zawodziła. Wyglądał na żywy, był muzeum.

Wyszukiwarki i archiwa: pamięci podręczne stworzone do oglądania

Pamięci podręczne wyszukiwarek były ulubioną sztuczką odzyskiwania publiczności przez dwie dekady: Google przechowywał widoczną kopię swojego ostatniego indeksowania, jedno kliknięcie od każdego wyniku. Google wycofał to w lutym 2024 r., operator cache: i linki „Kopia” zniknęły, a Bing od tego czasu wygasza swoją wersję. Wyszukiwarki nadal wewnętrznie buforują sieć, ale okno, przez które mogła zaglądać publiczność, się zamyka.

Pozostaje warstwa, która nigdy nie była pamięcią podręczną, ale biblioteką: archiwa. Wayback Machine indeksuje zgodnie z harmonogramem i przyjmuje zapisy na żądanie przez Save Page Now. archive.today zapisuje strony na żądanie i najpierw renderuje JavaScript. Common Crawl publikuje surowe dane indeksowania za darmo dla każdego, kto chce przeszukać jego indeks. Te kopie zostały stworzone, aby mogły być odzyskane przez obcych po dziesięcioleciach, żadna inna warstwa pamięci podręcznej sieci Web nie może tego powiedzieć.

Jak użyć pamięci podręcznej sieci Web, aby zobaczyć utraconą stronę

1. Potwierdź dokładny adres URL z historii przeglądarki, z niedziałającego linku lub cytatu. Każde wyszukiwanie w pamięci podręcznej zaczyna się od adresu URL.
2. Zapytaj Wayback Machine: web.archive.org/web/ a po nim adres URL. Kalendarz pokazuje wszystkie migawki; wybierz zdrowy rok, a nie erę stron parkingowych.
3. Następnie sprawdź archive.today. Zapisuje różne strony według różnych reguł, a jego renderowanie JavaScript przechwytuje strony, które Wayback pokazuje jako puste skorupy.
4. Jeśli oba zawiodą, wypróbuj indeks Common Crawl na index.commoncrawl.org, surowy HTML, bez dodatków, czasem jedyna kopia gdziekolwiek.
5. Jeśli strona zniknęła zaledwie kilka dni temu, poszukaj linku z pamięci podręcznej w wynikach Bing, póki ta funkcja działa, i spróbuj jednego przeładowania z własnej historii przeglądarki.
6. Kiedy jedna strona zamienia się w dwadzieścia z tej samej witryny, przestań. Zamiast tego przywróć witrynę hurtowo: nasze narzędzie daje darmową wycenę, dokładną liczbę zarchiwizowanych plików, całkowity rozmiar i stałą cenę, zanim się do czegokolwiek zobowiążesz.

Spodziewaj się około ośmiu sukcesów na dziesięć dla publicznych stron, które istniały rok lub dłużej. Niepowodzenia skupiają się przewidywalnie: witryny zablokowane dla robotów, treści za loginem i strony usunięte, zanim jakikolwiek robot indeksujący je odwiedził.

Kiedy każda pamięć podręczna sieci Web zawodzi

Niektóre strony nigdy nie zostały nigdzie skopiowane: zbyt nowe, zablokowane dla robotów, za loginem lub tak mocno renderowane w JavaScript, że archiwa zapisały tylko skorupę bez treści. Kiedy każda pamięć podręczna jest pusta, praca zmienia się z odzyskiwania w rekonstrukcję, wyszukiwanie cytowanych fraz, aby wydobyć syndykację i cytaty, cytaty z Wikipedii, które linkują do migawek, które przeoczyłeś, oraz niemodny, ale skuteczny ruch, jakim jest wysłanie e-maila do autora z prośbą o kopię. Odzyskiwanie starych stron internetowych szczegółowo opisuje tę ścieżkę śledczą.

Buforuj własne rzeczy, zanim będą potrzebne

Niezawodny sposób na wygranie gry w pamięć podręczną sieci Web to przestać polegać na cudzych pamięciach podręcznych. Dla każdej strony, na której Ci zależy, prześlij ją do Save Page Now i do archive.today, aby dwa niezależne archiwa ją przechowywały, i zachowaj lokalną kopię jako PDF lub pojedynczy plik HTML. Dla własnej witryny bądź jeszcze bardziej nudny: prawdziwe kopie zapasowe zgodnie z harmonogramem. Każda pamięć podręczna na tej liście to przypadek, na który miałeś szczęście; kopia zapasowa to decyzja, którą podjąłeś celowo.

A jeśli strona, za którą gonisz, jest jedną z wielu na Twojej własnej witrynie, całkowicie pomiń fragmentaryczną ścieżkę: przywróć witrynę z archiwum raz za pomocą Restorix, wdróż ją z dołączonym jedno-plikowym CMS-em, a problem odzyskiwania przestanie się powtarzać. Samouczek pokazuje cały proces od początku do końca.