Веб-кэш: как он работает и зачем он нужен

Каждая страница, которую вы когда-либо открывали, это копия. Браузер не загружал сайт; он брал копию из кэша, который в свою очередь брал копию из другого кэша, а тот обращался к настоящему серверу только в крайнем случае. Эта цепочка копий и есть система веб-кэширования, и большую часть времени она остаётся невидимой начинкой, до тех пор, пока нужная вам страница не исчезнет, и вопрос о том, чья копия уцелеет, не приобретёт совсем другой смысл.

Разберёмся, как работает каждый уровень, куда ещё можно заглянуть и как с их помощью увидеть страницу, которой больше не существует.

Что вообще такое веб-кэш?

Веб-кэш, это сохранённая копия ответа, которая хранится где-то между исходным сервером и вашим экраном, чтобы следующий запрос выполнялся быстрее и дешевле. Вот и всё определение. Источник задаёт срок, в течение которого копию можно использовать повторно, через заголовки вроде Cache-Control и ETag; кэш отдаёт копию, пока она не устареет, а затем проверяет её актуальность или запрашивает свежую.

Из этого следуют два вывода. Во-первых, в вебе не одна копия каждой страницы, а тысячи, разбросанные по браузерам, серверам и сервисам. Во-вторых, почти ни одна из этих копий не делалась для того, чтобы вы потом её открыли. Они существуют ради скорости и в большинстве своём испаряются по расписанию. Когда страница пропадает, вся задача сводится к тому, чтобы найти тот единственный кэш, который был создан хранить.

Четыре вида веб-кэша, которые стоит знать

На практике важны четыре уровня. Они кардинально отличаются по срокам хранения и по тому, пустят ли вас внутрь:

Понаблюдайте, как загружается одна страница, и вы увидите всю эту систему в действии. Откройте сайт на телефоне: кэш браузера отдаст всё, что у него есть, ближайший узел CDN подхватит остальное, а исходный сервер проснётся только ради того, чего ни у кого не нашлось. После этого каждый уровень хранит свои копии, по своему расписанию, по своим причинам, и почти никто из них не думает о вас.

Кэш браузера: копия на вашем устройстве

Браузер хранит изображения, скрипты, стили, а иногда и целые страницы в дисковом кэше, чтобы при повторных визитах не обращаться к сети. Это единственный веб-кэш, которым вы владеете физически, и он практически бесполезен для целенаправленного восстановления: у него нет интерфейса просмотра, Chrome удалил страницу chrome://cache несколько лет назад, записи лежат под хешированными именами, а кэш молча вытесняет их, когда ему нужна память.

Однако кое-что полезное всё же остаётся. Если вы заходили на страницу незадолго до того, как она упала, перезагрузка из истории иногда отдаст её из кэша быстрее, чем успеет прийти 404, шансы невелики, зато и цена нулевая, попробовать стоит. А ещё история всегда хранит точный URL, это именно тот вход, который нужен любому другому инструменту восстановления.

CDN и прокси-кэши: посредники

Между вами и большинством популярных сайтов стоит сеть доставки контента, которая держит копии в пограничных узлах по всему миру, плюс кэширующий слой, добавленный хостингом. Эти кэши подчиняются заголовкам источника, и правильно настроенный кэш продолжает отдавать устаревший контент ещё какое-то время после смерти источника, директива stale-if-error существует именно для таких случаев. Поэтому сайт может выглядеть вполне живым ещё несколько дней после того, как сервер отключили от розетки.

Для восстановления, правда, относитесь к CDN-кэшам как к погоде: они могут ненадолго продлить видимость сайта, но запросить их, просмотреть или попросить копию за прошлый год нельзя. Корпоративные прокси-кэши, та же история с дополнительным слоем намеренной закрытости. Копии существуют, но ни одна из них не для вас. Я как-то видел, как магазин клиента на Magento оставался «в строю» четыре дня после смерти сервера, CDN исправно отдавал главную и категории, а оформление заказа молча падало. Выглядел живым, а на деле был музеем.

Поисковики и архивы: кэши, созданные, чтобы их смотрели

Кэши поисковых систем два десятилетия были любимым способом восстановления для всех: Google хранил просматриваемую копию последнего обхода, в одном клике от каждого результата. В феврале 2024 года Google это закрыл, оператор cache: и ссылки «Сохранённая копия» исчезли, а Bing постепенно сворачивает свою версию. Поисковики по-прежнему кэшируют веб внутри себя, но публичное окно в этот кэш закрывается.

Остаётся слой, который вообще никогда не был кэшем, а был библиотекой: архивы. Wayback Machine обходит сайты по расписанию и принимает сохранения по запросу через Save Page Now. archive.today сохраняет страницы по запросу и сначала рендерит JavaScript. Common Crawl публикует сырые данные обходов бесплатно для всех, кто готов работать с его индексом. Эти копии делались для того, чтобы их через десятилетия открывали незнакомцы, такого не может сказать о себе ни один другой уровень веб-кэша.

Как с помощью веб-кэша увидеть потерянную страницу

1. Уточните точный URL: из истории браузера, из ссылки, которая не открылась, или из цитаты. Любой поиск по кэшу начинается с URL.
2. Запросите Wayback Machine: адрес вида web.archive.org/web/ плюс URL. На календаре видны все снимки; выбирайте живой год, а не эпоху парковочных страниц.
3. Затем проверьте archive.today. Он сохранял другие страницы по другим правилам, и его рендеринг JavaScript ловит страницы, которые у Wayback отображаются пустой оболочкой.
4. Попробуйте индекс Common Crawl по адресу index.commoncrawl.org, если оба не помогли, сырой HTML, без украшений, иногда это единственная копия в природе.
5. Если страница упала лишь пару дней назад, ищите ссылку на сохранённую копию в результатах Bing, пока эта функция ещё работает, и попробуйте один раз перезагрузить страницу из истории своего браузера.
6. Когда страница с сайта тянет за собой ещё двадцать, остановитесь. Лучше восстановите сайт целиком: сервис восстановления сайтов даст бесплатную оценку, точное число архивных файлов, общий размер и фиксированную цену, ещё до того, как вы на что-либо решитесь.

Для публичных страниц, просуществовавших год и более, ждать успеха можно примерно в восьми случаях из десяти. Провалы предсказуемо скапливаются вокруг сайтов, закрытых через robots.txt, контента за логином и страниц, удалённых до того, как до них добрался хотя бы один краулер.

Когда все веб-кэши подводят

Некоторые страницы нигде не копировались: слишком новые, заблокированы для краулеров, скрыты за логином или так плотно завязаны на JavaScript, что архив сохранил только оболочку без содержимого. Когда кэши один за другим оказываются пусты, задача меняется, вместо извлечения нужно восстанавливать по крупицам: ищите цитаты фраз через поиск, чтобы выйти на перепечатки и цитирования, проверяйте ссылки в Wikipedia, которые ведут на пропущенные вами снимки, и не бойтесь старого доброго способа, написать автору письмо с просьбой поделиться копией. Восстановление старых веб-страниц подробно разбирает эту криминалистическую работу.

Сохраняйте своё, пока не понадобилось

Надёжный способ выиграть в игре с веб-кэшем, перестать зависеть от чужих кэшей. Любую страницу, которая вам дорога, отправьте в Save Page Now и в archive.today, чтобы два независимых архива держали её, и храните локальную копию в виде PDF или HTML одним файлом. Со своим сайтом будьте ещё проще: настоящие бэкапы по расписанию. Любой кэш из этого списка, случайная удача; бэкап, это решение, принятое нарочно.

А если за страницей, которую вы ищете, тянется ещё множество страниц того же сайта, не ходите поштучно: восстановите сайт из архива один раз через Restorix, разверните его с помощью встроенной single-file CMS, и проблема восстановления перестанет возвращаться. В руководстве весь процесс показан от начала до конца.