Wayback İndirme: Her Yöntem Emeye Göre Sıralandı

Site gitti. Hosting sağlayıcısı silmiş, yedekler boş birer tarball, ve Dünya'da kalan tek kopya Wayback Machine'in içinde. Şimdi gerçekten çalışan bir wayback indirmesine ihtiyacınız var ve bunu yapmanın dört yolu var. Bunlar iki dakikalık bir tarayıcı hilesinden her şeyi sizin için yapan bir hizmete kadar uzanıyor ve aralarındaki emek farkı devasa. İşte her yöntem, size kaç saat mal olduğuna göre sıralandı; landing sayfalarında kimsenin söylemediği başarısızlık senaryolarıyla birlikte.

Bir Wayback indirmesi size aslında ne kazandırır?

Wayback Machine sitenizi saklamaz. Yanıtları saklar: bir URL, bir tarama, bir zaman dilimi. Ana sayfanızın 10.000 kaydı olabilirken gizlilik politikanızın 2014 ve 2019'dan iki kaydı olabilir. Bir wayback indirmesi, bu saklanan yanıtları URL başına tek tek çekip orijinaline benzeyen bir şey oluşturmak demektir.

Bunun iki sonucu var. Birincisi, tarayıcının hiç görmediği her şey kalıcı olarak gitmiştir: veritabanı yok, PHP kaynak kodu yok, yönetim paneli yok, giriş arkasında hiçbir şey yok. İkincisi, çektiğiniz her dosya sizin seçmediğiniz bir tarama zamanında dondurulmuştur. 2016 stil dosyasını 2021 ana sayfasıyla karıştırırsanız site bir tehdit mektubu gibi görünür, çünkü tam olarak öylesini bir araya getirdiniz.

Her anlık görüntü sayfasındaki takvim görünümü bunu görünür kılar. Mavi daireler taramaları işaretler ve az popüler sayfalarda aralarındaki boşluklar yıllarca uzayabilir. Bu yüzden bir yöntem seçmeden önce bir hedef tarih belirleyin: sitenin istediğiniz gibi göründüğü yıl. Bundan sonraki her karar, hangi kayıtların çekileceği, hangi varlıklara güvenileceği, daha kolaylaşır.

Yöntem 1: Tarayıcınızda tek bir sayfa kaydetmek

Anlık görüntüyü açın, Ctrl+S'ye basın, Web sayfası, tamam seçeneğini seçin. Bitti. Tek sayfa için bu var olan en hızlı wayback indirme yöntemidir. Yaklaşık on sayfadan fazlasında kendinize işkence etmeye dönüşür, bu yüzden nerede duracağınızı bilin. Tarayıcı bir şeyi bozarsa, geliştirici araçlarını açın, ağ sekmesindeki varlık URL'lerini bulun ve bu dosyaları tek tek kaydedin.

• id_ hilesini kullanın: anlık görüntü URL'sindeki zaman damgasından sonra id_ ekleyerek orijinal HTML'i tam olarak kaydedildiği gibi, Wayback araç çubuğu ve yeniden yazılmış bağlantılar olmadan alın.
• Kaydedilen sayfalar varlıklarını web.archive.org'a doğrudan bağlantı olarak bırakır. Dosyayı çevrimdışı açtığınızda, açıkça kaydetmediğiniz sürece görsellerin yarısı kaybolur.
• Kaydetmeden önce takvim görünümünde yakalama tarihini kontrol edin. Yanlış yılı almak en yaygın acemi hatasıdır ve arşiv nadiren sizi uyarır.

Yöntem 2: Bir wget Wayback indirme betiği

Klasik hareket, wget'i mirror modunda arşivlenmiş bir URL'ye yöneltmektir: wget --mirror --page-requisites --convert-links https://web.archive.org/web/2019/https://example.com. wget, Wayback'in enjekte ettiği yeniden yazılmış bağlantıları takip eder, bu da sizi arşiv içinde tutar ve --page-requisites her sayfanın ihtiyaç duyduğu CSS, JavaScript ve görselleri çeker.

40 sayfalık bir broşür sitesi için bu bir akşamda bitebilir. O akşamı gözetleme için ayırın. archive.org agresif istemcileri yavaşlatır, bu yüzden istekler arasına --wait=2 ekleyin ve takıldığında komutu birkaç kez yeniden çalıştırmayı bekleyin. wget'i hedef zaman damganıza yakın tutan bir --reject regex'i, onu yirmi yıllık kayıtlar arasında yanlara kaymaktan alıkoyar.

Elinize geçen şey, hala Wayback araç çubuğu taşıyan, her varlık URL'sinin içinde zaman damgaları bulunan ve tarayıcının bir dosyayı kaçırdığı yerlerde sessiz boşluklar olan bir HTML dizinidir. O yığını dağıtılabilir bir siteye dönüştürmek ikinci bir projedir ve insanların planlamayı unuttuğu kısım budur.

Yöntem 3: CDX API'ye karşı betik yazmak

Kör tarama yeterli olmadığında kaynağa gidin. CDX API, bir URL veya alan adı için her kaydın makine tarafından okunabilir bir listesini döndürür: web.archive.org/cdx/search/cdx?url=example.com/*&output=json&filter=statuscode:200&collapse=urlkey. Bu tek istek, bir saatlik wget'ten bile daha kullanışlıdır, çünkü herhangi bir şey indirmeden önce neyin var olduğunu söyler.

Döngü Python veya Node'da basittir: listeyi okuyun, her kaydı id_ sonekiyle çekin, diske kaydedin, istekler arasında kibarca bekleyin. Güç filtrelerde yatar. Yıla veya MIME türüne göre kısıtlayın ve her benzersiz dosyayı kırk kez yerine bir kez çekmek için collapse=digest kullanarak yinelenen kayıtları bırakın.

Bu, bir şirketin yayımladığı her PDF'i çekmek veya belirli bir tarihe kadar bir dizini yeniden inşa etmek gibi adli işlerde başvurduğum yöntemdir. Aynı zamanda gerçek bir programlama projesidir: orta boy bir site için dikkatli bir betik, yazma, test etme ve bağlantının sabah 2'de düştüğünden sonra yeniden çalıştırma ile geçen bir hafta sonudur.

Yöntem 4: Otomatik geri yükleme hizmetleri

Dördüncü seçenek manuel işi tamamen atlamaktır. Bu iş için yapılmış hizmetler arşivi sorgular, kaydedilmiş her dosyayı indirir, Wayback arayüzünü ayıklar, iç bağlantıları onarır ve size bir parça dosya yerine çalışan bir site teslim eder.

Restorix, müşterileri yönlendirdiğim hizmettir. Sadece ücretsiz tahmin bile tıklamaya değer: herhangi bir ödeme yapmadan önce size tam arşivlenmiş dosya sayısını, toplam boyutu ve kilitli bir fiyat gösterir. Geri yüklemeler ilk dosya ücretsiz olarak dosya başına ücretlendirilir ve bir geri yükleme veya dağıtım başarısız olursa para iadesi otomatik olarak bakiyenize düşer. Bilet yok, destekle tartışma yok.

Kendin yap yollarıyla karşılaştırıldığında takas açıktır: hafta sonunuz, hız sınırı baş ağrılarınız ve temizlik betiğiniz karşılığında küçük bir sabit ücret. İncelediğim son üç işte ücret, müşteriye iki faturalandırılabilir saatin mal olacağından daha düşük çıktı.

Bir Wayback indirmesini mahveden hatalar

• Sorgu dizelerini görmezden gelmek. /page.php?id=12 ve /page.php?id=13 farklı sayfaların farklı kayıtlarıdır. Bunları atlarsanız bir WordPress blogunun veya phpBB forumunun yarısı kaybolur.
• Zaman damgalarını körü körüne karıştırmak. 2013 CSS ile oluşturulmuş 2018 ana sayfası bozuk bir fotokopi gibi görünür. Bir hedef tarih seçin ve ondan birkaç ay içinde kalın.
• Diğer sunucuları unutmak. cdn.example.com veya assets.example.net üzerindeki görseller ayrı URL önekleri altındaki ayrı kayıtlardır ve yalnızca site sorgusu bunları hiç görmez.
• Eski kapsamaya güvenmek. Arşiv yıllar boyunca robots.txt hariç tutmalarına saygı gösterdi, bu yüzden bazı sitelerin tüm bölümleri hiç kaydedilmedi.
• En yeni kaydın en iyi olduğunu varsaymak. Daha yeni her zaman daha iyi değildir. Site hacklendikten, park edildikten veya yönlendirildikten sonra kaydedilmişse, iki yıl önceki sağlıklı bir anlık görüntüden daha az değerlidir.
• Yeniden yazılmış HTML kaydetmek. id_ soneki olmadan Wayback araç çubuğunu ve archive.org bağlantılarını her sayfaya gömüş olursunuz ve birinin bunları daha sonra ayıklaması gerekir.

Siteniz için doğru yöntemi seçmek

Gerçekçi bir senaryo: bir müşterinin 300 sayfalık pazarlama sitesi yedeksiz çöküyor. Yöntem bir size 300 manuel kayıt, yani on saat mal olur. Yöntem iki bir akşam artı bir gün temizlik mal olur. Yöntem üç, halihazırda kod yazıyorsanız bir hafta sonu mal olur. Yöntem dört, başlamadan önce bildiğiniz bir sabit ücret mal olur ve site temizlenmiş, yeniden bağlanmış ve dağıtılabilir halde geri gelir. Saatlik hesap bariz.

Yıllar süren geri yükleme işlerinden sonra kuralım: sitenin tekrar yayına girmesi gerekiyorsa doğrudan dördüncü yönteme gidin, çünkü Restorix tam olarak bunun için yapıldı. Kanıt veya nostalji için tek sayfa gerekiyorsa, yöntem bir. Ortadaki ikisi yolculuğu isteyenler içindir, varış noktasını değil.