Wayback Machine İndirme Araçları: Gerçekten İşe Yarayanlar

Wayback machine indirme aracı diye aradığınızda, herkesin on yıldır kullandığı birkaç tanıdık araçla ve terk edilmiş GitHub depolarının oluşturduğu bir mezarlıkla karşılaşırsınız. Bu araçlardan bazıları gerçekten işe yarar. Hepsinin ortak bir tavanı vardır. Keşke ilk geri yükleme işimden önce biri bana şu incelemeyi verseydi: açık kaynak betikler gerçekte ne yapıyor, nerede duruyor ve site tekrar yayına alınması gerektiğinde onun yerine ne kullanılmalı.

Bir Wayback Machine indirme aracı gerçekte ne yapar

Her wayback machine indirme aracı, boyasının altında aynı makinedir. CDX API'den yakalama listesi ister, o listeyi döngüye alır ve her dosyayı zaman damgalı URL'sinden kaydeder. Daha iyileri tarih ve dosya türü filtrelerinin yanı sıra archive.org sizi kısıtlamaya başladığında devreye giren yeniden deneme mantığı ekler. Hiçbiri sitenizin gizli bir yedeğiyle konuşmaz. Tarayıcıda şu an açabileceğiniz aynı herkese açık arşivi kazırlar.

Bu ayrım herhangi bir özellik listesinden daha önemlidir. İndirme aracı, arşivdeki her boşluğu miras alır: hiç taranmamış sayfalar, hiç yakalanmamış görseller, 2015'te birinin yanlış yapılandırdığı robots.txt dosyası tarafından engellenen dizin. Araç yalnızca var olan şeyleri çekebilir.

Sayılar da hızla büyür. Mütevazı 200 sayfalık bir site, görselleri, stil dosyalarını ve betikleri saydığınızda kolayca 2.000 dosyaya ulaşır. Saniyede bir kibar istekle bu, yeniden denemeler, kısıtlamalar ve arşivin yıllar önce kaybettiği için 404 dönen dosyalar hariç, yarım saatten fazla salt çekme işlemi demektir.

Açık kaynak seçenekler

Her forum başlığında üç isim geçer, bunun iyi bir nedeni vardır:

• wayback-machine-downloader, bir Ruby gem'i. Grubun en bilineni. Tek bir komutla, wayback_machine_downloader http://example.com --from 2015 --to 2019, eşleşen her yakalamayla bir ./websites dizinini doldurur. Eşzamanlılık bayrağı ve dosya uzantısına göre filtreler içerir.
• waybackpack, bir Python aracı. Zaman damgasına göre düzenlenmiş yakalamaları indirir; bu da onu bir sayfanın belirli bir anlık görüntüsünü almak için iyi kılar, tüm site yansıları için daha az uygundur.
• HTTrack, bir anlık görüntü URL'sine yönlendirilir. Hiç gerçek bir arşiv aracı değildir. Wayback'in sayfalara enjekte ettiği yeniden yazılmış bağlantıları izler ve tüm bir yakalama ağacını sürükler. Kabadır, küçük sitelerde ara sıra işe yarar ve sorgu dizgileri karşısında tamamen şaşırır.

Üçü de ücretsiz. Üçü de hobi temposuyla sürdürülüyor. Ve üçü de size bir dosya yığını teslim eder. Ondan sonra ne olacağı sizin sorununuzdur ve bu cümle izleyenlerin yaklaşık yüzde seksenini kapsar. Herhangi birini kurmadan önce depodaki açık sorunları okuyun. Orada geçireceğiniz on dakika herhangi bir karşılaştırma yazısından daha çok şey anlatır.

Ücretsiz bir Wayback Machine indirme aracından ne beklenmeli

Hiçbir şeyi çalıştırmadan önce beklentilerinizi belirleyin. Ücretsiz bir wayback machine indirme aracıyla tipik bir ilk oturum şöyle geçer: Ruby veya Python kurulumuyla otuz dakika boğuşursunuz, on dakika umut vadeden ilerleme yaşarsınız, sonra archive.org 429 hatalarıyla yanıt vermeye başlar ve her şey sürüncemede kalır. Kibar istek hızlarında 5.000 dosyalık bir site bir gece işidir ve gece işleri sabahın üçünde sessizce başarısız olur.

Gerçekçi bir ilk çalıştırma

1. Çalışma zamanını ve aracı kurun. README'de kimsenin bahsetmediği sürüm çakışmalarını çözün.
2. Çıktı biçimini doğrulamak için sitenin tek bir dizinine karşı küçük bir test çalıştırın.
3. Tam çalıştırmayı başlatın ve ilk yüz dosyanın gelişini izleyin.
4. Hız sınırlarına takılın, eşzamanlılığı düşürün, yeniden başlatın ve devam ettirme mantığının çalışmasını umun.
5. Çıktı klasörünü açın ve altınla birlikte indirdiğiniz çöpleri keşfedin.

Çıktı her zaman triyaja ihtiyaç duyar. İyi filtrelemediyseniz, her URL'nin her yakalamasını alırsınız: izleme parametrelerinin oluşturduğu çöp, yazdırma görünümleri, her şekilde 200 durumu dönen hata sayfaları. Ve araç id_ varyantlarını, yani orijinal değiştirilmemiş baytları getirmediyse, her HTML dosyası Wayback'in yeniden yazılmış bağlantıları ve araç çubuğu hâlâ içinde gömülü şekilde gelir.

Bir başka sürpriz de organizasyondur. Çoğu betik her şeyi orijinal dizin yapınızı değil, arşivi yansıtan zaman damgalı yollara boşaltır. Gerçek klasör ağacını yeniden oluşturmak ve dosyaları sunucunun onları adlandırdığı şekilde yeniden adlandırmak, kimsenin bütçeye katmadığı manuel bir iştir.

Karşılaşacağınız sınırlar

• Geri yükleme mantığı yok. İndirme aracı dosyaları getirir. Wayback araç çubuğunu temizlemez, dahili bağlantıları düzeltmez, kurallı bir ana bilgisayar seçmez veya herhangi bir şeyi HTTPS'ye dönüştürmez.
• Yinelenenleri ayıklama zekası yok. Aynı görsel altı zaman damgası altında kaydedilirse, içerik özetine göre kendiniz birleştirmediğiniz sürece altı dosya olur.
• Hız sınırları. Çok sert basarsanız archive.org sizi bir süre kısıtlar veya tamamen engeller. Yeniden çalıştırmalar iş akışının normal bir parçasıdır, yanlış bir şey yaptığınızın işareti değildir.
• Bağımlılık çürümesi. Eski Ruby veya Python sürümlerine sabitlenmiş betikler modern sistemlerde bozulur. Herhangi bir şey kurmadan önce depodaki son commit tarihini kontrol edin.
• Destek yok. Araç bozulduğunda sorun izleyicisi destek masasıdır ve son yanıt iki yıl öncesinden olabilir.
• Bitiş çizgisi yok. Betik sona erdiğinde bir klasörünüz olur. O klasörü barındırılan, çalışan bir web sitesine dönüştürmek benzer büyüklükte ikinci bir projedir.

Sizin yerinize yapılan alternatif

Betiğe dadılık yapmanın alternatifi, indirmeyi tüm iş olarak değil bir geri yüklemenin ilk adımı olarak gören bir hizmettir. Restorix ücretsiz bir tahminle başlar: bir kuruş ödemeden önce tam arşivlenmiş dosya sayısı, toplam boyut ve sabitlenmiş bir fiyat. Oradan her şeyi indirir, temizler ve SSH, FTP veya S3 üzerinden doğrudan barındırmanıza dağıtabilir.

Ayrıntılar tam olarak bu iş için tasarlanmıştır. Geri yüklenen dosya başına ödeme yaparsınız ve ilk dosya ücretsizdir. Bir geri yükleme veya dağıtım başarısız olursa, iade otomatik olarak bakiyenize yansır, destek talebi gerekmez. Geri yükleme seçenekleri analiz ve reklamları temizler, bağlantıları göreceli yollara dönüştürür ve HTTPS'yi zorunlu kılar. Dağıtımlar, kendi oluşturulmuş yönetici parolasıyla küçük bir tek dosyalık CMS içerir; böylece geri yüklenen site düzenlenebilir kalır. Hiçbir yerde abonelik yoktur: bakiye yüklersiniz ve harcarsınız.

Bir Wayback Machine indirme aracı ne zaman yanlış araçtır

İndirme aracı betiği, çevrimdışı arşivler, araştırma veri kümeleri ve bir klasör dolusu eski PDF'i kurtarmak için doğru araçtır. Şu durumlarda yanlış araçtır:

• Sitenin tekrar çevrimiçi olması ve bunu yaparken doğru görünmesi gerekiyor
• İşi yapan kişi asla bir terminal açmayacak
• Arşiv on binlerce URL barındırıyor ve yarısı sorgu dizgisi çöpü
• Bir son teslim tarihi var: bir yeniden lansman, hukuki bir talep, ensenizde nefesini hisseden bir müşteri

Bu durumlar için betik hizmetten daha ucuz değildir. Sadece faturanızı saatlerinizin içine saklar. Bir Restorix tahmini en azından bunu zor yoldan öğreneceğiniz bir hafta sonunu adamadan önce gerçek fiyatı önceden söyler. Bunların hiçbiri betikleri kötü yapmaz. Onları iş tanımı olan araçlar yapar ve iş tanımı klasörde sona erer.

Nasıl seçilir

İndirmeye göre değil, hedefe göre seçin. Amaç bir dosya klasörüyse, ücretsiz araçlar yerlerini korur ve her zaman koruyacaktır. Amaç web sitesinin kendisiyse, klasör aşamasını tamamen atlayın ve onu yeniden oluşturan şeye doğrudan gidin.