Archive.org'dan Bir Web Sitesi Nasıl İndirilir: 3 İşe Yarayan Yöntem

Site artık yok. Hosting süresi doldu, müşteri hiç yedek tutmadı ve kalan tek kopya Wayback Machine'de duruyor. Sayısını hatırlamayacağım kadar çok kez aynı telefon görüşmesini yaptım ve ilk soru her zaman aynı oluyor: archive.org'dan bir web sitesi indirebilir misiniz ve geri getirebilir misiniz?

Evet, yapabilirsiniz. Üç gerçekçi yol var: sayfaları elle kaydetmek, CDX indeksi üzerinden betik yazmak veya otomatik bir geri yükleme hizmetinin tarama işlemini sizin yerinize yapmasına izin vermek. Bu yollar harcadığınız efor açısından birbirinden çok farklı ve yanlış seçim size bir hafta sonunu kaybettirir. Her birinin gerçekte nasıl çalıştığını, bu işi meslek edinmiş birinden dürüst süre tahminleriyle anlatıyorum.

Wayback Machine'den indirmek gerçekte ne anlama geliyor

Wayback Machine, tek tıkla kapabileceğiniz bir web sitesi klasörü değildir. Devasa bir bireysel yakalama indeksidir: her sayfa, görsel, stil dosyası ve betik ayrı ayrı saklanır ve her biri tarandığı ana bağlıdır. Eski bir sayfayı görüntülediğinizde tarayıcınız HTML'i bir yakalamadan, görselleri ise birkaç farklı yakalamadan çekip anlık olarak birleştirir.

Yani bir siteyi indirmek, yüzlerce ya da binlerce bireysel dosyayı numaralandırmak, her birini çekmek ve iç bağlantıları yeniden yazmak demektir; böylece kopya archive.org dışında da çalışır. Bu modeli aklınızda tutun, aşağıdaki her yöntemin neden böyle çalıştığını ve neden hiçbirinin tek bir indirme düğmesi olmadığını açıklar.

Yöntem 1: archive.org'dan bir web sitesini sayfa sayfa elle indirmek

Saf yaklaşım budur ve bazen doğru olan da budur. Anlık görüntüyü Wayback Machine'de açarsınız ve her sayfayı tarayıcınızla kaydedersiniz. Beş sayfalık bir tanıtım sitesi için bu gerçekten yeterlidir. Daha büyük her şey için bu yavaş bir işkencedir.

1. Arşivlenmiş sayfayı istediğiniz anlık görüntü tarihinde açın.
2. Farklı Kaydet'i kullanın ve varlıkların gelmesi için 'Web Sayfası, Tamamı'nı seçin.
3. Eski menülerden ulaşılabilenler dahil her sayfa için tekrarlayın.
4. Kaydedilen HTML'i açın ve her dosyadan Wayback araç çubuğu işaretlemelerini temizleyin.
5. Hâlâ web.archive.org adresini gösteren varlık URL'lerini düzeltin veya olduğu gibi kabul edin.

Burada iki tuzak bekler. Kaydedilen HTML birçok varlık için web.archive.org adresine başvurur, yani çevrimdışı açtığınız anda kopya bozulur ya da arşivin yavaş olduğu bir güne denk gelirsiniz. Ayrıca her kaydedilen sayfaya gömülmüş araç çubuğu işaretlemesi dosya dosya elle temizlenmelidir. Tek sayfalar için hâlâ bu yöntemi kullanıyorum, bir müşteri bir hukuki anlaşmazlık için yalnızca eski fiyatlandırma sayfasına ihtiyaç duydu ve tek bir kaydetme iki dakika sürdü. 300 sayfalık mağazalarına farklı bir işlem uygulandı.

• Gerçekçi efor: varlık temizliği dahil sayfa başına 5-10 dakika.
• Şunun için iyi: yaklaşık 10 sayfaya kadar veya referans için tek bir sayfa almak.
• Şu durumda çöker: onlarca sayfa veya temiz orijinal işaretleme gerektiren her iş.

Yöntem 2: archive.org'dan bir web sitesini CDX API ile indirmek

CDX API, Wayback Machine'in indeks uç noktasıdır ve archive.org'un bir alan adı için elinde tuttuğu tüm dosyaları bulmanın yoludur. Tek bir sorgu, tüm defteri JSON olarak döndürür:

web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=timestamp,original,mimetype,statuscode&filter=statuscode:200&collapse=digest

Bu, yakalanan her şey için zaman damgalarını, orijinal URL'leri ve MIME türlerini verir. collapse parametresi özdeş dosyaları tekilleştirir, böylece aynı logoyu 400 kez indirmezsiniz. Buradan küçük bir betik listeyi dolaşır ve her dosyayı çeker. Bir zaman damgası URL'sine id_ ekleyin, örneğin /web/20150312145531id_/http://example.com/style.css, ve archive.org, yeniden yazılmış işaretleme olmadan orijinal baytları döndürür. Bu tek ek, temiz bir kopya ile araç çubuğuyla dolu bir sayfa arasındaki farktır.

Cazibesiz kısımlar akşamınızı yer. Archive.org agresif istemcileri kısıtlar, dolayısıyla betiğinize nazik gecikmeler ve yeniden deneme mantığı eklemeniz gerekir, aksi halde 429 yanıtlarına saatlerce bakarsınız. Sorgu dizgisi içeren URL'lerin tekilleştirilmesi gerekir, yoksa oturum kimlikleri 200 sayfalık bir siteyi 9.000 dosyalık bir taramaya dönüştürür. Dosyalar indikten sonra iç bağlantılar hâlâ orijinal alan adını gösterir, yani kopya çevrimdışı düzgün gezinmeden önce bir yeniden yazma adımına ihtiyaç vardır.

• Gerçekçi efor: düzenli kod yazıyorsanız betiği yazmak ve hata ayıklamak 2-4 saat; yazmıyorsanız bir hafta sonu. Taramanın kendisi birkaç yüz dosya için 30-90 dakika sürer.
• Şunun için iyi: geliştiriciler, arşivciler, her bayt üzerinde tam kontrol isteyen herkes.
• Şu durumda çöker: terminali hiç açmamış kişiler ve saatlerle ölçülen son teslim tarihleri.

Ne yazarsanız yazın, sonucu bir ziyaretçi gibi test edin: klasörü herhangi bir yerel web sunucusuyla servis edin ve tıklayarak gezinin. Kırık görsel yolları, canlı web'e kaçan bağlantılar ve eksik fontların hepsi beş dakikalık tıklama içinde kendini belli eder, ve işi bitirdim dedikten sonra keşfetmek çok acı verir.

Yöntem 3: archive.org'dan bir web sitesini otomatik yoldan indirmek

Üçüncü yol, tarama, varlık eşleştirme ve bağlantı yeniden yazma işini bir geri yükleme hizmetine bırakır. Site, öğrenme deneyiminden daha önemli olduğunda müşterileri bu yola yönlendiriyorum. Restorix ile alan adını yapıştırır ve ücretsiz anlık bir tahmin alırsınız: tam arşivlenmiş dosya sayısı, toplam boyut ve ödeme yapmadan önce sabitlenmiş bir fiyat. Bir tarih aralığı seçer, istediğiniz seçenekleri açarsınız ve geri yüklenen kopya gezinmeye hazır olarak gelir, ya da SSH, FTP veya S3 üzerinden doğrudan barındırmanıza dağıtılır.

• Bilmeniz gereken seçenekler: göreceli iç bağlantılar, eski analiz ve reklamların temizlenmesi, JS/CSS küçültme, HTTPS dönüşümü, www veya www'siz kanonikleştirme.
• Geri yükleme, yapılandırılmış bir manifest (JSON veya SQLite) dışa aktarabilir, böylece neyin geri geldiğini tam olarak bilirsiniz.
• Başarısız geri yüklemeler otomatik olarak bakiyenize iade edilir, destek bileti gerekmez.

Dezavantaj açık: para ödersiniz. Geri yüklenen dosya başına ödeme yaparsınız, ilk dosya ücretsizdir ve fiyat tahmin anında sabitlenir. Kişisel bir blog için bunun yerine memnuniyetle betik yazarsınız. Müşterinin gelir getiren WooCommerce mağazası için ve bu gece geri dönmesi gerekiyorsa, ücret genellikle tüm olayın en ucuz kalemidir. Dağıtımlar ayrıca küçük tek dosyalık bir CMS içerir, böylece geri yükleme sonrasında küçük metin düzeltmeleri için yeniden yükleme yapmanız gerekmez.

Süre ve efor, yan yana

Tablonun makine süresini değil sizin sürenizi ölçtüğüne dikkat edin. Bir betik ya da hizmet büyük bir tarama için saatlerce çalışabilir, ama siz uyurken çalışır. Her geri yüklemedeki kıt kaynak, işi yapan kişinin akşamıdır, bu yüzden fiyatlandırmayı buna göre yapıyorum.

Tüm öğleden sonraları yakan hatalar

• Tam siteler için tarayıcı kaydetmelerine güvenmek. Manuel olarak açmadığınız her sayfayı kaçırırsınız ve eski siteler var olduğunu unuttuğunuz yerlerde sayfalar saklar.
• id_ değiştiricisini göz ardı edip her HTML dosyasına neden Wayback araç çubuğu işaretlemesinin gömülü olduğuna şaşırmak.
• archive.org'a paralel isteklerle yüklenmek. Kısıtlanırsınız ve bir saatlik iş dört saate çıkar.
• Bağlantı yeniden yazma adımını atlamak. Kopya bir şeye tıklayana kadar iyi görünür.
• Her sayfanın arşivlendiğini varsaymak. Önce CDX envanterini kontrol edin, böylece eksikler sonunda sürpriz değil bilinen bir nicelik olur.

Hangi yöntemi seçmelisiniz?

On sayfanın altında: elle kaydedin ve işaretleme pürüzlerini kabul edin. Kod yazıyorsanız ve kontrol istiyorsanız: CDX betiğini kurun ve bir akşam ayırın. Sitenin temiz şekilde geri gelmesini istiyorsanız ve yarı zamanlı arşivci olmak istemiyorsanız: otomatik yolu seçin, eğitim birkaç dakikada tam bir geri yüklemeyi anlatıyor ve ücretsiz tahmin, taahhütte bulunmadan önce dosya sayısını ve fiyatı gösterir.

Son bir şey: hangi yolu seçerseniz seçin, şimdi seçin. Archive.org bir hediyedir ama daha önce kesintiler ve hukuki baskılarla karşılaşmıştır ve 'sonra alırım' demek, sitelerin tam iki kez kaybolma biçimidir.