Archive.org Web Sitesi İndirme Araçları: Dürüst Bir Karşılaştırma

Wayback Machine'den bir site çekmenin üç makul yolu var ve ben bunların hepsini gerçek işlerde kullandım: HTTrack, wayback-machine-downloader Ruby gem'i ve benzeri betikler, ve Restorix, sitenin sadece bir dosya yığını olarak değil, çalışır şekilde geri gelmesi gerektiğinde müşterilerime yönlendirdiğim hizmet.

Hiçbiri 'en iyi' değil. Farklı sorunları farklı fiyatlarla çözüyorlar ve bedel çoğunlukla dolar yerine saat olarak ödeniyor. İşte her birinin gerçekte ne yaptığı, nerede tökezlediği ve kimin hangisini seçmesi gerektiği. Satış ortaklığı tadında bir sıralama yok; sadece doğru ve yanlış gittiğini gördüklerim.

Bir archive.org web sitesi indirme aracının doğru yapması gerekenler

Bu araçları indirme hızına göre yargılamak meseleyi ıskalıyor. Bir archive.org web sitesi indirme işinin zor kısımları gösterişsizdir ve araçların sessizce farklılaştığı yer tam da burasıdır:

• Her dosyayı bulmak. Arşivin indeksi tek eksiksiz kaynaktır, ana sayfadaki bağlantıları takip etmek, bağlantısız her sayfayı atlar.
• Varlıkları zaman damgaları arasında eşleştirmek. 2014 tarihli sayfa, logosunu 2012'deki tek hayatta kalan kopyadan alıyor olabilir.
• Orijinal byte'ları almak. Özensiz yapıldığında, her HTML dosyasına gömülü Wayback araç çubuğu işaretlemelerini de kaydedersiniz.
• Kopyanın archive.org sunucularına yaslanmadan gezilebilmesi için dahili bağlantıları yeniden yazmak.
• Hız sınırlamalarına dayanmak. Archive.org sabırsız istemcileri hız sınırına tabi tutar ve yeniden denemeler nazik ve sabırlı olmalıdır.

Bu beşini aklınızda tutun. Aşağıdaki karşılaştırma tablosundaki her satırı açıklıyor ve bu araçların aldığı çoğu kötü yorum da bunlardan birine dayanıyor.

HTTrack: ücretsiz, eski usul ve hâlâ ayakta

HTTrack emektar: 1990'lardan beri siteleri yansılayan ücretsiz, açık kaynaklı bir çevrimdışı tarayıcı. Onu bir Wayback Machine URL'sine yöneltirsiniz, bağlantıları takip eder ve bulduğu her şeyi diske kaydeder. Windows için bir GUI'si var, fiyatı uygun ve küçük bir sitenin hızlıca yansılanması için gerçekten işe yarar.

Archive.org'a karşı kullanıldığında, uyarılar birikiyor. HTTrack arşivin indeksinden haberi yok, yalnızca başlangıç URL'nizden bağlantı takibiyle ulaşılabilen sayfaları bulur, dolayısıyla bağlantısız sayfalar geride kalır. Wayback'in yönlendirdiği kopyayı olduğu gibi alır ve sizi bilgilendirmeden zaman damgalarını karıştırır. Ayrıca filtre kuralları gerçek bir ayar gerektirir: yanlış ayarlarsanız, 2013 tarihli bir bloğunuzun yansısı bir bağlantıdan canlı web'e kayar ve bunun yerine güncel siteyi indirirsiniz. Bunu nereden bildiğimi sorabilirsiniz.

Gerçekçi bir kıstas: Wayback Machine üzerinden 40 sayfalık bir 2012 WordPress blogunun yansılanması bana yaklaşık 40 dakikalık bir kurulum ve iki saatlik gözetimsiz bir tarama gerektirdi; klasörden canlı web artıklarını temizlemek için yine bir saat harcadım. HTTrack işinin dürüst şekli budur, ucuz, çoğunlukla otomatik ve tarama bittiğinde asla tam olarak bitmemiş.

• Maliyet: ücretsiz.
• Emek: filtre söz dizimini öğrenmek için bir ya da iki saat; ardından yansılar gözetimsiz çalışır.
• En uygun olduğu durum: mükemmel sadakatin hedef olmadığı küçük, iyi bağlantılandırılmış sitelerin hızlı yansıları.
• Dikkat edin: canlı web'e sapmak, karışık kopya zaman damgaları ve Wayback'in yeniden yazılmış URL'lerinin dosyalarınıza girmesi.

wayback-machine-downloader ve betik yolu

wayback-machine-downloader, arşivin CDX indeksini sorgulayan ve isteğe bağlı olarak bir tarih aralığında alanınız için listelediği her dosyayı indiren bir Ruby gem'idir. Bağlantı takip etmek yerine indeksi okuduğu için HTTrack'in hiç göremediği sayfaları bulur. GitHub'da dolaşan birkaç Python betiği, farklı bayraklar ve farklı kalite düzeyleriyle aynı işi yapıyor.

Ödünleşimler her zamanki açık kaynak ödünleşimleridir. Ruby veya Python'un kurulu olması ve bir README okuyabilecek kadar rahat olmanız gerekir. Bu niştaki projeler yıllarca sessizleşir, dolayısıyla bir teslim tarihine bahse girmeden önce hata takipçisine bakın. Tarama bittiğinde ise montaj işi size kalır: dahili bağlantılar hâlâ orijinal alan adını gösterir, kopya zaman damgalarının sağlamasının yapılması gerekir ve her türlü temizlik, eski analiz etiketlerini soymak, kurallı URL'leri düzeltmek, HTTPS'ye dönüştürmek, cumartesi öğleden sonranızı alır.

• Maliyet: ücretsiz, artı sizin saatleriniz.
• Emek: terminalde rahatsanız yarım gün; taramanın kendisi sonra kendi başına çalışır.
• En uygun olduğu durum: her byte üzerinde tam kontrol isteyen ve buna sahip olmaktan keyif alan geliştiriciler ve arşivciler.
• Dikkat edin: yeniden deneme mantığı olmayan kısıtlanmış taramalar, ödev olarak bırakılan bağlantı yeniden yazımı ve depodaki bakım boşlukları.

İki alışkanlık, betik yolunu sürdürülebilir kılar. Başladığınız CDX yanıtını saklayın, biri klasörde ne olması gerektiğini sorduğunda sizin manifestonuz işlevi görür. Sonucu bitmiş saymadan önce yerel olarak servis edin: localhost'ta kopyayı beş dakika tıklamak, eksik varlıkları herhangi bir günlük dosyasından daha hızlı bulur.

Restorix: sizin yerinize yapılan archive.org web sitesi indirme seçeneği

Restorix spektrumun ücretli, sizin yerinize yapılan ucunda durur ve genel kazıma yerine özellikle archive.org geri yüklemeleri için inşa edilmiştir. Alan adını girersiniz ve ücretsiz anlık bir teklif alırsınız: tam arşivlenmiş dosya sayısı, toplam boyut ve kilitli bir fiyat. Bir tarih aralığı ve seçeneklerinizi seçersiniz, göreli dahili bağlantılar, analiz ve reklamların soyulması, HTTPS dönüşümü, JS/CSS küçültme, www veya www olmayan kanonikleştirme, ve hizmet indeks taramasını, zaman damgaları arası varlık eşleştirmesini, hız sınırlamasını ve bağlantı yeniden yazımını üstlenir.

Sonuç, temiz ve gezilebilir bir kopya olarak indirilir ya da SSH/SFTP, FTP/FTPS veya S3 üzerinden doğrudan barındırmanıza dağıtılır; geri yüklenen sayfaları sonradan düzenlemek için küçük tek dosyalık bir CMS dahildir. Geri yüklenen dosya başına ödeme yaparsınız, ilk dosya ücretsizdir ve başarısız geri yüklemeler otomatik olarak bakiyenize iade edilir. Abonelik yoktur, yüklemeler tek seferliktir, kart veya kripto ile. Bu hobi yolu değil ve olmaya da çalışmıyor.

Archive.org web sitesi indirme araçları, yan yana

Emek satırını iki kez okuyun. Bu listedeki her araç sonunda aynı dosya klasörünü üretebilir, aslında seçtiğiniz, işin uğraştırıcı %20'sini kimin yapacağı: siz mi, yoksa başka bir şey mi.

Tablonun barındıramayacağı bir satır daha: risk. Ücretsiz araçlarda, botla yapılmış bir iş size bir akşam daha kaybettirir. Ücretli bir hizmette, başarısızlık koşullarına bakın, bakiyeye otomatik iade, başlamadan önce kilitlenen fiyat ve ücretsiz teklif, başarısız bir geri yüklemenin finansal riskini kabaca sıfıra indirir.

Hangisini seçmelisiniz?

Dürüst yönlendirme. Referans için küçük bir sitenin yansılanmasına ihtiyacınız varsa ve ücretsiz araçlardan hoşlanıyorsanız, HTTrack onu bu gece diskinize koyar. Kod yazıyorsanız, ham dosyaları istiyorsanız ve harcayacak bir hafta sonunuz varsa, gem yolu gerçekten iyi ve gerçekten ücretsiz. Site bir iş varlığıysa, bir müşterinin WooCommerce mağazası, on yıllık bir forum, hayatınızın eseri, dosya başına ücreti ödeyin ve akşamınızı başka bir şeye harcayın. Eğitim, bir kuruş taahhüt etmeden önce tam geri yükleme akışını gösterir ve ücretsiz teklif, herhangi bir karar vermeden önce tam fiyatı görebileceğiniz anlamına gelir.