Archive.org İndirme Biçimleri: WARC, CDX ve Tek Dosyalar

Taramayı buldunuz, indirdiniz ve şimdi makinenizde hiçbir şeyin açamadığı.warc.gz uzantılı 900 MB'lık bir dosyaya bakıyorsunuz. Archive.org'un en az belgelenmiş kısmına hoş geldiniz: biçimler. Kütüphane ham yakalama verisi dağıtır ve ham yakalama verisi kendi araçlarınızı getirmenizi bekler.

Üç biçim, hiç çekeceğiniz neredeyse her şeyi kapsar: WARC dosyaları, JSON CDX çıktısı ve düz tek dosyalar. İşte her birinin gerçekte ne olduğu, ne zaman işinize yarayacağı ve nasıl yararlı bir şeye dönüştürebileceğiniz, eski sitenizi geri istediğinizde kullanabileceğiniz kısa yolu da dahil.

Bir Archive.org İndirmesi Gerçekte Ne İçerir?

Yine iki depolama dünyası. Öğe indirmeleri size bitmiş dosyalar verir, bir PDF PDF'dir, bir ISO ISO'dur. Wayback tarafı indirmeleri ise web yakalama verisi verir: tarama zamanında dondurulmuş HTTP yanıtları ve bunları tanımlayan dizinler. Kafa karıştırıcı biçimlerin hepsi bu ikinci dünyadan gelir; ayrıca her ikisini köprüleyen bir tek dosya kaçış kapağı vardır.

Planlama için boyutlar önemlidir. Bir tarama koleksiyonundan tek bir WARC parçası sıkıştırılmış halde yaklaşık 1 GB'dir. Orta ölçekli bir sitenin CDX listesi 50.000 satır JSON olabilir. Tek dosya ise, işte, tek bir dosyadır. Aktarımı başlatmadan önce, başlattıktan sonra değil, biçimi işe göre eşleştirin; yanlış şeyi indirdiğiniz için bir gigabaytı yeniden indirmek atlanması en iyi bir geçiş ritüelidir.

WARC: Ham Yakalama Biçimi

WARC, Web ARChive, ISO standardı 28500, kayıtları uç uca ekleyen bir kapsayıcıdır. Her kayıt, tek bir yakalanmış HTTP değişimidir: yanıt başlıkları ve ardından tam yük baytları, artı yakalama zamanı ve hedef URL gibi meta veriler. Kayıtlar tiplere göre gelir, response, resource, metadata, warcinfo, ve dosyalar neredeyse her zaman gzipped olarak gelir, kayıt başına bir gzip üyesi, böylece araçlar tüm arşivi açmadan konumlanabilir.

• Hiçbir şey işlenmez veya temizlenmez. Tarayıcının gördüğü şeyi bayt bayt alırsınız; 404 sayfaları ve yönlendirme zincirleri dahil.
• Tek bir WARC, bir taramadan gelen binlerce çoğu zaman alakasız URL içerir, siteniz dosyanın %2'si olabilir.
• Okumak için araç gerektirir: çıkarma için Python warcio kütüphanesi veya gezilebilir sayfalar olarak yeniden oynatmak için ReplayWeb.page ve pywb.

warcio ile çıkarma bir filtre döngüsüdür: arşivi açın, hedef URL'si alanınızın dışında olan kayıtları atlayın, yükleri orijinal yolları yansıtacak şekilde diske yazın, özdeş özetleri tekilleştirin. Elli satır Python, ya da insanların neden bunun için para ödediğini öğrenmenin uzun bir akşamı.

WARC'leri nereden alırsınız? İki yerden. Archive Team kurtarma taramaları ve Internet Archive tarama koleksiyonları onları sıradan öğe dosyaları olarak sunar, öğenin indirme kutusunda.warc.gz arayın. Ve kendi taramanızı yaptırır veya dışa aktarırsanız, geri gelen şey WARC'dir. Web arşivleme dünyasının taşıma konteyneridir: çirkin, standartlaştırılmış ve her yerde.

JSON CDX: İçerik Değil, Dizin

CDX, Wayback Machine'in kart kataloğudur. web.archive.org/cdx/search/cdx?url=example.com&output=json sorgulayın ve her satırın tek bir yakalamayı tanımladığı bir JSON dizisi alırsınız: urlkey, timestamp, original URL, mimetype, statuscode, digest ve bayt uzunluğu. Hiç sayfa içeriği yok, sadece neyin var olduğunun, yakalama yakalama kesin bir menüsü.

Her sorguda iki bayrak değerini kanıtlar: filter=statuscode:200 yönlendirmeleri ve hata sayfalarını atar, collapse=digest özdeş içeriğin yinelenen yakalamalarını kaldırır. Bir müşterinin WooCommerce mağazasında bu iki bayrak 38.000 ham satırı 4.100 gerçek, benzersiz sayfaya indirdi. O liste geri yükleme planı, ve fiyat tahmini oldu.

Bilinmeye değer sorgu hileleri: bir yol altındaki her URL'i kapsamak için matchType=prefix ekleyin ve yılları sınırlamak için from=2008&to=2012 kullanın. url=example.com/* gibi bir joker zaten tüm alan adında önek eşleşmesi anlamına gelir. Dar başlayın, büyük bir sitede filtrelenmemiş bir alan adı sorgusu megabaytlarca JSON ve donmuş bir tarayıcı sekmesi döndürür.

• Kapsam: sitenin ne kadarının hiç yakalandığı ve hangi yıllarda.
• Boşluk analizi: hiç taramayan görsel dizinlerini ve CDN sunucularını bulma.
• Toplu getirme listeleri: zaman damgalı artı URL çiftlerini indiricinize besleyin, her biri için bir id_ isteği.
• Tahminler: Restorix bir geri yükleme fiyatlandırmak için aynı CDX verisini okur, dosya sayısı, toplam boyut, kilitli fiyat, peşin.

Tek Dosyalar: Kolay Archive.org İndirmesi

Üçüncü biçim neredeyse bir biçim değil: doğrudan alınan tek bir orijinal dosya. Öğeler için bu, indirme kutusundaki dosya bağlantısıdır. Anlık görüntüler için bu, id_ hilesidir, zaman damgasından hemen sonra id_ ekleyin, örneğin web.archive.org/web/20130501000000id_/http://example.com/logo.png, ve Wayback Machine araç çubuğu veya yeniden yazılmış işaretleme olmadan dokunulmamış yükü döndürür.

Tam olarak neyin eksik olduğunu zaten bildiğinizde tek dosyalara uzanın: taramayan stil sayfası, PDF fiyat listesi, bir müşterinin sürekli sorduğu hero görseli. Proje başına bunlardan bir karalama klasörü tutarım. Yapmamanız gereken şey tüm siteyi bu şekilde kurmaktır, 4.000 manuel id_ getirme, yazılmayı bekleyen bir betiktir.

Beklemeniz gereken iki başarısızlık modu. Anlık görüntü tarafında, id_ yalnızca o tam URL yakalandıysa çalışır, URL tahmin etmek yerine önce CDX dizinini kontrol edin. Öğe tarafında, doğrudan URL kalıbı archive.org/download/{identifier}/{filename} kararlı ve betiklenebilirdir, ancak boşluk içeren dosya adları düzgün URL kodlaması gerektirir yoksa wget açıkça var olan bir dosyada 404 verir.

Hangi Archive.org İndirme Biçimine İhtiyacınız Var?

Bir web sitesi geri yüklemesi için dürüst bağımlılık zinciri şudur: önce CDX, ikinci olarak WARC veya id_ getirmeleri, son olarak boşlukları yamamak için tek dosyalar. CDX adımını atlamak, bir gigabayt tarama verisi indirip sitenin yarısını yine kaçırmanızın yoludur. Öğe indirmeleri bu zincirin tamamen dışındadır, onlar bitmiş ürünlerdir ve ihtiyacınız olan bir kitap veya sürücü ise okumayı bırakın ve tıklamaya gidin.

İndirdiğiniz Şeyle Çalışmak

Herkesi bir kez ısıran tuzaklar. Gzipped WARC'ler çok üyelidir, naif bir gunzip çalışır, ama akışlı okuyucular ilk üyede durmamalıdır. Özetler yakalamalar arasında tekrar eder, bu yüzden dosyaları saymadan önce tekilleştirin yoksa toplamlarınız yalan söyler. 2004'ten kalma karakter kodlamaları UTF-8 değildir; kod çözmek zorunda kalana kadar baytları bayt olarak tutun. Ve yakalanan HTML'in içindeki her Wayback tarafından yeniden yazılmış URL, siz onu geri yazana kadar hâlâ web.archive.org'u işaret eder.

Çıkarmadan önce çıktı yapısını planlayın: orijinal URL yollarını yansıtın, hangi yükün hangi kayıttan geldiğini gösteren bir manifest tutun ve daha sonra ihtiyacınız olabilecek bir varyantı asla üzerine yazmayın. Restorix her geri yüklemede tam bu tür bir manifest (JSON veya SQLite) dışa aktarabilir, elle yaparsanız, bu özelliğin neden var olduğunu anlarsınız.

Veya Biçim Mücadelesini Tamamen Atlayın

Yukarıdakilerin hepsi öğrenilebilir ve hiçbiri bir işletme sahibinin hafta sonunun iyi bir kullanımı değildir. bu geri yükleme hizmeti tam bu katman için vardır: CDX verisini okur, yakalamaları çeker, tekilleştirir, bağlantıları yeniden yazar ve size çalışan bir site verir. Ücretsiz tahmin, ödemeden önce arşivlenen dosya sayısını, toplam boyutu ve kilitli fiyatı gösterir, ilk dosya ücretsiz geri yüklenir, sonrasında dosya başına ödeme, herhangi bir başarısızlıkta bakiyeye otomatik iade.

Geri yükleme seçenekleri yukarıdaki acı noktalarıyla birebir eşleşir: archive.org URL'leri yerine göreli iç bağlantılar, HTTPS dönüşümü, eski analitik ve reklamların kaldırılması, 301 yönlendirmelerinin korunması. Dağıtım, geri yükleme panelinden SSH/SFTP, FTP/FTPS veya S3'ye tek tıkla yapılır ve /webarchive-cms.php konumundaki paket CMS, rastgele oluşturulmuş parola, varsayılan olarak güvenli mod, WARC araçlarına tek satır dokunmadan canlandırılmış siteyi düzenleyebileceğiniz anlamına gelir. Biçimler arşivciler içindir. Siz sitenizi geri istiyorsunuz.