Archive.org'dan Nasıl İndirilir: Öğeler, Anlık Görüntüler ve Daha Fazlası

'Archive.org indirme' ifadesi iki tamamen farklı işi kapsar ve bunları karıştırmak insanların öğleden sonralarını kaybetmesine yol açar. Birinci iş: bir öğeden, bir kitap, bir sürücü, bir konser kaydı, dosya almak. İkinci iş: Wayback Machine'den bir web sitesi çıkarmak. Birincisinin bir indirme düğmesi var. İkincisinin ise kesinlikle yok.

Her ikisini de haftada bir yapıyorum, müşteri geri yüklemeleri ve araştırma için. İşte hala çalışan her yöntem, dürüst artılarıyla eksileriyle: hangisi tek tıklama, hangisi komut satırı ve hangisi indirme düğmesi kılığına girmiş bir tuzak.

Archive.org'dan İki İndirme Yolu

Archive.org içeriği öğeler olarak depolar, meta verilerle birlikte, raftaki etiketli bir klasör gibi, dosya paketlerinden oluşan bağımsız paketler. Wayback Machine ise yakalamalar depolar, zaman damgalı, yeniden yazılmış bağlantılarla sunulan, bireysel URL'lerin kopyaları. Öğeler indirilmek için tasarlanmıştır. Yakalamalar ise tarayıcıda görüntülenmek için tasarlanmıştır.

Yapabileceğiniz her şey bu ayrımı izler. Öğe indirmeleri resmi olarak desteklenir: düğmeler, torrentler, bir CLI, bir meta veri API'si. Anlık görüntü 'indirmeleri' aslında yeniden oluşturmalar, CDX API'sine ne olduğunu sorarsınız, her URL'nin orijinal baytlarını çekersiniz, sonra bağlantıları düzeltirsiniz. Farklı araçlar, farklı hata modları, farklı zaman bütçeleri.

Hangi dünyada durduğunuzdan emin değil misiniz? URL'ye bakın. archive.org/details/birsey bir öğedir, indirilebilir. web.archive.org/web/2012/http://example.com bir anlık görüntüdür, görüntülenebilir. Aynı arşiv, iki adres şeması, iki kural seti.

Archive.org Öğelerini Basit Yoldan İndirin

Herhangi bir öğe sayfasını açın ve sağdaki indirme kutusuna bakın. Tek tek dosyalar, genellikle bir torrent bağlantısı ve bazen bir ZIP veya tam metin kısayolu alırsınız. Tek bir PDF veya tek bir ISO için dosyaya tıklayın. Bitti. Bu, insanların beklediği şekilde çalışan Archive.org indirmesinin tek parçasıdır.

• Öğedeki her dosyayı görmek için 'TÜMÜNÜ GÖSTER' e tıklayın, kutunun gizlediği günlükleri ve türev formatları da dahil.
• Doğrudan URL'ler öngörülebilirdir: archive.org/download/{tanımlayıcı}/{dosya_adı}, betikler ve wget için mükemmeldir.
• Torrent seçeneği, gigabaytlarca öğeler için HTTP'den genellikle daha iyidir ve bağlantı kesildikten sonra temiz bir şekilde devam eder.
• Türevler üretilmiş versiyonlardır, OCR ile çıkarılmış metin, daha küçük MP4'ler. Orijinal yükleme olarak işaretlenmiştir; sadakat önemliyken onu alın.

Betik yazanlar için bir numara daha: archive.org'a /metadata/{tanımlayıcı} ekleyin, her dosyanın, boyutunun, sağlama toplamının ve formatının bir JSON listesini alırsınız. Bu JSON, komut satırı aracının altında yediği şeyin aynısıdır.

Internet Archive CLI ile Toplu İndirmeler

Bir avuç öğeden fazlası için resmi komut satırı aracını, Python paketi internetarchive'ı, kurun, bu ia komutunu sağlar. Kimlik doğrulamayı, devamı ve yeniden denemeleri halleder ve bu, bir betik ile bir hafta sonu tıklama arasındaki farktır.

1. Kurulum: pip install internetarchive, ardından ia configure ile hesabınızı bir kez yapılandırın.
2. Tek öğe: ia download {tanımlayıcı} tüm öğeyi yerel bir klasöre yansıtır.
3. Seçme: ia download {tanımlayıcı} --glob='*.pdf', artık 40 GB sürprizler yok.
4. Tüm aramalar: ia search 'collection:archiveteam AND year:2013' --itemlist > list.txt, sonra o dosya üzerinde ia download döngüsü kurun.

Hız sınırları var. CLI kendi başına nazikçe yeniden dener; archive.org'a karşı ham wget döngünüz bunu yapmaz ve vurmak sizi yavaşlatır veya engeller. Nazik olan siz olun, arşiv kâr amacı gütmeyen bir kuruluştur, bir CDN değil.

Archive.org Web Anlık Görüntüleri Nasıl İndirilir

Şimdi zor kısım. Bir Yakalama bir öğe değildir, bu yüzden bir indirme kutusu yoktur. Çabayı sıralayan dört gerçekçi yolunuz var:

1. Tek sayfa, hemen şimdi: anlık görüntüyü açın ve tarayıcınızın kaydetme işlevini kullanın. Tek bir sayfa için iyi; kaydedilen kopya hala varlıklarını web.archive.org'a yönlendirir.
2. Tek bir dosyanın orijinal baytları: anlık görüntü URL'sinde zaman damgasının sonrasına id_ ekleyin, web.archive.org/web/20120501000000id_/http://example.com/style.css, ve değişmemiş içeriği alırsınız. Tek tek resimler, CSS ve PDF'ler için idealdir.
3. Betikli çekimler: bir yol altındaki her yakalanan URL için CDX API'sine sorgulayın, sonra her birini id_ düzenleyicisiyle isteyin. Çalışır, ancak artık bir kazıyıcıyı yönetiyorsunuz, sağlama toplamlarını ayıklıyorsunuz ve bağlantıları kendiniz yeniden yazıyorsunuz.
4. İndirici araçları ve geri yükleme hizmetleri: wayback-machine-downloader gem gibi topluluk araçları CDX-artı-alma döngüsünü otomatikleştirir; Restorix gibi bir geri yükleme hizmeti bunu yapar ve ayrıca temizliği ve yeniden dağıtımı da yapar.

Deseni fark edin: bir veya iki sayfadan fazlasını istediğiniz an, araç yazıyor veya çalıştırıyorsunuz. Bundan utanılacak bir şey yok, sadece dürüstçe bütçe ayırın.

id_ numarası hakkında bir uyarı, çünkü abartılı satıyor: size o tek yanıtın orijinal baytlarını verir, ancak hiçbir şeyi düzeltmez. id_ ile çekilen bir sayfa hala 2012'de sitenin kullandığı mutlak URL'leri içerir, hala tarayıcının hiç almadığı varlıklara atıfta bulunur ve hala artık sahip olmayabileceğiniz bir alan adını varsayar. Orijinal baytlar bitmiş site değil, başlangıç malzemesidir.

Öğeler ve Web Anlık Görüntüleri: Hangisi Ne Zaman Uygulanır

Son satır insanları şaşırtır: Archive Team ölen bir sunucuyu kurtardığında, sonuç devasa WARC dosyaları olarak öğe arşivine düşer. Aynı web sitesi hem bir öğe indirmesi hem de bir anlık görüntü seti olabilir. Önce öğe tarafını kontrol edin, önceden paketlenmiş bir tarama, bin tek tek çekimden daha iyidir ve formatlar rehberimiz bu WARCs ile ne yapılacağını açıklar.

Saatleri Boşa Harcayan İndirme Hataları

• web.archive.org'a karşı özyinelemeli wget. Her bağlantı kendi alan adında kalacak şekilde yeniden yazılır, bu yüzden kazıyıcınız evrenin sıcak ölümüne kadar Wayback Machine'in kendi arayüzünü mutlulukla indirir.
• Tek bir dosya için tüm öğeyi indirmek. Bir 'TÜMÜNÜ GÖSTER' tıklaması on saniye sürer; 40 GB'lık bir ZIP akşamınızı alır.
• Bir anlık görüntüye tüm site olarak güvenmek. Yakalamalar URL başınadır ve fırsatçıdır, bir CDN alt alan adından sunulan resimler genellikle tamamen eksiktir.
• CDX çıktısındaki durum kodlarını görmezden gelmek. Yönlendirmeler ve 404'ler de arşivlenir; statuscode:200 ile filtreleyin ve sağlama toplamlarını çökertin, yoksa yönlendirme kırıntılarını sayfa olarak geri yüklersiniz.
• Sağlama toplamlarını atlamak. Öğeler md5 ve sha1 dosyaları gönderir, büyük indirmeleri üzerine inşa etmeden önce doğrulayın.
• Tek bir anlık görüntü tarihinin yeterli olduğunu varsaymak. 2009 görselli 2011 ana sayfası normaldir; siteler parça parça tarandı, bu yüzden eksiksiz bir resim elde etmek için yakalama tarihlerini karıştırmanızı bekleyin.

Dosyalarınız Var. Şimdi Ne?

Öğe indirmeleri doğrudan medya kitaplığınıza veya araç zincirinize oturur, bu kısım çözülmüştür. Anlık görüntü çekimleri gerçek işin başladığı yerdir: yeniden yazılmış URL'ler, eksik varlıklar, ölü iletişim formları, karışık HTTP ve HTTPS. 2011 yakalamalarından oluşan bir klasörü gerçekten yüklenen bir siteye dönüştürmek bir yeniden oluşturma işidir, bir indirme işi değil.

Bu, betikleri elle yazmayı bırakıp insanları web sitesi geri yükleme aracına yöneltmeye başladığım noktadır. Ücretsiz tahmin, siz bir kuruş harcamadan önce arşivi okur, kesin dosya sayısı, toplam boyut, kilitli fiyat. İlk dosya ücretsiz geri yüklenir, bundan sonra dosya başına ödeme, tek seferlik eklemeler, abonelik yok. Bir geri yükleme veya dağıtma başarısız olursa, geri ödeme otomatik olarak bakiyenize düşer, destek talebi gerekmez.

Geri yükleme seçenekleri, aksi takdirde betik yazacağınız zahmetli kısımları kapsar: analitikleri ve reklamları kaldırır, bağlantıları göreli yapar, HTTPS'yi zorlar, www'yi kanonikleştirir, yönlendirmeleri korur. Tek tıklamayla dağıtma sonucu SSH/SFTP, FTP veya S3'e iter ve /webarchive-cms.php'deki paketlenmiş tek dosyalı CMS, içeriği yerinde düzeltmenizi sağlar, öğretici tam bir işi anlatır. İndirmeler aramayı bitirir; işi bitirmez.