İnternet Sitelerinin Tarihi: Kaydedilen, Kaybolan ve Sebepleri

Nisan 2009'da Yahoo, GeoCities'i kapatacağını duyurdu. Otuz sekiz milyon kullanıcı sayfası, MIDI dosyaları, animasyonlu inşaat tabelaları, X-Files'tan tropikal balıklara kadar her şeye adanmış hayran sayfaları, o Ekim ayında silinmek üzere planlandı. Archive Team adlı gönüllü bir ekip, bant genişlikleri elverdiği kadar altı ay boyunca indirme işlemi yaptı ve elde ettiklerini torrent olarak yayınladı. Erken web'in bir kısmı, yabancıların bunu koruması gerektiğine karar vermesi sayesinde hayatta kaldı. Erken web'in çoğu bu kadar şanslı değildi.

Bu, çevrimiçi geçen ilk on yıllardan gerçekten neyin korunduğuna, neyin kalıcı olarak yok olduğuna ve her ikisinin arkasındaki teknik ve sosyal nedenlere bir bakış. Belirli bir eski siteyi kurtarmaya çalışıyorsanız, son bölüme atlayın, o kısım sizin için.

İnternet sitelerinin tarihi, düşündüğünüzden daha yeni

Web, Ağustos 1991'de halka açıldı; Tim Berners-Lee CERN'den World Wide Web projesini duyurdu ve insanları info.cern.ch adresine yönlendirdi. Kimse arşivlemedi. Arşivleyecek bir şey yoktu, büyük ölçekli web tarayıcıları hâlâ yıllar uzaktaydı ve bilinçli olarak web sitelerini koruma fikri çoğu insanın gözünde biriktirmek olarak görülüyordu.

Internet Archive, Mayıs 1996'da Brewster Kahle tarafından kuruldu; crawl verileri Alexa Internet'ten aktı. Wayback Machine kendisi Ekim 2001'de halka açıldı ve zaten 10 milyar sayfa barındırıyordu. Bugün 900 milyardan fazla barındırıyor. Etkileyici, ama boşluk önemli. 1991'den 1996'ya kadar sistematik bir arşivleme yoktu. CERN, 2013'te ilk web sitesini orijinal adresinde restore ettiğinde, kimse bulabildi en eski kopya Kasım 1992'den dönüyordu. 1991 orijinali, web tarihinin tartışmasız en önemli sayfası, yalnızca ekran görüntülerinde ve yeniden yapılandırmalarda hayatta kalıyor.

Bu beş yıllık delikten kalan her şey tesadüfen hayatta: bir sysadmin'in yedek bandı, bir dergiyle birlikte verilen bir CD-ROM, silinmeyi unutmuş birinin FTP aynası.

Kim neyi kurtardı: arşivciler, gönüllüler ve kütüphaneler

Dört grup kurtarma işini üstlendi, her birinin farklı motivasyonları ve farklı kapsama alanları var.

• Internet Archive sürekli tarama yapar ve halka açık Save Page Now gönderimlerini kabul eder. Web'in varsayılan hafızasıdır ve kontrol edilecek ilk yerdir.
• Archive Team, bir hizmet kapanacağını duyurduğunda harekete geçen gönüllü kurtarma kolektifidir. 2009'da GeoCities, 2019'da Google+ ve Yahoo Groups, ellerinden geleni kaparlar ve torrent olarak yayınlarlar.
• Ulusal kütüphaneler seçici olarak arşivler. UK Web Archive 2013'ten beri yasal depo kapsamında çalışıyor; Avustralya'nın PANDORA arşivi 1996'dan beri önemli Avustralya sitelerini derlemiştir.
• Common Crawl, 2008'den bu yana devasa açık tarama veri setleri yayınlıyor, araştırmacılar için paha biçilmez, ancak casus kullanıcıların gezinmesi için dostça bir takvim arayüzü yok.

Ayrı bir anı hak eden: 2012'den beri çalışan archive.today, talep üzerine anlık görüntüler alır ve genellikle Internet Archive'ın kaçırdığı sayfaları saklar; özellikle IA taramalarından engellenenleri.

İnternet sitelerinin tarihinin koruduğu şeyler: statik, herkese açık, popüler

Neyin en iyi korunduğuna bakın ve bir örüntü hemen ortaya çıkar. Arşivler, bir tarayıcının ucuza ve sıkça ulaşabildiği şeylere doğru önyargılıdır.

• Düz bağlantılar içeren statik HTML sayfaları, tarayıcının doğal yiyeceği.
• Özellikle dosya boyutları makul olduğunda, yakalanan bir sayfadan doğrudan bağlanan görseller ve dosyalar.
• Çok sayıda gelen bağlantıya sahip sayfalar, çünkü tarayıcılar bağlantıları takip eder ve popüler sayfalar sürekli yeniden taranırdı.
• Taranmaya izin veren robots.txt'ye sahip siteler, tek bir Disallow: / her şeyi gizlerdi.
• Her türden metin. Mükemmel şekilde sıkıştırılır ve hızlı geri döner.

Elle kodlanmış 1998 tarihli kişisel bir ana sayfa, mor arka plan, ziyaretçi sayacı, bağlantılar sayfası, GIF'ler dahil tamamen genellikle geri getirilebilir durumda. Kültürel ayak izi on kat daha büyük olan 2008 tarihli bir çevrimiçi mağaza genellikle aynı durumda değildir. Popülerlik ve sadelik her şeyi yener.

Kalıcı olarak yok olan şeyler ve nedenleri

Kayıplar birkaç öngörülebilir gruba yığılıyor ve en büyüğü düz bir metin dosyası. 2017'deki bir politika değişikliğine kadar Internet Archive, robots.txt dışlamalarını onurlandırıyor ve bunları geriye dönük olarak uyguluyordu, tek bir dosya düzenlemesi yıllarca mevcut yakalamaları halkın görüşünden gizleyebilirdi. Alan adları satılır, yeni sahibi kısıtlayıcı bir robots dosyası ekler ve on yıllık tarih bir gecede kararır. Sayısız site bu şekilde, veriler teknik olarak hâlâ mevcut olmasına rağmen arşivden yok oldu.

Giriş yapmanın arkasındaki her şey asla taranmadı: özel forumlar, erken sosyal ağlar, yalnızca üyelere açık topluluklar. Friendster'ın 2011 yeniden tasarımı, yıllarca süren profilleri tek bir deploy'da sildi. Dinamik, veritabanı odaklı sayfalar en iyi ihtimalle tutarsız taranıyordu, tarayıcılar GET linklerini işler, POST formlarını değil; bu yüzden arama sonuçları, alışveriş sepetleri ve filtrelenmiş listeler arşivlerin bildiği kadarıyla aslında hiç var olmadı.

Ağır medya da kötü durumda kaldı. RealPlayer döneminden streaming ses ve video, Java appletleri ve tuhaf protokoller üzerinden sunulan her şey atlandı veya bozuk yakalandı. Flash ünlü kenar durumudur:.swf dosyaları genellikle kaydedildi ama yıllarca oynatılamaz halde durdu; Ruffle emülatörü 2020'da birçoğunu tekrar çalıştırılabilir hale getirene kadar. Kimsenin yakalamadığı Flash parçaları ise tamamen gitti.

Rakamlar yakın web için bile kasvetli. Pew Research, 2024'te 2013'te var olan sayfaların yüzde 38'inin artık erişilebilir olmadığını buldu. Harvard'ın link çürümesi çalışması, ABD Yüksek Mahkemesi kararlarında alıntılanan URL'lerin yaklaşık yarısının zaten ölü olduğunu tespit etti. Koruma istisnadır. Çürüme varsayılandır.

Dinamik siteler arşivlemeyi neden bozdu

Bir tarayıcı URL'leri çeker. Bütün numara budur. 2005 tarihli bir phpBB forumu veya osCommerce mağazası bir URL koleksiyonu değildir, viewtopic.php?t=4821&start=40 gibi sorgu dizelerinden sayfa oluşturan bir veritabanıdır, URL'ler kılık değiştirmiştir. URL uzayı sonsuza yakındır, bu yüzden tarayıcılar örnekler. Dizin sayfalarını ve o ay iyi bağlantılı olan konuları yakalar, geri kalanını kaçırır.

Oturumlar ve çerezler işleri daha da kötüleştirir: aynı URL ziyaretçiye göre farklı içerik döndürür, bu yüzden bir yakalama oturum açmamış bir iskelet veya yönlendirme depolayabilir. Ve acı bir ekonomik açı var, metin almak ve depolamak ucuz, medya değil. Daraltılmış taramalar maliyetleri düşük tutmak için büyük dosyaları atladı; bu, neden bu kadar çok arşivlenmiş sayfanın görsellerin eskiden olduğu gri deliklerle metin olarak yüklendiğini açıklar.

Sonuç: arşivler genellikle bir sitenin iskeletini, ana sayfalar, statik makaleler, birkaç iyi bağlantılı konu, korur ama yaşayan organizmayı değil. Arama kutusu, üye listesi, ödeme akışı: bunlar hiçbir anlamlı düzeyde yakalanabilir değildi.

İnternet sitelerinin tarihini kendiniz nasıl keşfedersiniz

Belirli bir site için iş akışı kısadır:

1. Alan adını web.archive.org'a girin. Takvim üzerindeki kıvılcım grafiği, yıla göre yakalama yoğunluğunu gösterir, yoğun yıllar kapsamlı bir kapsama anlamına gelir.
2. Önce en eski yakalamayı açın, sonra ileriye doğru ilerleyin. Erken yakalamalar orijinal yapıyı ve eski URL kalıplarını ortaya çıkarır.
3. Belirli bir URL'yi mi arıyorsunuz? CDX dizinini sorgulayın veya adresi doğrudan Wayback çubuğuna yapıştırın, bir sitenin sahip olduğu her sayfayı bulma rehberim API püf noktalarını kapsar.
4. Internet Archive'ın kaçırdığı her şey için archive.today'ı çapraz kontrol edin.
5. 1996 öncesi materyaller için resmi arşivler yerine operatör çalıştıran aynaları, üniversite derlemelerini ve nostalji projelerini arayın.

Büyük resimyi değil de tek bir sayfayı istiyorsanız, web sitesi geçmişi nasıl aranır ve web sitesi geçmişi araştırmasına dalma konusundaki kılavuzlarımız takvim, derlemeler ve alternatif arşivler hakkında ayrıntıları kapsar.

Geçmişe göz atmak yetmediğinde

Wayback Machine bir okuma odasıdır, bir geri yükleme düğmesi değil. İhtiyaç duyduğunuz gün gerçek siteyi geri istediğinizde, dosyaları, görselleri, kendi alan adınızda çalışan dahili bağlantıları, yaklaşık bir düzine sayfadan sonra manuel kaydetme çöker. Sağ tık, farklı kaydet, yolları düzelt, tekrar et: bölüm başına bir öğleden sonra ve sonuç parçalarla dolu bir klasördür.

Web sitesi geri yükleme servisi tam olarak bu iş için var. Alan adını yapıştırın ve ücretsiz tahmin, ödeme yapmadan önce tam arşivlenmiş dosya sayısını, toplam boyutu ve kilitli fiyatı gösterir. Dosya başına ödeme yaparsınız, ilk dosya ücretsizdir ve geri yüklemeler tarih aralığına göre filtrelenebilir ve temizlenebilir, eski analitikler ve reklamlar sıyrılır, bağlantılar göreli yapılır, HTTPS zorlanır. Yeniden oluşturulan site tek tıklamayla kendi barındırmanıza deploy edilir veya yapılandırılmış veri olarak dışa aktarılabilir. Öğretici tam akışı gösterir.

İnternet sitelerinin tarihi düzensizdir, ancak hayatta kalan şeyler genellikle iş için doğru aracı kullanırsanız kurtarılabilir durumdadır.