Web Sejarah sebagai Sumber Daya Riset: Apa yang Bertahan

Beberapa tahun lalu, sebuah perusahaan menyelesaikan perselisihan merek dagang yang alot dengan satu bukti: apa yang dikatakan homepage mereka sendiri pada tahun 2003. Pihak lawan mengklaim tangkapan layar itu dipalsukan. Argumen itu runtuh begitu penggugat menampilkan tangkapan Wayback Machine yang cocok, lengkap dengan timestamp crawl dan affidavit tertulis dari Internet Archive. Kasus selesai. Begitulah web sejarah menjalankan tugasnya.

Peneliti mengambil halaman lama untuk sitasi. Jurnalis mengambilnya untuk menangkap penghapusan diam-diam. Pengacara mengambilnya untuk membuktikan apa yang dikatakan sebuah kontrak, toko online, atau pernyataan publik pada hari tertentu. Semuanya tersedia, ratusan miliar tangkapan lebih dalam, tetapi menggunakannya dengan baik butuh kehati-hatian. Arsip punya celah, tangkapan punya keanehan, dan tidak semua timestamp berarti seperti yang Anda kira.

Apa Sebenarnya Web Sejarah Itu

Web sejarah bukan rekaman internet. Ini adalah tumpukan foto diam yang sangat besar. Crawler mengunjungi sebuah URL, menyimpan apa pun yang diberikan server, lalu bergerak pergi. Minggu atau bulan kemudian mereka kembali dan melakukannya lagi. Apa yang Anda jelajahi di web.archive.org adalah tumpukan itu, diurutkan berdasarkan URL dan tanggal, membentang kembali ke tahun 1996.

Wayback Machine Internet Archive adalah sumber terbesar dengan selisih yang jauh, tetapi bukan satu-satunya. Common Crawl menerbitkan data crawl mentah untuk riset skala besar. Archive.today mengambil snapshot sesuai permintaan dari satu halaman. Perma.cc, dikelola oleh perpustakaan Harvard, ada agar pengadilan dan jurnal mendapatkan sitasi yang tidak bisa hilang begitu saja. Perpustakaan nasional menjalankan koleksi mereka sendiri di bawah aturan simpanan hukum, dan beberapa koleksi itu sangat besar.

Dua implikasi mengikuti. Pertama, cakupan tidak merata: homepage terkenal mungkin memiliki ribuan tangkapan sementara halaman dalam yang tidak dikenal hanya punya tiga. Kedua, setiap tangkapan adalah sampel yang diambil pada saat crawl. Ini bukan halaman langsung, dan belum tentu halaman yang dilihat pengunjung manusia mana pun.

Siapa yang Menggunakan Web Sejarah, dan Mengapa

Empat kelompok melakukan sebagian besar pekerjaan berat, dan masing-masing menginginkan sedikit hal berbeda dari tumpukan snapshot yang sama.

• Akademisi. Studi sitasi terus menemukan bahwa bagian yang menyedihkan dari tautan di makalah yang dipublikasikan mati dalam hitungan tahun, fenomena ini punya nama sendiri, reference rot. Akademisi kini mengarsipkan sumber sebelum mengutipnya, dan banyak yang mempelajari web sejarah sendiri sebagai kumpulan data.
• Jurnalis. Rilis pers yang dihapus, pernyataan yang diedit secara diam-diam, klaim produk yang menghilang setelah penarikan kembali. Reporter topik mengecek arsip seperti mereka mengecek filing publik.
• Pengacara dan paralegal. Penggunaan merek pertama kali, pencemaran nama baik, syarat layanan lama, apa yang dijanjikan halaman produk sebelum cedera. Halaman terarsip sering muncul dalam perselisihan.
• Pemilik situs dan SEO. Memulihkan situs mati, mengaudit domain sebelum membeli, mengecek seperti apa corong kompetitor tiga desain lalu.

Menilai Kualitas Preservasi Sebelum Anda Mempercayai Sebuah Tangkapan

Tidak semua tangkapan setara. Tangkapan tahun 2015 dari artikel berita mungkin halaman lengkap dengan foto. Tangkapan tahun 2018 dari URL yang sama mungkin sekadar kerangka HTML telanjang, karena situs berpindah ke kerangka kerja JavaScript yang merender konten di sisi klien dan crawler menyimpan cangkang tapi bukan datanya. Buka tangkapannya dan lihat sebelum Anda mengutipnya. Setiap saat.

1. Apakah gambar dimuat? Foto yang hilang berarti crawler mendapatkan HTML tapi bukan aset, atau aset diblokir.
2. Apakah halaman memiliki gaya? Halaman tanpa gaya berarti CSS hilang, yang biasanya berarti tangkapannya parsial.
3. Apakah tautan internal mengarah ke halaman terarsip lainnya? Klik dua atau tiga. Jalan buntu memberi tahu Anda bahwa crawl-nya dangkal.
4. Periksa kalender di sekitar tanggal Anda. Tahun tangkapan yang jarang di dekat snapshot Anda membuat tangkapan tipis lebih mungkin.
5. Cari konten pihak ketiga yang tertanam, tweet, video, iframe, peta. Itu adalah URL terpisah dengan tangkapan terpisah, dan itu hal pertama yang menghilang.

Satu kehalusan lagi: koherensi temporal. Arsip menyusun halaman dari tangkapan terdekat setiap file, dan file-file itu bisa berjarak beberapa hari atau minggu. HTML mungkin dari 4 Maret sementara gambar utama berasal dari 19 Februari. Untuk sebagian besar riset, itu tidak masalah. Untuk bukti, catat timestamp per-file ketika itu penting, Anda bisa membacanya di URL setiap sumber yang dimuat.

Web Sejarah sebagai Bukti Hukum

Pengadilan di AS dan di tempat lain telah menerima tangkapan terarsip selama bertahun-tahun, dan prosedurnya sudah mapan. Jalur yang biasa adalah autentikasi: Internet Archive menyediakan, dengan biaya tertentu, affidavit tertulis yang mengautentikasi tangkapan tertentu, yang merupakan praktik standar yang diakui hakim. Sebagai alternatif, saksi dengan pengetahuan pribadi tentang halaman dapat mengautentikasi cetakan.

• Merek dagang dan perdagangan: membuktikan penggunaan pertama dalam perdagangan, atau bahwa merek muncul dalam bentuk tertentu.
• Pencemaran nama baik: apa yang dikatakan pernyataan, kapan dipublikasikan, dan kapan dihapus.
• Perselisihan kontrak: versi mana dari syarat layanan yang diposting pada hari pengguna mendaftar.
• Hak cipta: tanggal publikasi sebelumnya dan kondisi halaman pada momen tertentu.

Arsip menunjukkan apa yang diterima crawler, belum tentu apa yang dilihat pelanggan. Penetapan harga berbasis geografi, tes A/B, dan halaman yang dipersonalisasi sebagian besar tidak terlihat oleh arsip, layak diingat sebelum siapa pun menandatangani affidavit.

Perlakukan tangkapan pihak lawan dengan skeptisisme yang sama yang Anda inginkan diterapkan pada tangkapan Anda. Jika satu tangkapan adalah keseluruhan kasus, konfirmasi: arsip kedua, tangkapan layar dari waktu yang sama, log server, email. Hakim menyukai bukti yang converges, dan Anda juga seharusnya.

Kesalahan Umum Saat Mengutip Halaman Terarsip

1. Menautkan ke tangkapan tanpa membukanya dulu. Setengah waktu, setengah yang Anda butuhkan adalah setengah yang hilang.
2. Mencampur tanggal tangkapan dengan tanggal konten. Timestamp menunjukkan kapan crawler mengunjungi, bukan kapan teks ditulis.
3. Mengikuti tangkapan redirect tanpa memperhatikan. Status redirect berarti crawler dikirim ke tempat lain; konten yang Anda inginkan mungkin ada di URL berbeda.
4. Mengutip satu arsip saja. Simpan tautan perma.cc atau cetakan PDF di sampingnya, tangkapan bisa dihapus atas permintaan.
5. Mengasumsikan seluruh situs ditangkap. Tangkapan homepage membuktikan homepage itu ada. Tidak lebih.

Penghapusan, Robots.txt, dan Cara Lain Halaman Menghilang

Wayback Machine menghormati permintaan pengecualian dan penghapusan. Pemilik situs dapat meminta Internet Archive untuk berhenti mengarsipkan sebuah domain, dan tangkapan historis bisa menjadi tidak tersedia. Blok robots.txt menjaga crawler keluar sepenuhnya selama bertahun-tahun, jadi situs dengan file robots ketat mungkin punya lubang persis di mana sejarahnya seharusnya.

Konsekuensi praktis: jika sebuah tangkapan penting bagi Anda, buat catatan Anda sendiri di hari Anda menemukannya. Ambil tangkapan layar halaman penuh, simpan PDF, tuliskan URL dan timestamp tangkapan yang tepat. Arsip bertahan lama tapi tidak abadi, dan perselisihan punya cara membuat halaman tertentu menghilang di momen terburuk.

Dari Web Sejarah Kembali ke Situs yang Berfungsi

Terkadang riset berakhir dengan sebuah keputusan: Anda ingin situsnya kembali. Situs lama Anda sendiri, klien, domain yang baru Anda beli dengan satu dekade konten yang melekat. Menyalin-tempel halaman dari arsip berfungsi untuk lima halaman. Tidak berfungsi untuk lima ribu.

Di situlah Restorix mengisi kekosongan. Ini mengunduh salinan terarsip dari sebuah situs file demi file, HTML, gambar, stylesheet, PDF, dan membangunnya kembali sebagai situs web yang berfungsi. Estimasi gratis menunjukkan jumlah file terarsip yang tepat, ukuran total, dan harga yang dikunci sebelum Anda membayar apa pun, dan Anda membayar per file yang dipulihkan dengan file pertama gratis.

Untuk peneliti, dua opsi pemulihan berguna secara diam-diam bahkan jika situs tidak pernah kembali online: ekspor artikel terstruktur (XML, CSV, atau JSON) dan manifes file lengkap dalam JSON atau SQLite. Arahkan alat ke arsip publikasi mati dan Anda mendapatkan kumpulan data alih-alih folder HTML. Tutorial memandu melalui seluruh proses.