Cara Mengunduh Situs Web dari Archive.org: 3 Metode yang Terbukti Berhasil

Situsnya sudah hilang. Hostingnya kedaluwarsa, klien tidak pernah menyimpan cadangan, dan satu-satunya salinan yang tersisa ada di Wayback Machine. Saya sudah menerima telepon seperti ini lebih banyak dari yang bisa saya hitung, dan pertanyaan pertamanya selalu sama: bisakah Anda mengunduh situs web dari archive.org dan mengembalikannya?

Ya, bisa. Ada tiga jalur realistis: menyimpan halaman secara manual, membuat skrip berdasarkan indeks CDX, atau membiarkan layanan pemulihan otomatis melakukan perayapan untuk Anda. Ketiganya sangat berbeda dalam hal usaha, dan pilihan yang salah bisa menghabiskan akhir pekan Anda. Berikut cara kerja masing-masing metode, lengkap dengan estimasi waktu jujur dari pengalaman profesional saya.

Apa Arti Sebenarnya Mengunduh dari Wayback Machine

Wayback Machine bukanlah folder situs web yang bisa Anda unduh dengan satu klik. Ini adalah indeks raksasa berisi tangkapan individual: setiap halaman, gambar, stylesheet, dan skrip disimpan secara terpisah, masing-masing terikat pada waktu perayapannya. Saat Anda membuka halaman lama, browser Anda mengambil HTML dari satu tangkapan dan gambar dari beberapa tangkapan lain, lalu merangkainya secara langsung.

Jadi, mengunduh situs berarti mendata ratusan atau ribuan file individual, mengambilnya satu per satu, dan menulis ulang tautan internal agar salinan tersebut berfungsi di luar archive.org. Ingat model ini, hal ini menjelaskan mengapa setiap metode di bawah ini bekerja seperti adanya, dan mengapa tidak ada satu pun yang berupa tombol unduh tunggal.

Metode 1: Mengunduh situs web dari archive.org halaman demi halaman secara manual

Pendekatan paling sederhana, dan terkadang memang yang paling tepat. Anda membuka snapshot di Wayback Machine dan menyimpan setiap halaman menggunakan browser. Untuk situs brosur berisi lima halaman, cara ini sebenarnya cukup baik. Namun untuk situs yang lebih besar, ini akan terasa seperti hukuman yang lambat.

1. Buka halaman arsip pada tanggal snapshot yang Anda inginkan.
2. Gunakan Simpan Sebagai (Save As) dan pilih 'Halaman Web, Lengkap' agar aset ikut tersimpan.
3. Ulangi untuk setiap halaman, termasuk yang hanya bisa diakses melalui menu lama.
4. Buka HTML yang tersimpan dan hapus markup toolbar Wayback dari setiap file.
5. Perbaiki atau biarkan URL aset yang masih mengarah ke web.archive.org.

Ada dua jebakan di sini. HTML yang tersimpan masih merujuk ke web.archive.org untuk banyak aset, sehingga salinan Anda akan rusak saat dibuka secara offline atau saat arsip mengalami kelambatan. Selain itu, markup toolbar yang tertanam di setiap halaman yang disimpan harus dibersihkan secara manual, file demi file. Saya masih menggunakan metode ini untuk halaman tunggal, seorang klien pernah hanya membutuhkan halaman harga lama mereka untuk sengketa hukum, dan satu kali penyimpanan hanya memakan waktu dua menit. Toko mereka yang berisi 300 halaman tentu mendapat penanganan berbeda.

• Usaha realistis: 5-10 menit per halaman setelah termasuk pembersihan aset.
• Cocok untuk: hingga sekitar 10 halaman, atau mengambil satu halaman spesifik sebagai referensi.
• Tidak efektif untuk: puluhan halaman, atau pekerjaan yang membutuhkan markup asli yang bersih.

Metode 2: Mengunduh situs web dari archive.org menggunakan CDX API

CDX API adalah endpoint indeks dari Wayback Machine, dan inilah cara Anda menemukan setiap file yang dimiliki archive.org untuk suatu domain. Satu kueri akan mengembalikan seluruh catatan dalam format JSON:

web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=timestamp,original,mimetype,statuscode&filter=statuscode:200&collapse=digest

Hasilnya memberi Anda timestamp, URL asli, dan tipe MIME untuk semua yang tertangkap. Parameter collapse menghapus duplikat file identik, sehingga Anda tidak mengunduh logo yang sama sebanyak 400 kali. Dari sana, skrip kecil akan menelusuri daftar dan mengambil setiap file. Tambahkan id_ pada URL timestamp, seperti /web/20150312145531id_/http://example.com/style.css, dan archive.org akan mengembalikan byte asli tanpa markup yang ditulis ulang. Satu akhiran itu adalah pembeda antara salinan bersih dan halaman yang penuh dengan toolbar.

Bagian yang tidak menarik justru yang menyita waktu Anda. Archive.org membatasi klien yang terlalu agresif, jadi skrip memerlukan jeda yang sopan dan logika percobaan ulang, atau Anda akan berjam-jam hanya melihat respons 429. URL dengan query string perlu diduplikasi, atau ID sesi bisa mengubah situs 200 halaman menjadi perayapan 9.000 file. Setelah file berhasil diunduh, tautan internal masih mengarah ke domain asli, sehingga Anda perlu proses penulisan ulang sebelum salinan tersebut bisa dijelajahi secara offline dengan benar.

• Usaha realistis: 2-4 jam untuk menulis dan men-debug skrip jika Anda rutin coding; satu akhir pekan jika tidak. Proses perayapan itu sendiri memakan waktu 30-90 menit untuk beberapa ratus file.
• Cocok untuk: developer, arsiparis, atau siapa pun yang menginginkan kendali penuh atas setiap byte.
• Tidak efektif untuk: orang yang belum pernah membuka terminal, atau tenggat waktu yang dihitung dalam jam.

Apa pun skrip yang Anda buat, uji hasilnya seperti yang dilakukan pengunjung: sajikan folder tersebut menggunakan server web lokal mana pun dan klik-klik di sekitarnya. Jalur gambar yang rusak, tautan yang mengarah ke web langsung, dan font yang hilang akan terlihat dalam lima menit pertama pengujian, dan sangat menyebalkan jika baru ditemukan setelah Anda menyatakan pekerjaan selesai.

Metode 3: Mengunduh situs web dari archive.org secara otomatis

Jalur ketiga ini membiarkan layanan pemulihan melakukan perayapan, pencocokan aset, dan penulisan ulang tautan. Inilah yang saya rekomendasikan kepada klien ketika situs tersebut lebih penting daripada pengalaman belajar. Dengan layanan ini, Anda cukup menempelkan domain dan mendapatkan estimasi instan gratis: jumlah file arsip yang tepat, ukuran total, dan harga tetap sebelum Anda membayar apa pun. Anda memilih rentang tanggal, mengaktifkan opsi yang diinginkan, dan salinan yang dipulihkan akan siap dijelajahi, atau langsung di-deploy ke hosting Anda melalui SSH, FTP, atau S3.

• Opsi yang perlu diketahui: tautan internal relatif, penghapusan analitik dan iklan lama, minifikasi JS/CSS, konversi HTTPS, kanonikalisasi www atau non-www.
• Proses pemulihan dapat mengekspor manifes terstruktur (JSON atau SQLite) sehingga Anda tahu persis apa saja yang berhasil dikembalikan.
• Pemulihan yang gagal akan otomatis mengembalikan dana ke saldo Anda, tanpa perlu tiket dukungan.

Kelemahannya jelas: ada biayanya. Anda membayar per file yang dipulihkan, file pertama gratis, dan harganya dikunci saat estimasi. Untuk blog pribadi, Anda mungkin lebih senang membuat skrip sendiri. Namun untuk toko WooCommerce klien yang menghasilkan pendapatan dan harus kembali online malam ini, biaya tersebut biasanya menjadi pos pengeluaran termurah dalam seluruh insiden. Proses deploy juga menyertakan CMS satu file yang ringkas, sehingga perbaikan teks kecil setelah pemulihan tidak memerlukan pengunggahan ulang apa pun.

Perbandingan Waktu dan Usaha

Perhatikan bahwa tabel ini mengukur waktu Anda, bukan waktu mesin. Skrip atau layanan mungkin memproses perayapan besar selama berjam-jam, tetapi proses itu berjalan saat Anda tidur. Sumber daya yang paling langka dalam proses pemulihan adalah waktu luang orang yang mengerjakannya, itulah yang saya jadikan patokan harga.

Kesalahan yang Menghabiskan Sore Hari

• Mengandalkan penyimpanan browser untuk seluruh situs. Anda akan melewatkan setiap halaman yang tidak dibuka secara manual, dan situs lama sering menyembunyikan halaman di tempat yang sudah Anda lupakan.
• Mengabaikan pengubah id_, lalu bertanya-tanya mengapa setiap file HTML memiliki markup toolbar Wayback yang tertanam.
• Membanjiri archive.org dengan permintaan paralel. Anda akan dibatasi, dan pekerjaan satu jam berubah menjadi empat jam.
• Melewatkan proses penulisan ulang tautan. Salinan terlihat baik-baik saja sampai Anda mengklik sesuatu.
• Menganggap setiap halaman sudah diarsipkan. Periksa inventaris CDX terlebih dahulu agar celah yang ada menjadi hal yang diketahui, bukan kejutan di akhir.

Metode Mana yang Harus Anda Pilih?

Di bawah sepuluh halaman: simpan secara manual dan terima kekurangan markupnya. Anda bisa coding dan menginginkan kendali penuh: buat skrip CDX dan siapkan waktu satu sore. Anda butuh situs kembali bersih tanpa harus menjadi arsiparis paruh waktu: gunakan jalur otomatis, tutorial memandu pemulihan penuh dalam beberapa menit, dan estimasi gratis memberi tahu jumlah file serta harga sebelum Anda memutuskan.

Satu hal terakhir: jalur mana pun yang Anda pilih, lakukan sekarang. Archive.org adalah anugerah, tetapi platform ini pernah mengalami gangguan dan tekanan hukum sebelumnya, dan 'nanti saja saya unduh' adalah alasan tepat mengapa situs bisa hilang untuk kedua kalinya.