Paano Mag-download ng Website mula sa Archive.org: 3 Paraan na Gumagana

Wala na ang site. Nag-lapse na ang hosting, hindi nagtabi ng backup ang kliyente, at ang tanging kopya na natitira ay nasa Wayback Machine. Nakarating na ako sa eksaktong tawag na iyon nang hindi ko na mabilang, at ang unang tanong ay palaging pareho: puwede bang mag-download ng website mula sa archive.org at maibalik ito?

Oo, puwede. May tatlong makatotohanang ruta: mano-manong i-save ang mga pahina, mag-script laban sa CDX index, o hayaan ang awtomatikong restore service na gawin ang pag-crawl para sa iyo. Magkakaiba ang mga ito nang husto sa pagsisikap, at ang maling pagpili ay magpapabale-wala sa iyo ng isang weekend. Narito kung paano talaga gumagana ang bawat isa, na may tapat na pagtatantya ng oras mula sa paggawa nito bilang hanapbuhay.

Ano talaga ang ibig sabihin ng pag-download mula sa Wayback Machine

Ang Wayback Machine ay hindi isang folder ng mga website na makukuha mo sa isang click lang. Ito ay isang malaking index ng mga indibidwal na capture: bawat pahina, larawan, stylesheet at script na nakaimbak nang hiwalay, na nakatali sa sandaling na-crawl ito. Kapag tumingin ka sa lumang pahina, kinukuha ng iyong browser ang HTML mula sa isang capture at ang mga larawan mula sa ilang iba, na tinahi nang sabay-sabay.

Kaya ang pag-download ng site ay nangangahulugang mag-enumerate ng daan-daan o libu-libong indibidwal na file, kunin ang bawat isa, at muling isulat ang mga internal na link para gumana ang kopya sa labas ng archive.org. Panatilihin ang modelong iyan sa isip, ipinapaliwanag nito kung bakit gumagana ang bawat method sa ibaba sa paraang ginagawa nito, at kung bakit wala ni isa sa kanila ang isang solong download button.

Paraan 1: mag-download ng website mula sa archive.org nang pahina-pahina

Ang magaang paraan, at minsan ang tama. Binubuksan mo ang snapshot sa Wayback Machine at sini-save ang bawat pahina gamit ang iyong browser. Para sa isang five-page brochure site, ito ay tapat na okay lang. Para sa anumang mas malaki, ito ay isang mabagal na anyo ng parusa.

1. Buksan ang naka-archive na pahina sa petsa ng snapshot na gusto mo.
2. Gamitin ang Save As at piliin ang 'Web Page, Complete' para mapa kasama ang mga asset.
3. Ulitin para sa bawat pahina, kabilang ang mga naaabot lang mula sa lumang menu.
4. Buksan ang naka-save na HTML at alisin ang Wayback toolbar markup mula sa bawat file.
5. Ayusin o tanggapin ang mga asset URL, na tumuturo pa rin pabalik sa web.archive.org.

Dalawang bitag ang naghihintay dito. Ang naka-save na HTML ay tumutukoy sa web.archive.org para sa maraming asset, kaya ang iyong kopya ay masisira sa sandaling buksan mo ito offline o magkaroon ng mabagal na araw ang archive. At ang toolbar markup na naka-bake sa bawat naka-save na pahina ay kailangang piliing isa-isa, file by file. Ginagamit ko pa rin ang paraang ito para sa mga solong pahina, minsan kailangan lang ng isang kliyente ang lumang pricing page nila para sa isang legal na usapin, at isang save lang ang tumagal ng dalawang minuto. Ang 300-page store nila ay nakatanggap ng ibang treatment.

• Makatotohanang pagsisikap: 5-10 minuto bawat pahina kapag isinama mo na ang paglilinis ng asset.
• Maganda para sa: hanggang mga 10 pahina, o pagkuha ng isang partikular na pahina para sa reference.
• Bumabagsak sa: dose-dozens ng pahina, o anumang trabaho kung saan kailangan mo ng malinis na orihinal na markup.

Paraan 2: mag-download ng website mula sa archive.org gamit ang CDX API

Ang CDX API ay ang index endpoint ng Wayback Machine, at ito ang paraan para mahanap ang bawat file na hawak ng archive.org para sa isang domain. Isang query ang nagbabalik ng buong ledger bilang JSON:

web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=timestamp,original,mimetype,statuscode&filter=statuscode:200&collapse=digest

Binibigyan ka nito ng mga timestamp, orihinal na URL at MIME type para sa lahat ng naka-capture. Ang collapse parameter ay nagde-dedupe ng magkaparehong file, kaya hindi mo i-download ang parehong logo nang 400 beses. Mula roon, ang isang maliit na script ay lumalakad sa listahan at kumukuha ng bawat file. Idagdag ang id_ sa isang timestamp URL, tulad ng /web/20150312145531id_/http://example.com/style.css, at ang archive.org ay nagbabalik ng orihinal na bytes nang walang rewritten markup nito. Ang isang suffix na iyon ang pagkakaiba sa pagitan ng malinis na kopya at pahina na puno ng toolbar.

Ang mga hindi glamorous na bahagi ang kumakain ng iyong gabi. Nag-th throttle ang Archive.org sa mga agresibong kliyente, kaya ang script ay nangangailangan ng magalang na delay at retry logic, o maghihintay ka ng maraming oras na nakatitig sa 429 na tugon. Ang mga query-string URL ay nangangailangan ng deduping, o ang session IDs ay magpapalit ng 200-page site sa isang 9,000-file crawl. At pagkatapos mapunta ang mga file, ang mga internal na link ay tumuturo pa rin sa orihinal na domain, kaya kailangan mo ng rewriting pass bago ma-browse nang tama ang kopya offline.

• Makatotohanang pagsisikap: 2-4 na oras para magsulat at i-debug ang script kung regular kang nag-co-code; isang weekend kung hindi. Ang crawl mismo ay tumatagal ng 30-90 minuto para sa ilang daang file.
• Maganda para sa: mga developer, arkibista, sinumang gustong may ganap na kontrol sa bawat byte.
• Bumabagsak sa: mga taong hindi pa nagsimulang magbukas ng terminal, at mga deadline na sinusukat sa oras.

Anuman ang i-script mo, i-test ang resulta sa paraang ginagawa ng isang bisita: i-serve ang folder gamit ang anumang lokal na web server at mag-click sa paligid. Ang mga sira na path ng larawan, mga link na lumalabas sa live web, at nawawalang font ay nagpapakilala sa kanilang sarili sa loob ng limang minuto ng pag-click, at nakakasuklam na tuklasin pagkatapos mong ideklara na natapos na ang trabaho.

Paraan 3: mag-download ng website mula sa archive.org sa awtomatikong paraan

Ang ikatlong ruta ay nagpapahintulot sa isang restore service na gawin ang pag-crawl, pagtutugma ng asset at muling pagsulat ng link. Ito ang itinuturo ko sa mga kliyente kapag mas mahalaga ang site kaysa sa karanasan sa pag-aaral. Sa aming restore tool, i-paste mo ang domain at makakakuha ka ng libreng instant na pagtatantya: eksaktong bilang ng naka-archive na file, kabuuang laki, at naka-lock na presyo bago ka magbayad ng kahit ano. Pumili ka ng date range, i-flip ang mga opsyon na gusto mo, at ang na-restore na kopya ay dadating na handa nang i-browse, o i-deploy nang diretso sa iyong hosting sa SSH, FTP, o S3.

• Mga opsyon na dapat malaman: relative internal links, pagtanggal ng lumang analytics at ads, pag-minify ng JS/CSS, HTTPS conversion, www o non-www canonicalization.
• Maaaring i-export ng restore ang isang structured manifest (JSON o SQLite) para malalaman mo nang eksakto kung ano ang bumalik.
• Ang mga nabigong restore ay awtomatikong nire-refund sa iyong balanse, walang support ticket.

Ang catch ay halata: nagkakahalaga ito ng pera. Nagbabayad ka kada na-restore na file, ang unang file ay libre, at ang presyo ay naka-lock sa oras ng pagtatantya. Para sa personal na blog, maaaring masaya kang mag-script na lang. Para sa revenue-generating na WooCommerce store ng kliyente na kailangang mabalik ngayong gabi, ang bayad ay karaniwang pinakamurang linya sa buong insidente. Kasama rin sa mga deploy ang isang maliit na single-file CMS, kaya ang mga maliliit na text fix pagkatapos ng restore ay hindi nangangailangan ng muling pag-upload.

Oras at pagsisikap, magkatabi

Pansinin na sinusukat ng talahanayan ang iyong oras, hindi ang oras ng makina. Ang isang script o serbisyo ay maaaring ngumuya sa isang malaking crawl nang maraming oras, ngunit ngumuya ito habang natutulog ka. Ang scarce resource sa anumang restore ay ang gabi ng taong gumagawa nito, kaya iyon ang ina-presyo ko.

Mga pagkakamali na nagpapaso ng buong hapon

• Pag-asa sa browser saves para sa buong site. Makakalimutan mo ang bawat pahina na hindi mo manually binuksan, at nagtatago ang mga lumang site ng mga pahina sa mga lugar na nakalimutan mo na umiral.
• Hindi paggamit sa id_ modifier, pagkatapos magtaka kung bakit ang bawat HTML file ay may baked-in na Wayback toolbar markup.
• Pagbugbog sa archive.org ng mga parallel na kahilingan. Ma-th throttle ka, at ang isang oras na trabaho ay nagiging apat.
• Laktawan ang link-rewriting pass. Mukhang fine ang kopya hanggang sa i-click mo ang anumang bagay.
• Pagtatakang na-archive ang bawat pahina. Suriin muna ang CDX inventory para ang mga gaps ay kilalang dami, hindi sorpresa sa dulo.

Aling paraan ang dapat mong piliin?

Wala pang sampung pahina: i-save sila nang mano-mano at tanggapin ang mga markup na peklat. Sumusulat ka ng code at gusto mo ng kontrol: gawin ang CDX script at mag-budget ng isang gabi. Kailangan mo ang site na balik, malinis, nang hindi naging part-time archivist: kunin ang awtomatikong ruta, ang tutorial ay naglalakad sa iyo sa isang buong restore sa loob ng ilang minuto, at ang libreng pagtatantya ay nagsasabi sa iyo ng bilang ng file at presyo bago ka mag-commit ng anumang bagay.

Isang huling bagay: anuman ang ruta na kunin mo, kunin mo na ngayon. Ang Archive.org ay isang regalo, ngunit nagkaroon na ito ng outages at legal pressure dati, at ang 'kukunin ko mamaya' ay eksaktong kung paano nawawala ang mga site nang dalawang beses.