Wayback Download: Bawat Paraan Niraranggo ayon sa Pagsisikap

Wala na ang site. Binura ito ng host, ang mga backup ay tarball ng wala, at ang natitirang kopya sa mundo ay nasa loob ng Wayback Machine. Ngayon kailangan mo ng wayback download na talagang gumagana, at may apat na paraan para makuha ito. Mula sa dalawang minutong browser trick hanggang sa serbisyong gumagawa ng lahat para sa iyo, at napakalaki ng agwat ng pagsisikap sa pagitan nila. Narito ang bawat paraan, niraranggo ayon sa halaga nito sa oras, kasama ang mga mode ng pagkabigo na walang binabanggit sa mga landing page.

Ano ba talaga ang nakukuha mo sa isang Wayback download

Hindi iniimbak ng Wayback Machine ang iyong site. Nag-iimbak ito ng mga tugon: isang URL, isang crawl, isang sandali sa panahon. Maaaring may 10,000 captures ang iyong homepage samantalang dalawa lang ang sa iyong patakaran sa privacy, mula 2014 at 2019. Ang ibig sabihin ng wayback download ay kunin ang mga nakaimbak na tugon na iyon nang paisa-isang URL at pagdugtungin ang mga ito upang maging isang bagay na kahawig ng orihinal.

Dalawang kahihinatnan ang sumusunod. Una, anumang hindi nakita ng crawler ay tuluyan nang nawala: walang database, walang PHP source, walang admin panel, walang anuman sa likod ng login. Pangalawa, bawat file na makuha mo ay nakapirmi sa oras ng crawl na hindi mo pinili. Paghaluin ang isang 2016 stylesheet sa isang 2021 homepage at magmumukhang ransom note ang site, dahil iyon mismo ang iyong binuo.

Ipinapakita ito ng calendar view sa anumang snapshot page. Ang mga asul na bilog ay nagmamarka ng mga crawl, at ang mga puwang sa pagitan nila ay maaaring umabot ng maraming taon sa mga hindi sikat na pahina. Kaya bago ka pumili ng anumang paraan, pumili muna ng target na petsa: ang taon kung kailan ang itsura ng site ay ayon sa gusto mo. Bawat desisyon pagkatapos noon, kung aling mga capture ang kukunin, kung aling mga asset ang pagkakatiwalaan, ay magiging mas madali.

Paraan 1: I-save ang isang pahina sa iyong browser

Buksan ang snapshot, pindutin ang Ctrl+S, piliin ang Web page, kumpleto. Tapos. Para sa isang pahina, ito ang pinakamabilis na wayback download na mayroon. Para sa anumang lampas sa halos sampung pahina, nagiging isang uri ito ng pagpapahirap sa sarili, kaya alamin kung kailan titigil. Kung may masira ang browser, buksan ang developer tools, hanapin ang mga URL ng asset sa network tab, at i-save ang mga file na iyon nang isa-isa.

• Gamitin ang id_ trick: ipasok ang id_ pagkatapos ng timestamp sa snapshot URL upang makuha ang orihinal na HTML nang eksakto kung paano ito na-capture, nang walang Wayback toolbar at mga muling isinulat na link na nakabaked in.
• Ang mga na-save na pahina ay nag-ho-hotlink ng kanilang mga asset pabalik sa web.archive.org. Buksan ang file offline at kalahati ng mga imahe ay nawawala maliban kung tahasan mo ring na-save ang mga ito.
• Suriin ang petsa ng capture sa calendar view bago mag-save. Ang pagkuha ng maling taon ang pinakakaraniwang pagkakamali ng baguhan, at bihirang magbigay ng babala ang archive.

Paraan 2: Isang wget Wayback download script

Ang klasikong galaw ay wget sa mirror mode na nakatutok sa isang naka-archive na URL: wget --mirror --page-requisites --convert-links https://web.archive.org/web/2019/https://example.com. Sinusundan ng wget ang mga muling isinulat na link na ini-inject ng Wayback, na nagpapanatili sa iyo sa loob ng archive, at hinihila ng --page-requisites ang CSS, JavaScript, at mga imahe na kailangan ng bawat pahina.

Para sa isang 40-pahinang brochure site, maaari itong matapos sa isang gabi. Ilaan ang gabing iyon para sa pagbabantay. Pinipigilan ng archive.org ang mga agresibong kliyente, kaya magdagdag ng --wait=2 sa pagitan ng mga kahilingan at asahan na muling patakbuhin ang command nang ilang beses kapag huminto ito. Ang isang --reject regex na nagpapanatili sa wget malapit sa iyong target na timestamp ay pumipigil dito na gumala nang palihis sa dalawampung taon ng mga capture.

Ang kahihinatnan mo ay isang direktoryo ng HTML na may dala pa ring Wayback toolbar, mga timestamp sa loob ng bawat URL ng asset, at mga tahimik na butas kung saan man hindi nakuha ng crawler ang isang file. Ang paggawa sa tambak na iyon bilang isang deployable na site ay isang pangalawang proyekto, at ito ang bahaging nakakalimutang i-iskedyul ng mga tao.

Paraan 3: Pag-script laban sa CDX API

Kapag hindi sapat ang bulag na pag-crawl, pumunta sa pinagmulan. Ang CDX API ay nagbabalik ng isang listahang nababasa ng makina ng bawat capture para sa isang URL o domain: web.archive.org/cdx/search/cdx?url=example.com/*&output=json&filter=statuscode:200&collapse=urlkey. Ang iisang kahilingang iyon ay mas kapaki-pakinabang na kaysa isang oras ng wget, dahil sinasabi nito sa iyo kung ano ang umiiral bago ka mag-download ng anuman.

Ang loop ay simple sa Python o Node: basahin ang listahan, kunin ang bawat capture gamit ang id_ suffix, i-save sa disk, matulog nang magalang sa pagitan ng mga kahilingan. Ang kapangyarihan ay nasa mga filter. Higpitan ayon sa taon o uri ng MIME, at gamitin ang collapse=digest upang alisin ang mga dobleng capture upang makuha mo ang bawat natatanging file nang isang beses sa halip na apatnapung beses.

Ito ang paraang ginagamit ko sa forensic work, tulad ng pagkuha ng bawat PDF na inilathala ng isang kumpanya o muling pagbuo ng isang direktoryo ayon sa isang tiyak na petsa. Isa rin itong tunay na proyekto sa programming: ang isang maingat na script para sa isang mid-size na site ay isang weekend ng pagsusulat, pagsubok, at muling pagpapatakbo pagkatapos maputol ang koneksyon ng 2 a.m.

Paraan 4: Mga automated na serbisyo sa pag-restore

Ang ikaapat na opsyon ay laktawan nang lubusan ang manu-manong trabaho. Ang mga serbisyong ginawa para sa trabahong ito ay nag-query sa archive, dina-download ang bawat na-capture na file, inaalis ang Wayback chrome, inaayos ang mga panloob na link, at ibinibigay sa iyo ang isang gumaganang site sa halip na isang folder ng mga pira-piraso.

ang serbisyong ito ang tinuturo ko sa mga kliyente. Ang libreng pagtatantya pa lang ay sulit na sa pag-click: bago ka magbayad ng anuman, ipinapakita nito ang eksaktong bilang ng naka-archive na file, kabuuang laki, at isang naka-lock na presyo. Ang mga pag-restore ay pay-per-file na ang unang file ay libre, at kung mabigo ang isang restore o deploy, awtomatikong mapupunta ang refund sa iyong balanse. Walang ticket, walang pakikipagtalo sa support.

Kung ikukumpara sa mga rutang do-it-yourself, ang kapalit ay prangka: isang maliit na flat fee kapalit ng iyong weekend, ang iyong mga sakit ng ulo sa rate-limit, at ang iyong cleanup script. Sa huling tatlong trabahong sinukat ko, ang bayad ay mas mababa kaysa sa magagastos ng kliyente sa dalawang oras na sisingilin.

Ang mga pagkakamaling sumisira sa isang Wayback download

• Hindi pinapansin ang mga query string. Ang /page.php?id=12 at /page.php?id=13 ay magkaibang capture ng magkaibang pahina. Laktawan ang mga ito at mawawala ang kalahati ng isang WordPress blog o phpBB forum.
• Walang taros na paghahalo ng mga timestamp. Ang isang 2018 homepage na nirender gamit ang 2013 CSS ay mukhang sirang photocopy. Pumili ng target na petsa at manatili sa loob ng ilang buwan nito.
• Nakakalimutan ang ibang host. Ang mga imahe sa cdn.example.com o assets.example.net ay magkakahiwalay na capture sa ilalim ng magkakahiwalay na URL prefix, at hindi kailanman nakikita ng isang site-only query ang mga ito.
• Pagkakatiwala sa lumang coverage. Iginagalang ng archive ang mga pagbubukod ng robots.txt sa loob ng maraming taon, kaya ang buong seksyon ng ilang site ay hindi kailanman na-capture.
• Ipinapalagay na ang pinakabagong capture ang pinakamahusay. Ang mas bago ay hindi palaging mas mahusay. Ang isang site na na-capture pagkatapos itong ma-hack, ma-park, o ma-redirect ay mas mababa ang halaga kaysa isang malusog na snapshot mula dalawang taon na ang nakalipas.
• Pag-save ng muling isinulat na HTML. Kung wala ang id_ suffix, ibe-bake mo ang Wayback toolbar at mga link ng archive.org sa bawat pahina, at may mag-aalis pa ng mga ito sa bandang huli.

Pagpili ng tamang paraan para sa iyong site

Isang makatotohanang senaryo: ang 300-pahinang marketing site ng isang kliyente ay namatay nang walang backup. Ang paraan isa ay gagastos sa iyo ng 300 manu-manong pag-save, sabihin nating sampung oras. Ang paraan dalawa ay gagastos ng isang gabi at isang araw ng paglilinis. Ang paraan tatlo ay gagastos ng isang weekend kung marunong ka nang mag-code. Ang paraan apat ay gagastos ng isang flat fee na alam mo na bago ka magsimula, at ang site ay babalik na malinis, muling na-link, at deployable. Ang matematika ng oras ay hindi banayad.

Ang aking panuntunan pagkatapos ng maraming taon ng mga restore job: kung kailangang mabuhay muli ang site, dumiretso sa paraan apat, dahil iyon mismo ang ginawa para sa Restorix. Kung kailangan mo ng isang pahina para sa ebidensya o nostalgia, paraan isa. Ang dalawang nasa gitna ay para sa mga taong gusto ang paglalakbay, hindi ang destinasyon.