Mga Tool sa Pag-download ng Website mula sa Archive.org: Isang Tapat na Paghahambing

May tatlong makatotohanang paraan para kunin ang isang site mula sa Wayback Machine, at nagamit ko na ang lahat sa tunay na trabaho: HTTrack, ang wayback-machine-downloader Ruby gem at mga kapatid nitong script, at Restorix, ang serbisyo na ituturo ko sa mga kliyente kapag kailangang gumana ulit ang site, hindi lang bilang tambak ng mga file.

Walang 'pinakamagaling' sa kanila. Naglulutas sila ng iba't ibang problema sa iba't ibang presyo, at ang presyo ay karaniwang binabayaran sa oras kaysa sa pera. Narito ang talagang ginagawa ng bawat isa, kung saan sila nagkakamali, at sino ang dapat pumili kung alin. Walang ranking na may halong affiliate, kung ano lang ang nasaksihan kong gumana at magkamali.

Ano ang dapat gawin nang tama ng isang tool sa pag-download ng website mula sa archive.org

Hindi tama ang husgahan ang mga tool na ito sa bilis ng pag-download. Ang mahirap na bahagi ng isang trabahong pag-download ng website mula sa archive.org ay hindi kahanga-hanga, at dito nang tahimik na naiiba ang mga tool:

• Paghanap ng bawat file. Ang index ng archive ang tanging kumpletong pinagmumulan, ang pagsunod sa mga link mula sa homepage ay lumaktaw sa bawat orphaned page.
• Pagpapares ng mga asset sa iba't ibang timestamp. Ang pahina noong 2014 ay maaaring kailanganin ang logo mula sa tanging capture nito noong 2012.
• Pagkuha ng orihinal na bytes. Kapag ginawa nang pabaya, nase-save mo ang markup ng toolbar ng wayback na naka-embed sa bawat HTML file.
• Pagsusulat muli ng mga internal link para ang kopya ay mabisita nang hindi umaasa sa mga server ng archive.org.
• Pagtitiis sa throttling. Nire-rate-limit ng archive.org ang mga impatient na kliyente, at ang mga retry ay dapat magalang at matiyaga.

Tandaan ang limang ito. Ipinaliliwanag nila ang bawat row sa comparison table sa ibaba, at karamihan sa mga masamang review ng mga tool na ito ay bumabatay sa isa sa kanila.

HTTrack: libre, luma na ang estilo, at gumagana pa rin

Ang HTTrack ay ang beterano: isang libre, open-source na offline browser na nagmi-mirror ng mga site mula noong 1990s. Ituro ito sa isang URL ng Wayback Machine at susundan nito ang mga link, nase-save ang anumang makita nito sa disk. May Windows GUI ito, tama ang presyo, at para sa isang mabilis na mirror ng maliit na site, talagang gumagana ito.

Kapag ginamit laban sa archive.org, nag-iipon ang mga caveat. Walang alam ang HTTrack tungkol sa index ng archive, nakakahanap lang ito ng mga pahina na maabot sa pagsunod sa mga link mula sa iyong panimulang URL, kaya naiiwan ang mga orphaned page. Kinukuha nito ang anumang capture na ituturo ng wayback, nakahalo ang mga timestamp nang hindi sinasabi sa iyo. At ang mga filter rule nito ay nangangailangan ng tunay na pag-aayos: kung mali ang setting, ang mirror mo ng 2013 blog ay lalakad sa isang link papunta sa live web, at ma-download mo na ang kasalukuyang site. Itanong mo sa akin kung paanong ko nalaman.

Isang makatotohanang benchmark: ang pag-mirror ng 40-pahinang 2012 WordPress blog sa pamamagitan ng Wayback Machine ay tumagal ng humigit-kumulang 40 minuto ng setup at dalawang oras na unattended crawl, at gumastos pa ako ng isa pang oras sa paglilinis ng mga stray mula sa live web sa folder. Iyon ang tapat na hugis ng isang trabahong HTTrack, mura, halos awtomatiko, at hindi pa rin natatapos nang tama kapag natapos ang crawl.

• Gastos: libre.
• Pagsisikap: isang oras o dalawa para matutunan ang filter syntax; pagkatapos ay tumatakbo ang mga mirror nang unattended.
• Pinakamainam para sa: mabilis na mga mirror ng maliit, maayos na naka-link na mga site kapag ang perpektong katapatan ay hindi ang layunin.
• Mag-ingat sa: paglalakad papunta sa live web, magkahalong capture timestamp, at ang mga na-rewrite na URL ng wayback na napupunta sa iyong mga file.

wayback-machine-downloader at ang ruta ng script

Ang wayback-machine-downloader ay isang Ruby gem na nagte-query sa CDX index ng archive, pagkatapos ay nagda-download ng bawat file na nakalista nito para sa iyong domain, opsyonal sa loob ng isang date range. Dahil binabasa nito ang index sa halip na sumunod sa mga link, nakakahanap ito ng mga pahina na hindi nakikita ng HTTrack. May ilang Python script na lumulutang sa GitHub na gumagawa ng parehong trabaho na may iba't ibang flag at iba't ibang antas ng polish.

Ang mga trade-off ay ang mga karaniwang trade-off ng open-source. Kailangan mo ng Ruby o Python na naka-install at ang tiwala na magbasa ng README. Ang mga proyekto sa ganitong niche ay tahimik nang maraming taon, kaya suriin ang issue tracker bago magtaya ng deadline. At kapag natapos ang crawl, ikaw ang may-ari ng trabaho ng pagpupulong: ang mga internal link ay tumuturo pa rin sa orihinal na domain, kailangang suriin ang mga capture timestamp, at ang anumang paglilinis, pagtanggal ng lumang analytics tag, pag-aayos ng canonical URL, pag-convert sa HTTPS, ay iyong Sabado ng hapon.

• Gastos: libre, kasama ang iyong mga oras.
• Pagsisikap: kalahating araw kung komportable ka sa terminal; ang crawl mismo ay tumatakbo nang mag-isa pagkatapos.
• Pinakamainam para sa: mga developer at arkibista na nais ng ganap na kontrol sa bawat byte at nasisiyahan sa pagkakaroon nito.
• Mag-ingat sa: throttled na crawl na walang retry logic, ang pagsusulat muli ng link na naiwang homework, at mga gap sa maintenance ng repo.

Dalawang gawi ang nagpapagawa ng script route na makatitiis. Panatilihin ang tugon ng CDX na sinimulan mo, ito ay nagdodoble bilang iyong manifest kapag may nagtanong kung ano ang dapat nasa folder. At i-serve ang resulta nang lokal bago ito tawaging tapos: limang minuto ng pag-click sa kopya sa localhost ay nakakahanap ng nawawalang asset nang mas mabilis kaysa sa anumang log file.

Restorix: ang done-for-you na opsyon sa pag-download ng website mula sa archive.org

Restorix ay nasa bayad, done-for-you na dulo ng spectrum, at ito ay partikular na ginawa para sa mga restore ng archive.org sa halip na pangkalahatang scraping. Ilagay mo ang domain at makakakuha ka ng libreng instant na estimate: eksaktong bilang ng naka-archive na file, kabuuang laki, at naka-lock na presyo. Pumili ka ng date range at mga opsyon mo, relative internal links, pagtanggal ng analytics at ad, HTTPS conversion, pag-mi-minify ng JS/CSS, www o non-www canonicalization, at ang serbisyo ang humahawak sa pag-enumerate ng index, cross-timestamp na pagpapares ng asset, throttling at pagsusulat muli ng link.

Ang resulta ay nada-download bilang malinis, mabisita na kopya, o dine-deploy diretso sa iyong hosting sa SSH/SFTP, FTP/FTPS, o S3, na may maliit na single-file na CMS na kasama para sa pag-edit ng mga na-restore na pahina pagkatapos. Nagbabayad ka kada na-restore na file, ang unang file ay libre, at ang mga nabigong restore ay awtomatikong nire-refund sa iyong balanse. Walang subscription, ang mga top-up ay one-time, sa card o crypto. Hindi ito ruta ng hobbyist, at hindi nito sinusubukang maging ganoon.

Mga tool sa pag-download ng website mula sa archive.org, magkatabi

Basahin nang dalawang beses ang row ng pagsisikap. Bawat tool sa listahang ito ay maaaring makagawa ng parehong folder ng mga file sa huli, ang talagang pinipili mo ay kung sino ang gumagawa ng maselang 20% ng trabaho: ikaw, o ibang bagay.

Isa pang row na hindi maaaring hawakan ng table: panganib. Sa mga libreng tool, ang isang nabigong trabaho ay nagkakahalaga ng isa pang gabi sa iyo. Sa isang bayad na serbisyo, hanapin ang mga tuntunin ng pagkabigo, awtomatikong refund sa balanse, presyo na naka-lock bago ka magsimula, at libreng estimate ay nangangahulugang ang pinansyal na panganib ng isang nabigong restore ay nasa halos zero.

Alin ang dapat mong piliin?

Tapat na gabay. Kung kailangan mo ng isang maliit na site na i-mirror para sa sanggunian at ikaw ay nasisiyahan sa mga libreng tool, ang HTTrack ay mailalagay sa iyong disk ngayong gabi. Kung sumusulat ka ng code, nais ang mga raw na file, at may weekend kang gugugulin, ang ruta ng gem ay tunay na maganda at tunay na libre. Kung ang site ay isang asset ng negosyo, isang WooCommerce store ng kliyente, isang forum na may sampung taon ng mga post, ang sarili mong buhay na trabaho, bayaran ang per-file na bayad at gugulin ang iyong gabi sa ibang bagay. Ang tutorial ay nagpapakita ng buong restore flow bago ka mangako ng isang sentimo, at ang libreng estimate ay nangangahulugang makikita mo ang eksaktong presyo bago magpasya ng anumang bagay.