Pagkumpara sa mga Web Downloader Tool: Ano ang Sinasave at Sisirain Nila

Isang hosting company ang biglang nawalan ng koneksyon sa isang client noong weekend. Walang backup, syempre. Ang site ay tumutugon pa rin ng Lunes ng umaga, halos hindi na, at ang unang ginawa ko ay itutok ang isang web downloader dito at kunin ang bawat pahinang maabot bago tuluyang mamatay ang mga ilaw. Iyan ang layunin ng mga tool na ito: kunin ang kahit anong handa pang ibigay ng server, mabilisan, bago ito tumigil sa pagbibigay.

Hindi magic ang isang web downloader, at ang apat na tool na talagang inaabot ng mga tao, HTTrack, SiteSucker, wget, at ang save button mismo ng browser, ay magkakaiba sa laki ng kanilang pinapanatili. Narito kung ano ang sinesave ng bawat isa, kung ano ang tahimik na sinisira ng bawat isa, at kung paano pumili sa pagitan nila.

Ano ang talagang sinesave ng isang web downloader

Pareho ang paraan ng paggana ng bawat web downloader sa ilalim. Humihingi ito ng URL, sinusuri ang HTML na bumabalik, hinahanap ang mga naka-link na asset at internal na link, dinodownload ang mga iyon, isinasaayos ang mga link para gumana mula sa iyong disk, at nagpapatuloy hanggang sa walang laman ang queue. Isang crawler na may save button.

Ano ang napupunta sa iyong drive:

• Mga HTML page, karaniwang pinapalitan ang pangalan para mabuksan nang lokal nang walang server
• Mga CSS, JavaScript, at font na tinutukoy ng mga pahinang iyon
• Mga larawan, video, PDF, at anumang iba pang direktang naka-link sa mga pahina
• Isang istruktura ng folder na tumutugma sa orihinal na layout ng URL

Ano ang hindi napupunta: anumang binubuo ng server on the fly. Ang downloader ay tumatanggap ng parehong nare-render na HTML na nakukuha ng sinumang anonymous na bisita. Ang PHP, ang database, ang admin panel, ang order history, walang ni isa sa mga iyon ang naglalakbay sa wire, kaya walang ni isa ang napupunta sa bahay. Ang na-download na WordPress site ay isang istatwa ng site, hindi ang site mismo.

Ang dalawang detalye ng scope ang nagdedeside sa makukuha mo. Una, discovery: ang crawler ay nakakahanap lang ng mga URL na naka-link mula sa mga pahinang mayroon na ito, pati na ang sitemap kung ibibigay mo, ang mga orphan page na walang inbound link ay nananatiling hindi nakikita. Ikalawa, politeness: karamihan ng mga tool ay gumagalang sa robots.txt bilang default, at habang pinapayagan ka ng HTTrack na i-override iyon, dapat mo lang itong gawin sa mga site na pag-aari mo.

HTTrack at SiteSucker: ang mga opsyon na may GUI

Ang HTTrack (WinHTTrack sa Windows) ay ang lolo ng kategoryang ito: libre, open source, at umiikot mula noong 1998. Mag-paste ng URL, pumili ng project folder, at ini-mirror nito ang site. Ang tunay na halaga ay nasa mga opsyon, mga limitasyon sa crawl-depth, mga filter ng file type, mga cap sa bandwidth, at mga scan rule na nag-iinclude o nag-exclude ng mga URL pattern. Na-mirror ko ang isang 400-pahinang portfolio ng photographer sa loob ng mga dalawampung minuto, kasama ang mga larawan.

Mga setting na talagang binabago ko mula sa mga default:

• Maximum na mirroring depth: iwang unlimited para sa maliliit na site, i-cap sa 3 o 4 para sa malalaki
• Mga scan rule: magdagdag ng include pattern para sa target na domain para hindi makalipad ang crawl sa labas ng site
• Flow control: dalawa hanggang apat na koneksyon at limitasyon sa bandwidth sa anumang hindi sarili mong server
• Mga MIME type: i-exclude ang video sa mga unang pasada, ang isang nakalimutang folder ng webinar ay maaaring umabot ng 40 GB

Mga catch: mukha nang luma ang interface, ang huling makabuluhang release ay taon na ang nakakaraan, at hindi nito nakikita ang JavaScript. Kung ang isang pahina ay bumubuo ng content nito sa browser, isinasave ng HTTrack ang walang lamang scaffolding.

Ang SiteSucker ang sagot para sa Mac, ilang dolyar sa App Store. Mag-paste ng URL, pindutin ang go, at nagde-download ito sa background na may makatuwirang mga default, kasama ang pause at resume. Mas kaunting mga knob kaysa HTTrack at pareho ang pagkabulag sa JavaScript, ngunit para sa isang mabilis at malinis na mirror sa macOS, ito ang pinakamasakit na opsyon.

wget para sa mga taong mahilig sa terminal

Ang wget ay ang nase-script na opsyon, naka-install sa halos bawat Linux box at isang brew install lang ang layo sa isang Mac. Ang klasikong recipe para sa full mirror:

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com

Ano ang ibinibigay ng bawat flag:

• --mirror nag-o-on ng recursion at timestamping, kaya ang mga re-run ay kukuha lang ng nabago
• --convert-links magsusulat muli ng mga link pagkatapos ng download para gumana offline ang mga pahina
• --adjust-extension nagse-save ng mga server-generated na pahina bilang tamang.html file
• --page-requisites kukuha ng CSS, JS, at mga larawang kailangan ng bawat pahina para mag-render
• --no-parent pinapanatili ang crawl sa ibaba ng starting path sa halip na kainin ang buong domain

Mga karagdagang dapat malaman: --wait=1 --random-wait ay nagpapagalang sa iyo sa maliliit na server, -c ay nagpapatuloy ng naantalang mirror nang hindi nire-re-fetch ang natapos nang mga file, at --load-cookies na may na-export na cookie file ay maaaring kumuha ng mga pahina sa likod ng sarili mong login. At huwag i-confuse ang wget sa curl, ang curl ay magandang kumuha ng isang URL, ang wget ay nagmi-mirror ng buong site. Palaging nagkakamali ang mga tao sa kanila.

Browser save: ang built-in na opsyon

Ctrl+S, Webpage Complete, ang downloader na mayroon ka na. Nagse-save ito ng isang pahina pati na ang folder ng mga asset. Para sa isang resibo, artikulo, o contact page na kailangan mo ngayon din, okay na ito. Mayroon pa itong isang tunay na superpower: isinase-save ng browser ang pahina pagkatapos tumakbo ang JavaScript, kaya ang isang page na mabigat sa React na nagbibigay ng walang lamang shell sa wget ay lumalabas na ganap na nare-render.

Mabilis na lumilitaw ang mga limitasyon. Ang mga CSS background image at @import chain ay madalas na nawawala, ang mga link ay tumuturo pabalik sa live site sa halip sa isa't isa, at walang recursion, ang 300-pahinang site ay nangangahulugang 300 manual save. Isang karatig na trick na dapat malaman: ang SingleFile extension ay nag-i-inline ng bawat asset sa isang solong self-contained na HTML file, pagkatapos tumakbo ang JavaScript. Para sa pag-archive ng mga indibidwal na page na mabigat sa JS, ito ay talagang lumalampas sa simpleng Ctrl+S. Ang Save as PDF ay ibang bagay na yan: nakuha nito ang hitsura, hindi ang pahina, at walang gumagana dito.

Isang sesyon ng web downloader, mula simula hanggang wakas

Ang unang mirror ng isang hindi pamilyar na site ay mas maganda kung may routine. Ang akin:

1. Suriin ang robots.txt at ang mga tuntunin ng site bago mag-crawl, at gumamit ng wait flag sa maliliit na server kahit anong mangyari.
2. Pumili ng scope: buong domain o isang seksyon. Ang isang no-parent rule o HTTrack scan rule ay pinipigilan ang isang blog crawl na lamunin ang katabing shop.
3. Patakbuhin ang mirror at bantayan ang log. Paulit-ulit na 403 ay nangangahulugang bot detection; ang baha ng mga pahina ng kalendaryo o tag ay nangangahulugang tumutulo ang iyong scope.
4. Mag-spot-check ng sampung random na pahina offline, kabilang ang isa na may contact form at isa na mabigat na gallery. Ang sira ngayon ay nangangahulugang sira magpakailanman.
5. Ihambing ang lokal na bilang ng file sa sitemap ng site. Ang malaking agwat ay nangangahulugang JavaScript-rendered na content o scope rule na lumalamon ng mga pahina.

Ano ang sinisira ng bawat web downloader

Pumili ka ng anumang tool sa itaas at ang parehong mga bagay ang nasisira, dahil nasa medium ang mga problema, hindi sa software:

Bantayan din ang mga cross-domain asset. Karamihan ng mga crawler ay nananatili sa starting host bilang default, kaya ang mga larawang inihahatid mula sa isang CDN subdomain o mga font mula sa external host ay na-skipless maliban kung palawakin mo ang scope, at pagkatapos ang mga nase-save na pahina ay pumupunta sa bahay na puno ng mga sirang reference. Mayroon ding SEO residue: ang mga canonical tag, Open Graph URL, at absolute na internal link ay nagtuturo pa rin sa lumang domain. Walang halaga sa personal na archive, isang tunay na problema kung ibabalik online ang mirror.

Ang na-download na site ay isang istatwa: mukha itong eksaktong tama, at walang gumagalaw sa loob.

Kailan ang web downloader ay ang maling tool

Ang halatang kaso: ang site ay offline na. Ang downloader ay nangangailangan ng live server na sumasagot sa mga request, at ang isang expired na domain o patay na host ay walang ibinibigay na i-crawl. Ang nakaligtas na kopya ay nasa Wayback Machine sa halip, at ang pagtutok ng wget sa web.archive.org ay isang sakit: throttled na request, archive-rewritten na URL, isang na-inject na toolbar sa bawat pahina, at mga snapshot na nakakalat sa mga taon.

Iyan ang trabahong mayroon ang Restorix. Nagre-restore ito ng mga site mula sa archive snapshot na may pagpili ng date range, tinatanggal ang archive cruft at lumang analytics, at ipinapakita ang eksaktong bilang ng na-archive na file, kabuuang laki, at naka-lock na presyo bago ka magbayad ng kahit ano.

Ikalawang kaso ng maling tool: gusto mo ang content, hindi ang mga pixel, mga artikulo sa isang spreadsheet, mga produkto sa isang database. Iyan ay extraction, hindi pag-download. At pangatlo: kung ang site ay nangangailangan ng mga database-driven na feature, isang store, isang forum, ang isang static mirror ay nagbibigay sa iyo ng hitsura, hindi ang makina. Kailangan mo ng restoration at sariwang backend.

Mula sa mga file patungo sa live site muli

Ang isang mirror folder ay hindi isang website. Ang ibalik ito online ay nangangahulugang i-host ito sa isang lugar, ayusin ang mga absolute na link, tanggalin ang mga patay na tracking script, at ayusin ang HTTPS. Magagawa ng kamay, o laktawan ang plumbing: nagde-deploy ang Restorix ng mga na-restore na site diretso sa SSH/SFTP, FTP/FTPS, o S3, na may kasamang magaan na CMS para maging editable muli ang site, hindi lang nai-view. Kahit anong paraan, i-test ang resulta sa isang telepono bago mo sabihing tapos na.