Paano Mag-download mula sa Archive.org: Mga Item, Snapshot, at Iba Pa

Ang pariralang 'mag-download mula sa Archive.org' ay sumasaklaw sa dalawang magkaibang gawain, at ang paghahalo sa mga ito ang dahilan kung bakit nasasayang ang maghapon. Unang gawain: pagkuha ng mga file mula sa isang item, isang libro, driver, o recording ng konsiyerto. Ikalawang gawain: pag-extract ng isang website mula sa Wayback Machine. Ang una ay may download button. Ang ikalawa ay wala.

Ginagawa ko ang dalawang ito linggu-linggo, para sa pag-restore ng kliyente at para sa pananaliksik. Narito ang bawat paraan na gumagana pa, kasama ang tapat na mga trade-off: alin ang isang click lang, alin ang command line, at alin ang bitag na nagkukunwaring download button.

Dalawang Paraan para Mag-download mula sa Archive.org

Iniimbak ng Archive.org ang nilalaman bilang mga item, mga sariling pakete ng file na may metadata, parang may label na folder sa isang shelf. Ang Wayback Machine ay nag-iimbak ng mga snapshot, mga capture ng web page sa bawat URL, na ni-rewrite para maipakita sa loob ng viewer ng Wayback Machine. Ang mga item ay ginawa para i-download. Ang mga snapshot ay ginawa para tingnan.

Lahat ng puwede mong gawin ay nakasalalay sa pagkakaibang iyon. Ang pag-download ng item ay opisyal na suportado: may mga button, torrent, CLI, at metadata API. Ang 'pag-download' ng snapshot ay talagang reconstruction, tatanungin mo ang CDX API kung ano ang umiiral, kukunin ang orihinal na bytes ng bawat URL, at aayusin ang mga link. Iba't ibang tooling, iba't ibang paraan ng pagkabigo, iba't ibang budget sa oras.

Hindi sigurado kung saang mundo ka naroroon? Tingnan ang URL. Ang archive.org/details/something ay isang item, puwedeng i-download. Ang web.archive.org/web/2012/http://example.com ay isang snapshot, puwedeng tingnan. Parehong archive, magkaibang address scheme, magkaibang panuntunan.

I-download ang mga Item ng Archive.org sa Simpleng Paraan

Buksan ang anumang item page at tingnan ang download box sa kanan. Makakakuha ka ng mga indibidwal na file, karaniwang may torrent link, at minsan ay ZIP o full-text shortcut. Para sa isang PDF o isang ISO, i-click ang file. Tapos. Ito lang ang bahagi ng pag-download sa Archive.org na gumagana ayon sa inaasahan ng mga tao.

• I-click ang 'SHOW ALL' para makita ang bawat file sa item, kasama ang mga log at derivative format na itinatago ng box.
• Ang mga direktang URL ay predictable: archive.org/download/{identifier}/{filename}, perpekto para sa mga script at wget.
• Ang opsyon na torrent ay kadalasang mas mahusay kaysa HTTP para sa mga multi-gigabyte na item, at nagre-resume ito nang maayos pagkatapos ng putol na koneksyon.
• Ang mga derivative ay mga bersyong ginawa, OCR'd text, mas maliliit na MP4. Ang orihinal na upload ay minarkahan bilang ganoon; kunin iyon kapag mahalaga ang katapatan.

Isa pang trick para sa mga scripter: idugtong ang /metadata/{identifier} sa archive.org at makakakuha ka ng JSON listing ng bawat file, ang laki nito, checksum, at format. Ang JSON na iyon ay eksaktong kinokonsumo ng command-line tool sa ilalim.

Maramihang Pag-download gamit ang Internet Archive CLI

Para sa higit sa ilang item, i-install ang opisyal na command-line tool, ang Python package na internetarchive, na nagbibigay ng ia command. Pinapangasiwaan nito ang authentication, resume, at retries, at ito ang pagkakaiba sa pagitan ng isang script at isang weekend ng pagki-click.

1. I-install: pip install internetarchive, pagkatapos ay patakbuhin ang ia configure nang isang beses gamit ang iyong account.
2. Isang item: ia download {identifier} ay nagmi-mirror ng buong item sa isang lokal na folder.
3. Pumili ng partikular: ia download {identifier} --glob='*.pdf', wala nang 40 GB na sorpresa.
4. Buong paghahanap: ia search 'collection:archiveteam AND year:2013' --itemlist > list.txt, pagkatapos ay i-loop ang ia download sa file na iyon.

May mga rate limit. Ang CLI ay kusang nagre-retry nang magalang; ang iyong raw wget loop laban sa archive.org ay hindi, at ang pag-hammer ay magdudulot ng throttling o pag-block. Maging magalang, ang archive ay isang nonprofit, hindi isang CDN.

Paano Mag-download ng mga Web Snapshot ng Archive.org

Ngayon ang mahirap na kalahati. Ang isang Wayback capture ay hindi isang item, kaya walang download box. Mayroon kang apat na makatotohanang ruta, ayon sa pagkakasunud-sunod ng pagsisikap:

1. Isang pahina, ngayon na: buksan ang snapshot at gamitin ang save function ng iyong browser. Ayos para sa isang pahina; ang na-save na kopya ay nakaturo pa rin ang mga asset nito sa web.archive.org.
2. Orihinal na bytes ng isang file: ipasok ang id_ pagkatapos ng timestamp sa snapshot URL, web.archive.org/web/20120501000000id_/http://example.com/style.css, at makukuha mo ang hindi binagong payload. Tamang-tama para sa mga indibidwal na larawan, CSS, at PDF.
3. Mga scripted pull: i-query ang CDX API para sa bawat na-capture na URL sa ilalim ng isang path, pagkatapos ay i-request ang bawat isa gamit ang id_ modifier. Gumagana, ngunit ikaw na ngayon ang nagpapanatili ng isang scraper, nagde-dedup ng mga digest, at nagre-rewrite ng mga link nang mag-isa.
4. Mga downloader tool at restore service: ang mga community tool tulad ng wayback-machine-downloader gem ay nag-o-automate ng CDX-plus-fetch loop; ang isang restore service tulad ng Restorix ay gumagawa niyon pati na ang cleanup at redeploy.

Pansinin ang pattern: sa sandaling gusto mo ng higit sa isa o dalawang pahina, ikaw ay nagsusulat o nagpapatakbo ng tooling. Walang kahihiyan doon, maglaan lang ng budget para dito nang tapat.

Isang babala sa id_ trick, dahil ito ay nag-o-oversell: binibigay nito ang orihinal na bytes ng isang response na iyon, ngunit hindi nito inaayos ang anuman. Ang isang pahinang nakuha gamit ang id_ ay naglalaman pa rin ng anumang absolute URL na ginamit ng site noong 2012, tumutukoy pa rin sa mga asset na hindi kailanman nakuha ng crawler, at ipinapalagay pa rin ang isang domain na maaaring hindi mo na pag-aari. Ang orihinal na bytes ay ang panimulang materyal, hindi ang tapos na site.

Mga Item kumpara sa Web Snapshot: Kailan Gagamitin ang Bawat Isa

Ang huling row na iyon ay nakakagulat sa mga tao: kapag iniligtas ng Archive Team ang isang namamatay na host, ang resulta ay napupunta sa item archive bilang malalaking WARC file. Ang parehong website ay maaaring maging isang item download at isang set ng mga snapshot. Suriin muna ang panig ng item, ang isang pre-packed crawl ay mas mahusay kaysa sa isang libong indibidwal na pag-fetch, at ipinapaliwanag ng aming gabay sa mga format kung ano ang gagawin sa mga WARC na iyon.

Mga Pagkakamali sa Pag-download na Nagsasayang ng Oras

• Recursive wget laban sa web.archive.org. Bawat link ay ni-rewrite para manatili sa domain nito, kaya ang iyong crawler ay masayang nagda-download ng sariling interface ng Wayback Machine hanggang sa heat death ng uniberso.
• Pag-download ng buong item para sa isang file. Ang pag-click ng 'SHOW ALL' ay tumatagal ng sampung segundo; ang isang 40 GB ZIP ay kumukuha ng iyong gabi.
• Pagkakatiwala sa isang snapshot bilang buong site. Ang mga capture ay per-URL at oportunistiko, ang mga larawang galing sa isang CDN subdomain ay kadalasang ganap na nawawala.
• Pagbabalewala sa mga status code sa CDX output. Ang mga redirect at 404 ay naka-archive din; i-filter sa statuscode:200 at i-collapse ang mga digest, o ire-restore mo ang mga redirect stub bilang mga pahina.
• Pagpapalampas sa mga checksum. Ang mga item ay may kasamang md5 at sha1 file, i-verify ang malalaking download bago ka bumuo sa mga ito.
• Pag-aakalang sapat na ang isang petsa ng snapshot. Ang homepage ng 2011 na may mga larawan ng 2009 ay normal; ang mga site ay na-crawl nang pira-piraso, kaya asahan na paghaluin ang mga petsa ng capture para makakuha ng kumpletong larawan.

Nasa Iyo na ang mga File. Ano Ngayon?

Ang mga item download ay direktang pumapasok sa iyong media library o toolchain, ang bahaging iyon ay solved na. Ang mga snapshot pull ay kung saan nagsisimula ang tunay na trabaho: mga ni-rewrite na URL, nawawalang asset, patay na contact form, halo-halong HTTP at HTTPS. Ang paggawa ng isang folder ng mga capture mula 2011 sa isang site na talagang naglo-load ay isang rebuild job, hindi isang download job.

Ito ang punto kung saan tumigil ako sa paggawa ng sariling script at sinimulang ituro ang mga tao sa serbisyong pag-restore ng website. Ang libreng estimate ay nagbabasa ng archive para sa iyo, eksaktong bilang ng file, kabuuang laki, naka-lock na presyo, bago ka gumastos ng kahit isang sentimo. Unang file na na-restore ay libre, bayad kada file pagkatapos noon, one-time top-up, walang subscription. Kung mabigo ang isang restore o deploy, ang refund ay awtomatikong pumapasok sa iyong balanse, hindi na kailangan ng support ticket.

Sinasaklaw ng mga restore option ang mga maselang bahagi na kung hindi man ay isi-script mo: alisin ang analytics at ads, gawing relative ang mga link, pilitin ang HTTPS, i-canonicalize ang www, panatilihin ang mga redirect. Ang one-click deploy ay nagtutulak ng resulta sa SSH/SFTP, FTP, o S3, at ang kasamang single-file CMS sa /webarchive-cms.php ay nagbibigay-daan sa iyo na ayusin ang nilalaman sa lugar, ang tutorial ay naglalakad sa isang buong trabaho. Tinatapos ng mga download ang paghahanap; hindi nito tinatapos ang trabaho.