Çevrimiçi Web Sitesi Çıkarma Araçları: Kullanım, Sınırlar ve Güvenlik

Bir müşteri bir zamanlar eski sitesindeki tüm ürün fotoğraflarını çekmemi istedi, dört yıllık katalog sayfalarına dağılmış 300 küsur görsel. Kimse HTML'i, CSS'i veya tam bir site kopyasını istemiyordu. Sadece görselleri, bir klasörde, mantıklı isimlerle. Bu bir çıkarma işidir ve çevrimiçi bir web sitesi çıkarıcısı genellikle bunu yapmanın en hızlı yoludur.

Çıkarıcılar, indiricilerin seçici kuzenleridir. Her şeyi almak yerine tek bir tür şey alırlar, metin, görseller, bağlantılar, meta veri, ve kullanılabilir bir biçimde geri verirler. İşte nelerde iyi oldukları, çevrimiçi araçların yerel yazılımlara nerede üstün geldiği ve nerede kaybettiği ve bir yabancının formuna URL yapıştırmadan önce sormaya değer güvenlik soruları.

Çevrimiçi bir web sitesi çıkarıcısı gerçekte ne yapar

Bir URL verirsiniz, sayfayı getirir, bazen etrafında sığ bir tarama yapar, HTML'i ayrıştırır ve bulduklarının filtrelenmiş bir dilimini döndürür. Kurulum yok, kod yok; her şey bir tarayıcı sekmesinde gerçekleşir. Araçtan araca değişen sunulan dilimler:

• İçerik çıkarma: gezinme, reklamlar ve kalıp metinlerden arındırılmış okunabilir makale metni
• Medya çıkarma: sayfanın referans verdiği her görsel, video veya ses dosyası, indirme için paketlenmiş
• Bağlantı çıkarma: sayfadaki her href, genellikle iç ve dış listelerine ayrılmış
• İletişim çıkarma: biçimlendirmede görünen e-posta adresleri, telefon numaraları ve sosyal medya profilleri
• Yapılandırılmış veri: JSON-LD blokları, Open Graph etiketleri, meta başlık ve açıklamaları, bazen tüm HTML tabloları CSV'ye dönüştürülmüş

Kaputun altında, iyi içerik çıkarıcıları HTML bloklarını puanlayan ve özlü olanı tutan bir okunabilirlik tarzı algoritma çalıştırır, tarayıcı okuyucu modlarının kullandığı aynı hile. İyi bir aracın temiz makale metni döndürmesinin ve kötü birinin gezinme menüsünü makaleyi dipnot olarak döndürmesinin nedeni budur.

İnsanların gerçekte onları kullandığı işler

Gerçek kullanımın çoğu dört işten oluşur. Birincisi, göç öncesi envanter: bir siteyi yeniden inşa etmeden önce her meta başlığı, açıklamayı ve başlığı bir elektronik tabloya çekmek, böylece hiçbir şey unutulmaz. İkincisi, kendi varlıklarınızı kurtarmak, o ürün fotoğrafı işi gibi, orijinaller kaybolmuş ama site hâlâ onları sunuyorsa. Üçüncüsü, SEO bakımı: anahtar sayfalardaki her giden bağlantıyı çıkarın ve artık park edilmiş etki alanlarına işaret edenleri bulun. Dördüncüsü, içerik denetimleri: eski bir blogdan tüm yazı başlıkları ve tarihleri, CSV'ye aktarılmış, böylece neyin saklanmaya değer olduğuna karar verebilirsiniz.

Yakın zamanda bir örnek: 2014 WordPress blogunun sahibi, barındırmayı sonlandırmadan önce her yazı başlığını, tarihini ve gövdesini bir elektronik tabloda istedi. Çıkarıcıyla yirmi dakika, bir CSV, aynı hafta barındırma iptal edildi. Bu işlerin ortak noktasına dikkat edin, tam bir site kopyasını beklemek istemeden, yapılandırılmış bir biçimde bir alt küme istiyorsunuz.

Çevrimiçi web sitesi çıkarıcı araçları ve yerel yazılım

Çevrimiçi araçlar sürtünmede kazanır. Kurulacak bir şey yok, saniyeler içinde sonuçlar ve iyi olanlar CSV veya zip doğrudan çıktı verir. Ölçek ve kontrolde kaybederler: çoğu sizi tek sayfa veya sığ bir taramayla sınırlar, işinizi diğer insanlarınki ardına sıraya koyar ve çerezler, başlıklar veya oluşturma ayarları için az seçenek sunar.

Yerel araçlar bunu tersine çevirir. Bir tarayıcı uzantısı, oturumunuza bindiği için giriş yaptığınız sayfalardan çıkarabilir. requests ve BeautifulSoup ile bir Python betiği, veya daha büyük işler için Scrapy, kimlik doğrulamayı, sayfalamayı ve yüz bin sayfayı kimse izni olmadan yönetir. wget ve HTTrack arada kalır: daha kaba ama doğru kabul kurallarıyla bir etki alanındaki her görseli memnuniyetle çekerler.

Dürüst ayrımım: iş bir öğleden sonra sığıyorsa ve sayfalar herkese açıksa, çevrimiçi bir araçla başlayın. Çerez, sayfalama mantığı veya gelecek ay ikinci bir çalıştırma gerektiği an, betiği yazın.

Çevrimiçi bir web sitesi çıkarıcısına URL yapıştırmak güvenli mi?

Çoğunlukla evet, bilinmeye değer üç gerçek istisna var.

Bir: hizmet gönderdiğiniz her URL'yi görür ve günlüğe kaydeder. Herkese açık sayfalar için sorun değil. Hazırlık bağlantıları, içinde erişim belirteçleri olan önizleme URL'leri veya intranet ana bilgisayar adları için sorun, popüler bir çıkarıcının otomatik tamamlama önerilerinde iç bilet sistemi URL'leri gördüm, bu da günlük kayıtları hakkında bilmeniz gereken her şeyi söyler. İki: indirme paketi. Meşru bir çıkarıcı size görseller, metin veya CSV verir. Size yürütülebilir bir görüntüleyici veren bir araç çıkarıcı değildir, bir teslim mekanizmasıdır. Üç: benzer görünümlü siteler. Popüler araç adları için arama reklamları düzenli olarak kötü amaçlı yazılım sunmak veya yapıştırdığınız her şeyi toplamak için var olan klonlara götürür.

İşe yarayan kontrol listesi:

• Gerçek bir itibara sahip HTTPS sitelerine bağlı kalın, yapıştırmadan önce kontrol edin
• İçinde belirteç, oturum kimliği veya parola sıfırlama bağlantısı olan URL'leri asla yapıştırmayın
• Kimlik bilgilerini asla girmeyin veya çerez dosyalarını bir web aracına asla yüklemeyin
• Görseller, metin, CSV veya zip bekleyin, bir.exe alırsanız sekmeyi kapatın

Bir araç size görsellerin zip dosyası yerine bir yükleyici geri verirse, o hiçbir zaman bir çıkarıcı değildi.

Bu araçların ulaşamadığı şeyler

Her çıkarıcı, çevrimiçi veya yerel, aynı duvarlara çarpar. JavaScript ile oluşturulan tek sayfa uygulamaları, araç gerçek bir tarayıcı motoru çalıştırmadıkça boş bir kabuk döndürür. Giriş duvarları, oturumunuzdan yoksun olan her şeyi durdurur. Robots.txt engelleri kibar tarayıcıları geri çevirir. Hız sınırları ve CAPTCHA'lar kibar olmayanları keşke yapsaydım diye düşünmeye iter. Derin sayfalama, bir forum konu listesinin 47. sayfası, çoğu çevrimiçi aracın sabrını aşar.

Sonsuz kaydırma kendi başına bir anketi hak ediyor: sayfa yalnızca ilk öğe grubunu içerir ve geri kalanını kaydırdıkça getirir, bu yüzden kaydırmayı taklit etmeyen her araç listenin yalnızca bir bölümünü görür. Pazaryerleri ve sosyal medya profilleri her zamanki suçlular.

En zor duvar ise en basit olanıdır: çıkarıcılar canlı sayfaları getirir. Site gittiyse, süresi dolmuş etki alanı, ölü barındırıcı, yıllar önce silinmiş, çıkarılacak bir şey yoktur. URL bir park edilmiş sayfa döndürür ve araç boş geri gelir.

Mantıklı bir çıkarma iş akışı

1. Bir araca dokunmadan önce hedefi tanımlayın: makale metni, görseller, bağlantılar veya meta veri. Her biri farklı bir çıkarıcıya işaret eder.
2. Temsili bir sayfada test edin ve çıktıyı inceleyin, kodlamalar, görsel çözünürlükleri, metnin başlıklarını koruyup korumadığı.
3. Çıktı biçimini kontrol edin: elektronik tablolar için CSV, medya için zip, başka bir sistemi besliyorsa JSON.
4. Tüm işi kibar biçimde çalıştırın. Araç izin veriyorsa hız sınırlaması yapın, özellikle küçük sitelerde.
5. Sayıları beklentilere göre doğrulayın. Üç yüz ürün kabaca üç yüz görsel seti vermelidir, 180 değil.
6. Sonuçlarla birlikte kaynak URL listesini kaydedin. Altı ay sonra kimse verinin nereden geldiğini hatırlamaz.

Ücretsiz ve ücretli çevrimiçi web sitesi çıkarıcı araçlar

Çoğu çevrimiçi çıkarıcı aynı freemium modelini izler: günde bir avuç ücretsiz çıkarma, sonra bir ödeme duvarı. Ücretsiz katman tek seferlik işler için gerçekten yeterlidir, beş katalog sayfasından görselleri çekmek size yalnızca sabır maliyeti çıkarır.

İş tekrarlandığında veya büyüdüğünde ödeyin: API erişimi, birkaç seviyenin ötesinde tarama derinliği, zamanlanmış çalıştırmalar ve toplu URL listeleri bir aboneliğin gerçekte satın aldığı şeylerdir. Ödemeye değer olmayan şey, tüm sunusunun wget etrafında daha güzel bir sarmalayıcıdan ibaret olan herhangi bir araçtır. İş bu etki alanındaki her şeyi indirmekse, yerel bir araç bunu ücretsiz, sonsuza kadar yapar.

Çıkarma restorasyona dönüştüğünde

Bazen çıkarma isteği, gizlenmiş bir restorasyon isteğidir. Eski sitemdeki tüm metin ve görselleri çek, eski sitenin çevrimiçi olduğunu varsayar. Çevrimiçi olmadığında içerik hâlâ vardır, Wayback Machine içinde, ama hiçbir canlı getirme çıkarıcısı ona dokunamaz.

İşte Restorix hizmeti bu boşluğu doldurur. Ölü bir siteyi arşiv anlık görüntülerinden geri yükler ve kurtarılan makaleleri yapılandırılmış XML, CSV veya JSON olarak dışa aktarabilir, ayrıca bir JSON veya SQLite dosya bildirimi, tek bir geçişte çıkarma ve restorasyon, ödemeden önce dosya sayısı ve fiyat kilitli. Bildirim kulağa geldiğinden daha önemli: eski site haritanızla karşılaştırın ve yeniden inşa etmeden önce tam olarak neyin eksik olduğunu bilin.