Web Emeklemesi (Web Crawling)

Yazan : Şadi Evren ŞEKER

Arama motorlarının tasarımı sırasında kullanılan önemli unsurlardan birisi de internet üzerindeki bağlantıları (link) izleyerek bilgi toplayan ve bütün Internet’i gezip sayfa ve sayfalardaki kelimeleri çıkaran internet örümcekleridir.

Bir örümceğin bünyesinde web sayfalarını indirip bu sayfadaki bağlantıları çıkaran ve daha sonra bu bağlantılara devam eden yapıya web emekleyicisi adı verilir. Bu isim bebeklerin veya sürüngenlerin kullandıkları ve hedefe ulaşmak için yaptıkları bir takım metodolojik işlemden gelmektedir. Benzer şekilde internet üzerinde emekleyen bir örümcek de metdolojik olarak aşağıdaki işlemleri yapmaktadır:

• Bir internet sayfasını indirmek
• Sayfadaki bağlantıları çıkarmak
• Sayfadaki anahtar kelimeleri çıkarmak
• Kelime ve sayfa bilgisini fihristleyiciye (indexer) geçirmek
• Bulduğu bağlantılara devam ederek yukarıdaki adımları bu yeni bağlantılar için de tekrar etmek

Bu işlemler yapılırken bir web emekleyicisi (web crawler) aşağıdaki hususlara göre sınıflandırılabilir:

Derin emekleme (deep crawling): Kabaca sayfanın ne kadar detayını dolaşıp fihristleyeceğimiz. Yani bir web sitesindeki bağlatıları takip edip diğer web sitelerine geçilip geçilmeyeceği.

Çerçeve desteği (Frame Support): sayfalarda bulunan çerçeveleri destekleyip desteklemediğimiz

robots.txt dosyası desteği: web sitelerinin girişinde yer alan bu dosyanın desteklenip desteklenmediği

üst robot etiketi (meta robot tag): web sayfalarının üst bölgesinde (meta tags) yer alan robot etiketinin emekleyici (crawler) tarafından desteklenip desteklenmediği

Tam döküman (full body text): gezilen web sayfasındaki bütün dökümanın mı yoksa bir kısmının mı çıkarılacağı

engellenen kelimeler (stop words): gezilen sayfada bulunan kelimelerden arama için anlamsız olan ve çok yer kaplayan kelimelerin (ve, veya, ile, ise gibi) fihristlenmemesi

Üst tanım (meta description): HTML sayfalarının üst kısmında (meta tags) bulunan tanım bilgilerinin fihristlenip fihristlenmeyeceği

Üst anahtar kelimeler (meta keywords): HTML sayfalarının üst kısmında (meta tags) bulunan anahtar kelimelerin fihristlenip fihristlenmeyeceği

Bazı Emekleyici Kavramları aşağıda açıklanmıştır:

Odaklanmış Emekleyici (Focused Crawling): Belirli bir hedefin aranmasına yönelik olarak geliştirilen emekleme programlarıdır. Örneğin bir masa üstü arama (desktop search) sırasında, belirli bir kelimenin arandığını düşünelim. Emekleyici yazılımımız, aranan kelimeye yönelik olarak dolaşma yapıyorsa ve örneğin belirli dosya türlerini dolaşıyor, dolaşılan verileri fihristlemek (indexing) yerine sadece kelime arama için çalışıyorsa, odaklanmış emekleme (focused crawling) yapıyor denilebilir.

Dağıtık Emekleme (Distributed Crawling): Bir arama işleminin, birden fazla bilgisayara bölünmesi ve dağıtılmış olarak webte dolaşma işleminin gerçekleşmesi durumudur. Genelde aşağıdaki sebeplerle dağıtık emekleme yapılabilir:

• Veri kaynağına olan yakınlık: Örneğin dünya çapındaki internet emeklemesi için coğrafi sebepler ve her veriye her yerden aynı hızda erişilememesi bir sebeptir. Benzer şekilde bir şirkette veri kaynaklarının emeklenmesi (dolaşılması, crawling) sırasında güvenlik sebepleriyle her bilgiye her yerden erişilememesi bir sebep olabilir.
• Depolama ihtiyaçlarının azaltılması: Birden fazla emekleyici bulunması durumunda, her emekleyicinin tutması gereken site ve sitelere bağlı kaynak miktarının azalması söz konusudur. Verimli bir dağıtık emekleme durumunda, emekleyicilerin birbiri ile senkronize olması ve aynı kaynağa birden fazla emekleyicinin erişmemesi önemlidir.
• İşlem yükünün azaltılması: Birden fazla emekleyicinin bulunduğu ortamda, toplam işlem yükünün, birden fazla bilgisayar bölünmesi mümkündür.

Dağıtık emekleme işlemleri sırasında emekleyicilerin birbiri ile uyumlu çalışması için (senkronize) özetleme fonksiyonları (hashing functions) kullanılabilir. Emekleyiciler aralarında bu özet bilgiyi değiştirerek uyumlu çalışabilirler.

Masa Üstü Emekleyicileri (Desktop Crawlers): Genelde kişisel bilgisayarlarda bulunan dosyaların veya veri kaynaklarını dolaşan emekleyicilerdir. Bazı durumlarda şirket içi veya kurum içi (üniversiteler, hastanaler gibi) dolaşma da planlanabilir. Genel olarak web emekleyicileri ile farkları aşağıda listelenmiştir:

• Verinin bulunması çok daha kolaydır
• Verinin değişme tarihini öğrenmek kısmen mümkündür (dosyaların değişme tarihi)
• Disk ve işlemci kullanımı konusunda daha kısıtlı imkanlar vardır.
• Çok çeşitli dosya tiplerinın tanınması gerekir.
• Verinin kişiselliği önemlidir ve kişisel verilere erişimin kontrol altında tutulması gerekir.