Crawl Bütçesi Nedir? Nasıl Optimize Edilir?

Crawl bütçesi, Googlebot’un belirli bir web sitesinde belirli bir zaman diliminde tarayabileceği sayfa sayısının üst sınırıdır. Bu sınır tek bir değişkenden değil, iki ayrı mekanizmadan doğar: sunucunun kaldırabileceği tarama hızını ifade eden crawl rate ve Googlebot’un bir sayfayı taramaya duyduğu isteği yansıtan crawl demand.

İçindekiler

1. Tarama Bütçesi Nedir ve Neden Önemlidir?
2. Crawl Rate ile Crawl Demand Arasındaki Fark
3. Crawl Bütçesi Hangi Site Büyüklüğünde Önem Kazanır?
4. Tarama Bütçesini Etkileyen Temel Faktörler Nelerdir?
5. Googlebot Tarama Davranışı ve Sıklığı Nasıl İşler?
6. Search Console Crawl Stats Raporu Nasıl Okunur?
7. Crawl Bütçesi Nasıl Optimize Edilir?
8. robots.txt ile Gereksiz URL’leri Engelleme
9. XML Sitemap ile Öncelikli Sayfaları Öne Çıkarma
10. Noindex ve Canonical Etiketleri Taramada Ne İşe Yarar?
11. İç Linkleme Yapısı Crawl Bütçesini Nasıl Etkiler?
12. Crawl Bütçesi Sorunları Nasıl Tespit Edilir ve Çözülür?
13. E-Ticaret Siteleri İçin Crawl Bütçesi Neden Kritiktir?
14. Sıkça Sorulan Sorular
15. XML sitemap göndermek crawl bütçesini iyileştirir mi?
16. Crawl bütçesi kaç günde bir yenilenir?
17. Duplicate content crawl bütçesini nasıl etkiler?
18. Log file analizi kimler için gereklidir?

Binlerce ürün, kategori ve filtre sayfası barındıran e-ticaret sitelerinde bu sınır soyut bir kavram olmaktan çıkar. Googlebot her ziyaretinde sitenin tamamını değil, bütçesine sığan kısmını tarar; bu yüzden önemli ürün sayfaları taranmadan kalabilir ya da dizine gecikmeli eklenir. Sonuç, organik görünürlükte kayıp ve satış potansiyeli taşıyan sayfaların arama sonuçlarında görünmemesidir.

Bu durumun kök nedenini anlamak için crawl rate ile crawl demand arasındaki farkı ayrıştırmak gerekir.

Tarama Bütçesi Nedir ve Neden Önemlidir?

Crawl bütçesi, Googlebot’un bir web sitesinde belirli bir zaman diliminde tarayabileceği sayfa sayısının üst sınırıdır. Bu sınır rastgele belirlenmez; sunucu kapasitesi ile Googlebot’un o siteye duyduğu ilgi birlikte şekillendirir. Bir sayfa Googlebot tarafından taranmadığı sürece Google’ın dizinine giremez; bu yüzden crawl bütçesi doğrudan organik görünürlükle bağlantılıdır.

Crawl Rate ile Crawl Demand Arasındaki Fark

Crawl rate, sunucunun Googlebot isteklerini yavaşlamadan karşılayabileceği maksimum tarama hızını ifade eder; sunucu yanıtları geciktikçe Google bu hızı otomatik olarak düşürür. Crawl demand ise tamamen farklı bir mekanizmadır: Googlebot’un bir URL’yi ne kadar değerli veya güncel bulduğuna, dolayısıyla o sayfayı ne sıklıkla taramak istediğine işaret eder. Sık güncellenen bir kampanya sayfası yüksek crawl demand alırken, yıllardır değişmeyen statik bir sayfa düşük demand ile sınırlı sıklıkta ziyaret edilir. Bir site hem hızlı yanıt verse hem de düşük demand’e sahipse Googlebot yine de o siteyi seyrek ziyaret eder.

Crawl Bütçesi Hangi Site Büyüklüğünde Önem Kazanır?

Birkaç yüz sayfalık bir site için crawl bütçesi çoğunlukla pratik bir sorun oluşturmaz; Googlebot mevcut sayfaların tamamını rahatlıkla tarayabilir. Binlerce ürün, kategori ve filtre kombinasyonu barındıran e-ticaret siteleri için tablo değişir: sayfa sayısı arttıkça Googlebot’un her URL’ye ayırabildiği pay küçülür. Bu noktadan itibaren crawl bütçesini hangi faktörlerin tükettiğine bakmak gerekir.

Tarama Bütçesini Etkileyen Temel Faktörler Nelerdir?

Tarama bütçesini asıl tüketen unsurlar sunucu performansı, içerik tekrarı ve URL yapısındaki karmaşıklıktır. Her biri Googlebot’un davranışını farklı şekilde değiştirir; bazıları tarama hızını düşürürken bazıları gereksiz sayfa sayısını artırır.

• Sunucu yanıt süresi: Googlebot, bir sitedeki sunucu yanıt süresini sürekli ölçer ve yavaşlama tespit ettiğinde tarama hızını otomatik olarak düşürür. Sunucu yoğun trafik altında geç yanıt vermeye başladığında Googlebot, siteyi aşırı yüklememek için istek sıklığını kendiliğinden azaltır; bu da aynı gün içinde taranabilecek sayfa sayısını doğrudan sınırlar.
• Duplicate content: Aynı ürün açıklamasının birden fazla URL üzerinden erişilebilir olması Googlebot’u bu sayfaların her birini ayrı ayrı taramaya yönlendirir. Bir ürün sayfasının hem ana kategori altında hem de farklı bir alt kategori altında birebir aynı içerikle yayınlanması, Googlebot’un iki farklı URL’yi tekrar tekrar ziyaret etmesine ve bütçenin tekil, benzersiz sayfalar yerine kopya içeriğe harcanmasına yol açar.
• Parametreli URL’ler: Filtre, sıralama ve oturum kimliği gibi parametreler Googlebot için her kombinasyonu ayrı bir URL olarak görünür kılar. Bir e-ticaret kategorisinde renk, beden ve fiyat aralığı filtreleri birlikte kullanıldığında tek bir kategori sayfası onlarca farklı parametreli varyanta dönüşebilir; Googlebot bu varyantların çoğunu tek tek taramaya çalışır ve gerçek ürün sayfalarına ayrılabilecek pay azalır.

Sunucu yanıt süresi tarama hızını sınırlarken, duplicate content ve parametreli URL’ler mevcut hızın nereye harcandığını belirler. Bu üç faktörün bir arada işleyişi, Googlebot’un neden bazen önemli ürün sayfalarını atlayıp değersiz varyantlara zaman ayırdığını açıklar.

Googlebot Tarama Davranışı ve Sıklığı Nasıl İşler?

Googlebot’un tarama sıklığını üç etken belirler: sayfanın ne kadar sık güncellendiği, sitenin genel otoritesi ve sunucunun kaldırabileceği istek kapasitesi. Sık güncellenen bir kategori sayfası, aylarca değişmeyen statik bir sayfaya göre çok daha yüksek tarama sıklığı kazanır. Otoritesi yüksek bir site için Googlebot daha fazla kaynak ayırmaya isteklidir; bu isteklilik crawl demand’in doğrudan bir yansımasıdır. Sunucu kapasitesi ise bir üst sınır görevi görür — kapasite ne kadar geniş olursa googlebot tarama sıklığı da o kadar rahat artabilir.

Search Console Crawl Stats Raporu Nasıl Okunur?

Crawl stats raporu, Googlebot’un bir sitede son dönemde gerçekleştirdiği tarama etkinliğinin özetini üç ana metrikle sunar: toplam tarama isteği sayısı, ortalama sunucu yanıt süresi ve durum kodu dağılımı. Tarama isteği sayısındaki ani düşüş genellikle sunucu erişim sorununa veya robots.txt engeline işaret eder. Ortalama yanıt süresindeki yükseliş, Googlebot’un tarama hızını kendiliğinden azaltmasına yol açabilir. Durum kodu dağılımında 200 dışındaki kodların (404, 500, 301) oranı yükseldiğinde, bütçenin önemli bir kısmının hatalı veya gereksiz URL’lere gittiği anlaşılır.

Log file analizi, crawl stats raporunun verdiği özet tabloyu ham veriyle tamamlar. Sunucu erişim kayıtlarında Googlebot’un hangi URL’yi, hangi saatte, hangi sıklıkla ziyaret ettiği tek tek görülebilir; bu düzeyde detay Search Console arayüzünde yer almaz. Rakip içeriklerin çoğu crawl stats raporunu anlatmakla yetinip log dosyalarına değinmez, oysa gerçek Googlebot davranışının doğrulanması ancak log kayıtlarıyla mümkündür. Log file analizi özellikle binlerce URL barındıran büyük siteler ve teknik SEO ekipleri için gereklidir; küçük ölçekli bir site için crawl stats raporu genellikle yeterli görünürlük sağlar.

Googlebot’un bu davranışını anladıktan sonra sıra, taramayı doğru yönlere kanalize etmeye gelir.

Crawl Bütçesi Nasıl Optimize Edilir?

Crawl bütçesi optimizasyonu, Googlebot’u önemsiz sayfalardan uzak tutup öncelikli sayfalara yönlendiren somut teknik adımlarla yapılır. Bu adımlar üç ana araca dayanır: robots.txt, XML sitemap ve iç linkleme. Her biri Googlebot’a farklı bir sinyal gönderir; robots.txt neyin taranmayacağını, sitemap neyin öncelikli olduğunu, iç linkleme ise hangi sayfaların önemli sayılması gerektiğini gösterir.

robots.txt ile Gereksiz URL’leri Engelleme

robots.txt, Googlebot’un hangi URL yollarını hiç talep etmemesi gerektiğini belirten bir metin dosyasıdır ve tarama bütçesini korumanın en doğrudan yoludur. Bir e-ticaret sitesinde ürün listeleme sayfaları genellikle ?renk=kirmizi&beden=m&siralama=fiyat-artan gibi parametre kombinasyonlarıyla çoğalır; bu URL’lerin her biri Googlebot için ayrı bir sayfa gibi görünür ama içerik neredeyse aynıdır.

• Disallow: /*?sort= kuralıyla sıralama parametreli tüm URL’ler engellenebilir.
• Disallow: /*?filter= ile filtre kombinasyonlarının taranması durdurulabilir.
• Oturum kimliği taşıyan ?sessionid= gibi URL’ler de aynı mantıkla dışlanabilir.
• Site içi arama sonucu sayfaları (/arama?q=) genellikle tarama için değersizdir ve engellenmelidir.

Bu kurallar yazılırken önemli kategori ve ürün sayfalarının yanlışlıkla engellenmediğinden emin olmak gerekir; robots.txt dosyası yayınlanmadan önce Search Console’daki robots.txt test aracıyla kontrol edilebilir.

XML Sitemap ile Öncelikli Sayfaları Öne Çıkarma

XML sitemap, Googlebot’a sitenin hangi sayfalarının taranmaya değer olduğunu bildiren bir yol haritasıdır. Sitemap’e yalnızca kanonik, gerçekten indekslenmesi istenen sayfalar eklenmelidir; filtre sonucu oluşan varyant URL’ler, arşivlenmiş ürün sayfaları veya noindex etiketli sayfalar sitemap dışında tutulmalıdır. Aksi halde Googlebot, sitemap’te önemli sayılan ama aslında değersiz sayfalara zaman ayırır.

Sitemap’in düzenli aralıklarla güncellenmesi, yeni eklenen ürünlerin ve kaldırılan sayfaların anında yansıtılması gerekir; güncel olmayan bir sitemap Googlebot’u artık var olmayan URL’lere yönlendirerek tarama bütçesini boşa harcatır. Sitemap dosyasının nasıl hazırlanacağı ve Search Console’a nasıl gönderileceği ayrı bir teknik konu olsa da, doğru yapılandırılmış bir sitemap dosyası ile Search Console kurulumu bu optimizasyonun temelini oluşturur.

robots.txt gereksiz taramayı keser, sitemap öncelikli sayfaları öne çıkarır, iç linkleme ise bu öncelikli sayfaların site genelinde güçlü sinyallerle desteklenmesini sağlar; üçü birlikte tarama yönlendirme dediğimiz bütünü kurar. Bu yönlendirme doğru kurulduğunda bile bazı sayfaların taranıp taranmaması gerektiğine dair ayrı bir karar alanı kalır.

Noindex ve Canonical Etiketleri Taramada Ne İşe Yarar?

Noindex etiketi bir sayfayı arama sonuçlarından çıkarır, ancak Googlebot’un o sayfayı taramaya devam etmesini engellemez. Bu ayrım pek çok site sahibinin gözden kaçırdığı bir noktadır: noindex, dizinlemeyi durdurur; taramayı değil. Googlebot bir sayfada noindex etiketini görebilmek için önce o sayfayı ziyaret etmek zorundadır, dolayısıyla noindex’li binlerce sayfa bile crawl bütçesini tüketmeye devam eder.

Canonical etiketi ise farklı bir sorunu çözer. Bu etiket, Googlebot’a birbirine benzer birden fazla URL arasından hangisinin asıl versiyon sayılması gerektiğini gösterir ve böylece aynı içeriğin tekrar tekrar taranmasından kaynaklanan duplicate tarama yükünü azaltır.

E-ticaret sitelerinde bu iki etiket somut biçimde devreye girer. Renk veya beden varyantına göre oluşan ürün URL’lerinde canonical etiketi tüm varyantları ana ürün sayfasına yönlendirir. Fiyat aralığı veya stok durumu gibi düşük değerli filtre kombinasyonlarında ise noindex etiketi tercih edilir, çünkü bu sayfaların aranma sonuçlarında görünmesine gerek yoktur.

İki etiket aynı sayfada birlikte kullanılmamalıdır; bir sayfa hem noindex hem de başka bir URL’ye canonical gösteriyorsa Googlebot çelişkili bir sinyal alır. Kural basittir: içerik tamamen aynıysa canonical, içerik farklı ama değersizse noindex tercih edilir. Tarama yönlendirmesinin yanında, hangi sayfaların site içi bağlantılarla desteklenip hangilerinin arka planda kalması gerektiği de ayrı bir konudur.

İç Linkleme Yapısı Crawl Bütçesini Nasıl Etkiler?

İç linkleme, Googlebot’un bir sayfaya hangi yollardan ve ne kadar kolaylıkla ulaşabileceğini belirleyen temel unsurdur. Dağınık veya sığ bir iç link mimarisinde önemli sayfalar site içinde izole kalır; Googlebot bu sayfalara ulaşmak için daha fazla bağlantı takip etmek zorunda kalır ve bu da tarama önceliğini düşürür. Bağlantı almayan veya zayıf bağlantılı sayfalar, ana sayfa ve kategori sayfalarına göre çok daha seyrek taranır.

Tıklama derinliği, bir sayfaya ana sayfadan başlayarak kaç link tıklamasıyla ulaşılabildiğini ifade eden bir ölçüttür. Ana sayfaya 3-4 tık veya daha fazla uzaklıkta bulunan sayfalar Googlebot tarafından daha az önemli sinyaller içeren sayfalar olarak değerlendirilir ve tarama sıklığı buna göre azalır. Bu durum, site büyüklüğü arttıkça daha belirgin hale gelir.

E-ticaret sitelerinde iyi bir site mimarisi, herhangi bir ürün sayfasına ana sayfadan en fazla 3 tıklamayla ulaşılmasını hedefler: ana sayfa, kategori sayfası ve ürün sayfası şeklindeki üç katmanlı yapı buna örnektir. Binlerce ürünü barındıran ama alt kategori ve filtre katmanlarını art arda dizen siteler bu mesafeyi kolayca 5-6 tıka çıkarabilir; bu da derinlerdeki ürün sayfalarının aylarca taranmadan kalmasına yol açabilir. Kategori sayfalarından öne çıkan ürünlere, ilgili ürünler bölümlerine ve site içi arama sonuçlarına verilen bağlantılar bu mesafeyi kısaltmanın pratik yollarındandır.

Site mimarisindeki bu tür yapısal sorunları görmek için kapsamlı bir teknik SEO denetimi yürütmek, tıklama derinliği yüksek sayfaları ve zayıf bağlantılı bölümleri ortaya çıkarır. Yapı sağlam kurulsa bile zaman içinde tarama hataları ve dizine eklenme sorunları ortaya çıkabilir.

Crawl Bütçesi Sorunları Nasıl Tespit Edilir ve Çözülür?

Crawl bütçesi sorunları en net biçimde Search Console’daki dizine ekleme raporlarında ve sunucu log kayıtlarında ortaya çıkar. Bu raporları düzenli kontrol etmek, sorunu sayfalar aylarca görünmez kalmadan fark etmeyi sağlar.

“Taranmış, ancak şu anda dizine eklenmemiş” durumu, Googlebot’un sayfayı ziyaret ettiğini fakat içeriği yeterince değerli bulmadığı ya da başka nedenlerle dizine almadığını gösterir. Bu rapor Search Console’ın Sayfalar bölümünde listelenir ve genellikle ince içerikli, tekrar eden veya düşük öncelikli sayfalarda görülür. Etkilenen URL’leri toplu inceleyip ortak bir kalıp (aynı şablon, benzer içerik uzunluğu) olup olmadığına bakmak, kök nedeni hızla ortaya çıkarır.

Yumuşak 404 (soft 404) hataları, sunucunun “sayfa bulunamadı” bilgisini doğru HTTP durum koduyla vermek yerine 200 durum koduyla boş veya alakasız bir sayfa döndürmesinden kaynaklanır. Stokta kalmayan bir ürün sayfası kaldırıldığında yerine yönlendirme veya 404 kodu konmazsa, Googlebot o URL’yi tekrar tekrar tarayarak bütçeyi gereksiz yere tüketir. Doğru çözüm, kaldırılan ürün sayfalarını 410 veya 404 koduyla işaretlemek ya da benzer bir ürüne 301 ile yönlendirmektir.

Diğer yaygın crawl hataları şu sırayla ele alınabilir:

• 500 sunucu hatası: sunucu aşırı yüklendiğinde veya kod hatası oluştuğunda ortaya çıkar; sunucu kaynaklarını artırmak ve hatalı istekleri loglardan izlemek gerekir.
• DNS hatası: alan adı çözümlemesinin başarısız olmasından kaynaklanır; DNS sağlayıcısı ile yapılandırmayı kontrol etmek çözümü hızlandırır.
• Erişilemeyen robots.txt: dosyaya geçici olarak ulaşılamadığında Googlebot taramayı temkinli biçimde durdurabilir; dosyanın sürekli erişilebilir ve doğru sözdizimine sahip olması gerekir.

Orta ölçekli bir e-ticaret sitesinde yaşanan tipik bir senaryo şöyledir: binlerce ürün varyantı soft 404 üretiyordu çünkü stok dışı kalan ürünler kaldırılmak yerine boş sayfa olarak bırakılmıştı. Bu sayfalara 404 kodu tanımlanıp ilgili ürünlere iç link verilmesinin ardından log file analizinde Googlebot’un öncelikli kategori ve ürün sayfalarına daha sık uğradığı gözlemlendi.

E-Ticaret Siteleri İçin Crawl Bütçesi Neden Kritiktir?

Crawl bütçesi, geniş ürün kataloğuna ve çok boyutlu filtre sistemine sahip e-ticaret sitelerinde diğer site türlerine kıyasla çok daha belirleyici bir rol oynar. Bunun temel nedeni facet navigasyon dediğimiz filtreleme yapısıdır: kullanıcı renk, beden, fiyat aralığı, marka ve stok durumu gibi seçenekleri birlikte kullandığında her kombinasyon teorik olarak ayrı bir URL üretebilir.

Bu durumu somut bir örnekle düşünelim: 500 üründen oluşan bir kadın giyim kategorisinde 5 renk, 6 beden ve 4 fiyat aralığı filtresi bulunduğunda, olası kombinasyon sayısı yüzlerce ek URL’ye kolayca ulaşabilir. Bu tabloya yeni kategoriler ve sıralama seçenekleri eklendiğinde site genelinde gerçek ürün sayısının kat kat üzerinde bir url patlaması ortaya çıkar. Googlebot bu URL’lerin büyük bölümünü tek tek keşfedip taramaya çalıştığında, öncelikli kategori ve ürün sayfalarına ayrılması gereken tarama payı önemli ölçüde erir.

Filtre sayfalarının çoğu, kullanıcıya farklı bir başlık ve URL sunsa da içerik olarak ana kategori sayfasıyla neredeyse birebir aynıdır; ürün listesi aynı kalır, yalnızca sıralama veya görünen alt küme değişir. Bu benzerlik Googlebot açısından duplicate tarama riski demektir: arama motoru aynı ürün bilgisini onlarca varyant URL üzerinden tekrar tekrar tarar, ancak bu sayfaların hiçbiri arama sonuçlarında bağımsız bir değer taşımaz. Kapsamlı bir e-ticaret SEO stratejisi kurgularken bu filtre mimarisinin baştan planlanması, sonradan yama yapmaktan çok daha az kaynak gerektirir.

Filtre ve varyant kaynaklı url patlamasını kontrol altına almak üç aracın birlikte çalışmasına dayanır: robots.txt ile bazı filtre parametrelerinin taranmasını baştan engellemek, canonical etiketiyle benzer filtre sayfalarını ana kategoriye yönlendirmek ve gerçekten indekslenmesi istenmeyen kombinasyonlara noindex uygulamak. Bu üçlü, e-ticaret sitesinin gerçek kapasitesini az sayıda ama yüksek değerli sayfaya yönlendirir.

Sıkça Sorulan Sorular

XML sitemap göndermek crawl bütçesini iyileştirir mi?

XML sitemap göndermek tek başına crawl bütçesini artırmaz, yalnızca Googlebot’a hangi sayfaların öncelikli ve kanonik olduğunu gösterir. Bu yönlendirme sayesinde Googlebot taramayı düşük değerli sayfalara harcamak yerine sitemap’te listelenen sayfalara yönlendirebilir. Sitemap güncel tutulmadığında veya kanonik olmayan URL’ler içerdiğinde bu fayda ortadan kalkar; sitemap’in yalnızca öncelikli sayfaları içermesi gerektiği daha önce vurgulanmıştı.

Crawl bütçesi kaç günde bir yenilenir?

Crawl bütçesi sabit bir takvimle, örneğin haftada bir veya ayda bir yenilenmez; Googlebot’un crawl rate ve crawl demand değerlendirmesine göre sürekli ve dinamik biçimde güncellenir. Sunucu yanıt süresi hızlandığında veya site otoritesi arttığında tarama sıklığı da buna bağlı olarak artabilir. Tersine, sunucu hataları veya içerik durgunluğu tarama sıklığını düşürebilir; bu nedenle sabit bir “yenilenme günü” aramak yerine Search Console Crawl Stats raporunu düzenli izlemek daha isabetlidir.

Duplicate content crawl bütçesini nasıl etkiler?

Duplicate content, Googlebot’un aynı veya çok benzer içeriği farklı URL’lerde tekrar tekrar taramasına yol açarak crawl bütçesini gereksiz yere tüketir. E-ticaret sitelerinde filtre ve varyant URL’lerinin yarattığı bu tekrar, bütçesi optimize edilmiş bir sitede canonical etiketi ve robots.txt kısıtlamalarıyla azaltılır. Sonuç olarak Googlebot, benzer sayfalar yerine gerçekten yeni veya güncellenmiş içeriğe yönelir.

Log file analizi kimler için gereklidir?

Log file analizi öncelikle binlerce URL barındıran büyük e-ticaret siteleri ve teknik SEO süreçlerini yöneten ekipler için gereklidir. Search Console Crawl Stats raporu genel bir özet sunarken log file analizi, Googlebot’un hangi sayfayı ne sıklıkla gerçekten talep ettiğini sunucu kayıtları üzerinden gösterir. Küçük ölçekli sitelerde bu düzeyde bir incelemeye genellikle ihtiyaç duyulmaz.