Crawl Budget Nedir? Nasıl Calışır?

Crawl Budget Nedir? Google Tarama Bütçesi Nasıl Çalışır ve Nasıl Optimize Edilir? 

SEO dünyasında birçok kavram dolaylı etki ederken, crawl budget doğrudan Google’ın sitenle kurduğu teknik ilişkiyi belirler. Özellikle büyük ölçekli sitelerde crawl budget yönetimi yapılmadığında, SEO çalışmaları ciddi biçimde yavaşlar ve potansiyel boşa gider.

1. Crawl Budget Kavramının Teknik Tanımı

Crawl Budget, Googlebot’un bir web sitesini taramak için ayırdığı:

• Zaman
• Kaynak
• URL limiti

kombinasyonudur.

Google bunu resmi olarak şöyle tanımlar:

“Googlebot’un bir siteyi taramak için harcamaya istekli olduğu kaynak miktarı”

Bu tanım iki kritik şeyi gösterir:

1. Google istekli olmak zorunda
2. Kaynak sınırlı

2. Googlebot Sitenizi Nasıl Taramaya Karar Verir?

Googlebot sitene geldiğinde rastgele davranmaz. Belirli bir öncelik algoritması vardır.

Tarama sırası genelde şu şekildedir:

1. Ana sayfa
2. En çok link alan kategoriler
3. Güncel ve sık değişen içerikler
4. Daha önce yüksek performans göstermiş sayfalar
5. Düşük değerli veya izole sayfalar

Eğer siten karmaşıksa, Googlebot her şeye yetişemez.

3. Crawl Budget = Crawl Rate Limit + Crawl Demand

Bu bölüm kritik, yüzeysel anlatılan yerlerin aksine biraz derine iniyoruz.

3.1 Crawl Rate Limit (Tarama Hız Limiti)

Google, siteni çökertmemek için bir üst sınır belirler.

Crawl rate’i düşüren faktörler:

• 500 / 502 / 503 hataları
• Yavaş TTFB
• Sunucu CPU limitleri
• Paylaşımlı hosting
• Trafik pikleri sırasında yaşanan timeout’lar

Senaryo:

Bir site saniyede 5 isteğe düzgün cevap verirken,
10 istekte 500 hatası vermeye başlarsa Google:

“Bu siteyi yavaşlatayım” der.

3.2 Crawl Demand (Tarama Talebi)

Google’ın iç sesi:

“Bu siteyi taramaya değer mi?”

Crawl demand artar eğer:

• Site sık güncelleniyorsa
• İçerikler index alıp trafik getiriyorsa
• Sayfalar backlink alıyorsa
• Marka aramaları artıyorsa

Düşer eğer:

• İçerikler uzun süredir güncellenmediyse
• Çok fazla thin content varsa
• Indexlenen ama trafik almayan URL sayısı fazlaysa

4. Crawl Budget’ı Tüketen Görünmeyen Tehlikeler

Bu bölüm genelde gözden kaçar.

4.1 Soft 404 Sayfalar

Google’a 200 dönen ama içeriği olmayan sayfalar:

Örnek:

• “Aradığınız ürün bulunamadı”
• Boş kategori sayfaları
• Stokta olmayan ürünler

➡️ Google bunları tarar ama değer görmez.

4.2 Pagination (Sayfalama) Problemleri

/kategori?page=1
/kategori?page=2
/kategori?page=99

• Yanlış canonical
• Sonsuz sayfa üretimi

➡️ Tarama bütçesi erir.

4.3 Arama Sonuç Sayfaları

/?q=ayakkabı
/?q=kırmızı+ayakkabı

Google kendi arama sonuçlarını indexlemek istemez.

4.4 HTTP Status Code Karmaşası

• 302 yerine 301
• Yanlış 200 dönen hata sayfaları
• Redirect loop’lar

5. Crawl Budget Optimizasyonu: İleri Seviye Teknikler

Burada artık “SEO bilen” seviyeye geçiyoruz.

5.1 Log Analizi (En Kritik Konu)

Crawl budget yönetiminin altın anahtarı log analizidir.

Loglarda şunları görürsün:

• Googlebot hangi URL’leri tarıyor?
• Ne sıklıkla geliyor?
• Hangi sayfalara hiç uğramıyor?

Örnek İçgörü:

• Googlebot günde 5.000 URL tarıyor
• Bunun 2.000’i parametreli
• Sadece 500’ü ürün sayfası

➡️ Büyük problem.

5.2 Dahili Linkleme ile Tarama Önceliği Belirleme

Googlebot linkleri takip eder.

Güçlü sinyal veren yerler:

• Ana menü
• Footer
• Breadcrumb
• İçerik içi linkler

Yetim sayfalar = Crawl budget mezarlığı.

5.3 JavaScript SEO ve Render Budget

Modern sitelerde:

• Google önce HTML’i alır
• Sonra render eder

Render pahalıdır.

Eğer:

• İçerik JS ile yükleniyorsa
• Linkler JS sonrası görünüyorsa

➡️ Tarama + render bütçesi iki kat harcanır.

5.4 Büyük Siteler İçin URL Stratejisi

İdeal yapı:

/kategori/
/kategori/alt-kategori/
/urun-adi/

Kaçınılması gereken:

/index.php?id=123&cat=45&sort=asc

6. E-Ticaret Siteleri İçin Crawl Budget Master Planı

Yapılması Gerekenler:

• Filtre URL’leri noindex
• Sadece arama hacmi olan filtreleri indexle
• Stok dışı ürünleri doğru yönlendir
• Kategori sayfalarını güçlendir

Örnek:

• “kırmızı spor ayakkabı” → indexlenebilir
• “38 numara kırmızı spor ayakkabı nike” → noindex

7. Google Search Console ile Crawl Budget Takibi

İncelenecek Raporlar:

• Tarama İstatistikleri
• Sayfa Dizin Oluşturma
• Dışlanan Sayfalar

Sorulması gereken soru:

“Google neden bu sayfayı tarıyor ama indexlemiyor?”

8. Crawl Budget Optimizasyonu Check-List

✔ Robots.txt temiz
✔ Sitemap sade
✔ Canonical doğru
✔ Noindex mantıklı
✔ 404 / 5xx az
✔ Hız optimize
✔ Dahili linkleme güçlü
✔ Log analizi yapılmış

9. Ne Zaman Crawl Budget Umursanmalı?

Gerçekçi cevap:

• 1.000 URL altı → Genelde gerek yok
• 1.000 – 10.000 → İzlenmeli
• 10.000+ → Mutlaka optimize edilmeli

10. Crawl Budget SEO’nun Gizli Motorudur

Crawl budget:

• Doğrudan sıralama faktörü değildir
• Ama tüm sıralama faktörlerinin çalışmasını sağlar

Google seni iyi taramıyorsa:

Seni iyi sıralaması da zorlaşır.

 

11. Crawl Budget ile Index Budget Arasındaki Fark

Crawl budget çoğu zaman index budget ile karıştırılır ama bunlar aynı şey değildir.

• Crawl Budget → Googlebot’un siteni tarama kapasitesi
• Index Budget → Google’ın taradığı sayfaları index’e alma isteği

Önemli Nokta:

Bir sayfa:

• Taranabilir
• Ama indexlenmeyebilir

Örnek:

• Googlebot ürünü tarar
• Ama içerik zayıfsa veya duplicate ise:

  “Crawled – currently not indexed”

➡️ Crawl budget harcanır, index kazanılmaz.

Sonuç:
Crawl budget optimizasyonu tek başına yeterli değildir, içerik kalitesiyle birlikte düşünülmelidir.

12. Googlebot Türleri ve Crawl Budget’a Etkileri

Google tek bir bot kullanmaz.

Başlıca Googlebot’lar:

• Googlebot Smartphone (en kritik)
• Googlebot Desktop
• Googlebot Image
• Googlebot Video
• AdsBot

Neden Önemli?

• Mobil bot önceliklidir (mobile-first indexing)
• JS ağırlıklı sitelerde mobil render daha pahalıdır

Örnek:

Mobilde ağır çalışan bir site:

• Desktop bot sorunsuz tarar
• Mobil bot yavaşlar ➡️ Genel crawl rate düşer

13. Mobil Uyumluluk ve Crawl Verimliliği

Mobil uyumluluk sadece UX değil, crawl efficiency konusudur.

Mobilde crawl budget kaybı:

• Büyük görseller
• Gereksiz scriptler
• Lazy-load hataları
• Mobilde gizlenen ama DOM’da olan içerikler

Googlebot:

“Mobilde pahalıya mal olan sayfayı daha az tarayayım” der.

 

14. HTTP Header’larının Crawl Budget’a Etkisi

Gözden kaçan ama kritik bir konu.

Önemli header’lar:

• Last-Modified
• ETag
• Cache-Control

Doğru kullanıldığında:

• Google değişmeyen sayfayı yeniden taramaz
• Crawl budget korunur

Örnek:

Değişmeyen “Hakkımızda” sayfası:

• Last-Modified doğruysa
• Google daha seyrek gelir

15. Büyük İçerik Siteleri İçin Crawl Segmentation

Google siteni tek parça olarak görmez.

Segmentler:

• Blog
• Kategori
• Ürün
• Etiket
• Arama sonuçları

Yapılması gereken:

• Düşük değerli segmentleri kısıtla
• Yüksek değerli segmentleri besle

Örnek:

• /tag/ sayfaları → noindex
• /blog/ → güçlü iç linkleme

16. Yetim (Orphan) Sayfaların Crawl Budget’a Etkisi

Yetim sayfa:

• Sitemap’te var
• Ama sitede linki yok

Google:

• Sitemap’ten tarar
• Ama düşük öncelik verir

➡️ Crawl budget verimsiz kullanılır.

17. Crawl Budget ve Content Pruning (İçerik Budama)

Bazen çözüm yeni içerik eklemek değil, eskisini silmektir.

Content pruning ne zaman yapılır?

• Trafik almayan
• Backlink olmayan
• Duplicate veya thin içerikler

Ne yapılmalı?

• Sil (410)
• Birleştir
• Güçlü sayfaya yönlendir

Sonuç:

• Daha az URL
• Daha fazla crawl verimi

18. AI Üretilmiş İçerikler ve Crawl Budget

AI ile çok hızlı içerik üretmek:

• URL sayısını patlatır
• Crawl demand düşer

Google:

“Çok ama değersiz içerik” algısı oluşturabilir.

Çözüm:

• AI + editoryal kontrol
• Yayın sıklığını kademeli artırma
• Kalite sinyallerini güçlendirme

19. Uluslararası Sitelerde Crawl Budget (Hreflang)

Çok dilli sitelerde:

• Aynı içeriğin çok versiyonu vardır

Risk:

• Yanlış hreflang
• Duplicate algısı
• Fazladan tarama

Doğru yapı:

• Her dil kendini işaret etmeli
• Canonical + hreflang uyumlu olmalı

20. Crawl Budget Optimizasyonunun Avantajları

Crawl budget optimizasyonu doğrudan bir “ranking faktörü” değildir; ancak tüm SEO performansının çalışmasını sağlayan altyapıyı güçlendirir. Doğru yapıldığında etkileri zincirleme şekilde görülür.

20.1 Önemli Sayfaların Daha Hızlı Indexlenmesi

Crawl budget optimize edildiğinde Googlebot:

• Gereksiz URL’leri taramaz
• Kaynağını önemli sayfalara ayırır

Avantaj:

• Yeni eklenen içerikler daha hızlı index alır
• Güncellenen sayfalar daha çabuk yeniden taranır

Örnek:
Bir blog yazısı normalde 5–7 günde index alırken, optimizasyon sonrası 24–48 saat içinde indexlenebilir.

20.2 Indexleme Verimliliğinin Artması

Google’ın taradığı sayfa sayısı ile indexlediği sayfa sayısı arasındaki fark azalır.

• “Crawled – currently not indexed” sayıları düşer
• “Discovered – currently not indexed” problemi azalır

Avantaj:

Google artık siteni “temiz ve anlaşılır” olarak görür.

20.3 Büyük Sitelerde SEO Kaybının Önlenmesi

Özellikle:

• E-ticaret
• İlan
• Forum
• Haber siteleri

için crawl budget kritik bir darboğazdır.

Avantaj:

• Ürünler / ilanlar / haberler Google’a geç düşmez
• Trafik kaybı yaşanmaz
• Sezonsal içerikler zamanında sıralama alır

20.4 Googlebot’un Siteyi Daha Derin Taraması

Crawl budget boşa harcanmadığında Googlebot:

• Daha alt seviye sayfalara iner
• Daha az link alan ama değerli içerikleri keşfeder

Avantaj:

• “Gömülü” sayfalar görünür hale gelir
• Yetim sayfa oranı düşer

20.5 Sunucu Kaynaklarının Daha Verimli Kullanılması

Googlebot’un:

• Gereksiz istekleri azalır
• Sunucu üzerindeki yük hafifler

Avantaj:

• Hosting performansı artar
• Ani crawl spike’larında site çökmez
• Kullanıcı deneyimi dolaylı olarak iyileşir

20.6 Teknik SEO Problemlerinin Daha Kolay Tespit Edilmesi

Crawl budget optimizasyonu sürecinde:

• Log analizi yapılır
• URL yapısı sadeleştirilir
• Hatalı yönlendirmeler düzeltilir

Avantaj:

• Teknik borç azalır
• Site daha sürdürülebilir hale gelir

20.7 Uzun Vadede Organik Trafik Artışı

Crawl budget tek başına trafik getirmez; ancak:

Trafik getirecek sayfaların önünü açar.

Avantaj:

• SEO çalışmaları daha hızlı sonuç verir
• İçerik yatırımlarının geri dönüşü artar

21. Crawl Budget Optimizasyonunun Dezavantajları ve Riskleri

Her SEO çalışmasında olduğu gibi crawl budget optimizasyonunda da yanlış uygulama ciddi sonuçlar doğurabilir.

21.1 Yanlış Robots.txt Kullanımı Riski

Robots.txt ile yapılan hatalar:

• Önemli sayfaların taranmasını engelleyebilir
• Googlebot’un siteyi anlamasını zorlaştırabilir

Dezavantaj:

Yanlış bir Disallow satırı:

Tüm sitenin görünmez olmasına yol açabilir.

21.2 Noindex ve Canonical Hataları

Aşırı veya yanlış kullanılan:

• noindex
• canonical

etiketleri:

• Trafik getiren sayfaların index’ten düşmesine neden olabilir

Dezavantaj:

• Mevcut sıralamalar kaybedilebilir
• Organik trafik düşüşü yaşanabilir

21.3 Aşırı Müdahale (Over-Optimization)

Her URL’yi kontrol altına alma çabası bazen:

• Google’ın doğal keşif mekanizmasını bozar
• Gelişimi sınırlar

Dezavantaj:

Google’a “fazla karışmak”, bazen ters etki yaratır.

21.4 Küçük Sitelerde Gereksiz Zaman Kaybı

100–300 URL’lik sitelerde:

• Crawl budget genelde sorun değildir
• Aşırı optimizasyon geri dönüş sağlamaz

Dezavantaj:

• Zaman ve kaynak yanlış yere harcanır
• Asıl odak (içerik, link, UX) kaçırılır

21.5 Yanlış Yorumlanan Veriler

Google Search Console verileri:

• Yanlış okunabilir
• Nedensellik yerine varsayım yapılabilir

Dezavantaj:

• Yanlış sorunlara yanlış çözümler uygulanır
• Gerçek problem gözden kaçar

22. Avantaj – Dezavantaj Kısa Karşılaştırma Tablosu

Avantajlar

• Daha hızlı indexleme
• Tarama verimliliği
• Büyük sitelerde SEO stabilitesi
• Googlebot kaynaklarının doğru kullanımı

Dezavantajlar

• Yanlış yapılandırma riski
• Küçük sitelerde gereksiz efor
• Teknik bilgi gereksinimi
• Hatalı müdahalede trafik kaybı

23. Genel Değerlendirme: Yapılmalı mı?

Net cevap:

• Büyük ve orta ölçekli siteler → Evet, mutlaka
• Küçük siteler → İzle, gerekirse müdahale et

Crawl budget:

SEO’nun görünen yüzü değil, motorudur.