Robots.txt ile noindex arasındaki fark nedir?

Robots.txt, arama motoru botlarının bir sayfayı ziyaret edip etmeyeceğini kontrol eder (crawling). Noindex meta etiketi ise sayfanın ziyaret edilip edilmediğinden bağımsız olarak Google indeksine alınıp alınmayacağını kontrol eder (indexing). Robots.txt ile engellenen bir sayfa hâlâ indekslenebilir — Google, dışarıdan gelen linklere bakarak sayfayı indeksleyebilir. Sayfanın indekslenmesini kesinlikle istemiyorsanız robots.txt değil, noindex kullanın.

GPTBot, ClaudeBot gibi yapay zeka botlarını engelleyebilir miyim?

Evet; OpenAI'nin GPTBot'unu engellemek için 'User-agent: GPTBot / Disallow: /', Anthropic'in ClaudeBot'unu engellemek için 'User-agent: ClaudeBot / Disallow: /' ekleyebilirsiniz. Common Crawl için CCBot, Apple için Applebot, Meta için FacebookBot kullanılır. Ancak robots.txt yalnızca kurallara uyan botlar için geçerlidir; kötü niyetli tarayıcılar bu kuralları görmezden gelebilir. Belirli AI botları arasında yalnızca eğitim veri toplamayı engellemek istiyorsanız her bot için ayrı kural bloğu oluşturmanız gerekir.

Crawl-Delay özelliği işe yarar mı?

Google, Crawl-Delay direktifini resmi olarak desteklemez; bunun yerine Google Search Console'daki 'Tarama hızı' ayarını kullanmanızı önerir. Bing ve Yandex bu direktifi destekler. Sitenize gelen bot trafiği sunucu yükünüzü ciddi biçimde artırıyorsa Search Console üzerinden Googlebot için tarama hızı sınırı belirleyebilirsiniz. Değer saniye cinsinden ifade edilir; 10 değeri bot istekleri arasında 10 saniyelik bekleme anlamına gelir.

SEO Aracı

Robots.txt Oluşturucu

Arama motoru crawler kurallarınızı belirleyin, robots.txt dosyanızı anında oluşturun.

User-Agent

Kurallar

Sitemap URL'si isteğe bağlı

Crawl-Delay saniye, isteğe bağlı

robots.txt

Robots.txt Nasıl Çalışır?

Robots.txt, sitenizin kök dizininde (https://siteniz.com/robots.txt) bulunan ve arama motoru botlarına hangi URL'lerin taranabileceğini bildiren düz metin dosyasıdır. Google ve Bing gibi arama motorları bu dosyayı sayfayı taramadan önce kontrol eder. Temel yapısı şöyledir: hangi bot için kural yazıldığını belirten User-agent satırı, ardından engellenecek veya izin verilecek yolları listeleyen Disallow / Allow satırları.

Disallow: / tüm siteyi botlara kapatır; Disallow: (boş değer) ise hiçbir sayfayı engellemez. Tek bir robots.txt dosyasında birden fazla User-agent bloğu tanımlayabilirsiniz; her blok boş satırla ayrılır.

Tipik robots.txt Kullanım Senaryoları

Admin panelini kapat: Disallow: /wp-admin/ — admin sayfalarının indekslenmesini engeller.
Parametre URL'lerini engelle: Disallow: /ara? — arama filtreleri ve sıralama parametrelerinin indekslenmesini önler.
Yedek ve geçici dosyaları kapat: Disallow: /backup/ — yedek dizinleri botlara gizler.
AI botlarını seçici engelle: GPTBot ve CCBot gibi eğitim verisi toplayan botları engeller; Googlebot'a dokunmaz.
Sitemap bildirimi: Sitemap: https://siteniz.com/sitemap.xml satırı Google'ın sitemap'i bulmasını hızlandırır.

Sık Sorulan Sorular

Robots.txt'i düzenledikten sonra Google ne zaman günceller?

Google, robots.txt dosyasını tipik olarak günde birkaç kez kontrol eder; ancak değişikliklerin Googlebot davranışına yansıması 1-2 gün sürebilir. Daha hızlı test için Google Search Console'daki "robots.txt Test Aracı" sayfasını kullanın — mevcut canlı versiyonunuzu ve taslak değişikliklerinizi orada test edebilirsiniz. Yanlış bir robots.txt değişikliği sitenizi tamamen Google'dan kaldırabilir; bu nedenle değişiklikleri her zaman test aracında doğrulayın.

İlgili araçlar: Sitemap Kontrol · Meta Etiket Oluşturucu · HTTP Header Checker