Robots.txt Kontrolü Manifestosu: Tarama Bütçesi ve Bot Yönetimi

robots.txt Nedir? (Masum Tanım Yalanı)

Robots.txt için genellikle "botlara ne yapacaklarını söyleyen dosya" denir. Bu, masum bir yalanıdır. Aslında robots.txt, mutlak bir emir komuta merkezi değil; web dünyasının nezaket kuralları (Robots Exclusion Protocol) üzerine kurulu bir tavsiye mektubudur.

• Ne değildir: Bir güvenlik duvarı değildir.
• Tavsiye mi, engel mi? Saygın botlar için bir engel, kötü niyetli botlar içinse sadece bir tabela hükmündedir.
• Google uymak zorunda mı? Hayır. Google genellikle uyar ama kritik bir durumda (Backlink gücü yüksekse) bu "tavsiyeyi" ikinci plana itebilir.

robots.txt Dosyasının Gerçek Amacı

Robots.txt dosyasının varlık sebebi sıralama almak değildir; kaosun içinde bir düzen kurmaktır. Gerçek amaç, tarama kontrolüdür. Botun enerjisini (kaynak israfını) önlemek ve sunucuyu gereksiz yükten kurtarmak asıl hedeftir. Bu bir SEO taktiği değil, bir altyapı disiplinidir.

robots.txt Nasıl Çalışır?

Dosyanızın ilk satırı botun kimliğini sorgular: User-agent. Googlebot’a "yeşil ışık" yakarken, içerik hırsızı bir bota "dur" diyebilirsiniz. Kurallar hiyerarşiktir; en spesifik kural her zaman genel kuralları ezer. Karışık mı geldi? Şöyle düşünün: Genel bir yasak koyup, altından küçük bir kapı (Allow) açabilirsiniz.

robots.txt ve Crawl Budget İlişkisi

Crawl budget (Tarama Bütçesi) kıttır. Değerlidir. Googlebot sitenize geldiğinde bir "zaman sayacı" başlar. Eğer bu bütçeyi admin sayfalarınızda veya filtrelerinizde harcarsanız, Googlebot asıl içeriğinize ulaşmadan "paydos" der ve gider. robots.txt, bu bütçeyi yöneten stratejik vanadır.

robots.txt ile Neler Engellenmeli?

SEO analiz aracımızın puan kestiği o meşhur alanlar:

• Admin Panelleri: /wp-admin/ veya /admin/
• Arama Sonuçları: /search?
• Filtre Kabusu: /filter*
• Staging: /test/ veya /staging/

robots.txt ile Asla Engellenmemesi Gerekenler

İşte insanların SEO intiharı ettiği nokta: CSS, JS ve Resim dosyaları. Bir botun sayfanızı "anlaması" için onu "görebilmesi" gerekir. Eğer botun CSS dosyalarınıza erişimini engellerseniz, Google sayfanızı 1990’lardan kalma düz bir metin yığını sanır. 1. sıradan 100. sıraya düşmek için ideal bir yöntemdir.

robots.txt ve CSS / JS Engelleme Felaketi

Google artık sadece bir tarayıcı değil, bir "render motoru"dur. Sayfayı bir insan gibi görür. Eğer kaynakları engellerseniz, Google "Sayfa var ama anlamıyorum, dolayısıyla güvenmiyorum" der. Bu durum Core Web Vitals skorlarınızı da yerle bir eder.

robots.txt vs Meta Robots (noindex, nofollow)

Robots.txt botun kapıdan içeri girmesini engeller. Meta Robots ise botun içeri girip "bu odayı unut" demesini sağlar. İkisini birden kullanmak çelişkilidir: Bot kapıdan giremezse (Disallow), içerideki "unut" (Noindex) notunu asla okuyamaz!

robots.txt ve Sitemap İlişkisi

Google’a yol haritasını her zaman robots.txt içinde verin: Sitemap: https://site.com/sitemap.xml. Eğer bir URL sitemap’te "indekslenmeli" olarak duruyor ama robots.txt’te "yasaklı" ise, botun devrelerini yakarsınız. Çelişki, güvensizlik doğurur.

robots.txt Sözdizimi (Syntax)

User-agent: *  # Tüm botlara sesleniyorum
Disallow: /tmp/ # Geçici dosyaları unutun
Allow: /tmp/resim.jpg # Ama bu resmi tarayın
$ # URL sonu belirleyici

Wildcard Kullanımı: Güç mü, Tuzak mı?

* işareti her şeydir. Ama çok tehlikelidir. Bir Disallow: /* hatası, tüm sitenizi Google’dan 24 saat içinde silebilir. Wildcard (yıldız) kullanırken cerrah hassasiyetiyle hareket edin.

robots.txt Dosya Konumu ve Erişim

Yer bellidir: Root. Yani domain.com/robots.txt adresinde olmalı. Başka hiçbir yerde bot bu dosyayı aramaz. Alt dizinlere robots.txt koymak, sadece bir hayalperestliktir.

robots.txt Dosyası Olmazsa Ne Olur?

Dünya durmaz. Google içeri dalar, her şeyi taranabilir sayar ve kaos başlar. Büyük sitelerde bu bir felakettir; binlerce gereksiz sayfa indekslenir, sunucu çöker.

WordPress Sitelerde robots.txt

WordPress sanal bir robots.txt oluşturur. Ama bu genellikle yetersizdir. Manuel ve kurumsal bir dokunuşla tarama bütçesi optimizasyonu şarttır.

E-Ticaret Siteleri İçin robots.txt Stratejisi

Faceted Navigation (Filtreli navigasyon) e-ticaretin SEO katilidir. Binlerce varyasyonu engellemek, taze ürünlerin taranmasını sağlar. robots.txt burada bir "filtre temizleyici" görevi görür.

Blog Siteleri İçin robots.txt

Tag (etiket) sayfaları genellikle "zombi içerik"tir. Bunları robots.txt ile değil, noindex ile yönetmek daha sağlıklıdır; ancak botun bu sayfaları sürekli tarayıp durmasını istemiyorsanız kısıtlı bir disallow uygulanabilir.

Çok Dilli Sitelerde robots.txt

Hreflang yapıları ile robots.txt çakışmamalıdır. Bir dil dizinini engellerken, o dildeki kullanıcıların Google'dan size ulaşmasını da engellediğinizi unutmayın.

robots.txt ve Güvenlik Yanılgısı

Robots.txt gizleme aracı değildir. Aksine, bir davetiyedir. Hassas bir dizini buraya yazarsanız, hackerlara "Burada önemli bir şey var, gel bak!" dersiniz. Şifreli dizinleri robots.txt’ye yazmayın, sunucu düzeyinde koruyun.

robots.txt Test Araçları

Google Search Console’daki "robots.txt Test Aracı" en iyi dostunuzdur. Teoride doğru gözüken bir kural, pratikte felaket olabilir. Canlı test yapmadan dosyayı sunucuya atmayın.

robots.txt ve Google Search Console Raporları

GSC'deki "İndekslendi ama robots.txt tarafından engellendi" uyarısı kırmızı alarmdır. Bu, Google'ın tavsiyenizi pek de ciddiye almadığı anlamına gelir.

robots.txt SEO’ya Katkı Sağlar mı?

Doğrudan puan vermez. Ama sızıntıları kapattığı için asıl sayfalarınızın daha sık ve kaliteli taranmasını sağlar. Dolaylı yoldan etkisi devastating (yıkıcı/etkili) olabilir.

robots.txt ve Yapay Zekâ Botları

2026’nın en büyük konusu: GPTBot, Claude-Bot. İçeriğinizin AI model eğitiminde kullanılmasını istemiyorsanız, robots.txt’ye bu ajanları eklemelisiniz. Veri güvenliği artık robots.txt’den geçiyor.