Robots.txt sitemap SEO üçlüsü, Google’ın sitenizi nasıl taradığını ve dizine eklediğini doğrudan kontrol eden teknik yapılandırma unsurlarıdır. Pek çok site bu dosyaları varsayılan ayarlarla bırakır; oysa doğru yapılandırma tarama bütçesini optimize eder, istemediğiniz sayfaların dizine girmesini engeller ve önemli içeriklerinizin hızla bulunmasını sağlar. Bu rehberde her iki dosyayı da doğru yapılandırmanın yolunu adım adım açıklıyoruz.
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde yer alan (siteadi.com/robots.txt) ve arama motoru botlarına hangi sayfaların taranıp taranamayacağını bildiren düz metin dosyasıdır. Robots Exclusion Standard protokolüne dayanır; Google, Bing ve diğer büyük arama motorları bu dosyaya saygı gösterir. Önemli bir not: robots.txt taramayı engeller, dizine eklemeyi değil. Bir sayfayı hem taramadan hem dizinden çıkarmak için noindex meta etiketi gerekir.
Robots.txt Nasıl Yapılandırılır?
Temel robots.txt sözdizimi:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search/
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteadi.com/sitemap.xmlUser-agent: * tüm botları hedefler. Googlebot veya Bingbot gibi spesifik botlara farklı kurallar uygulanabilir. Disallow ile taranmasını istemediğiniz dizin veya URL’leri belirtin; Allow ile Disallow kuralının istisnalarını tanımlayın.
Robots.txt’de Taranması Engellenmesi Gereken Alanlar
| Engellenecek Alan | Neden? |
|---|---|
| /wp-admin/ (admin-ajax.php hariç) | Yönetici paneli — içerik değil, güvenlik |
| /wp-includes/ | Sistem dosyaları — SEO değeri yok |
| /?s= (arama sonuçları) | Duplicate content + ince içerik riski |
| /tag/ (WordPress etiket sayfaları) | Genellikle ince içerik, kanibalizasyon riski |
| /cart/, /checkout/ | E-ticaret işlem sayfaları — dizine girmemeli |
| /wp-login.php | Güvenlik açığı riski |
Robots.txt Hataları: Nelere Dikkat Edilmeli?
En yaygın ve en yıkıcı robots.txt hatası, yanlışlıkla sitenin tamamını engellemektir. “Disallow: /” satırı Google’ın sitenin hiçbir sayfasını taramasını engeller — bu özellikle WordPress geliştirme aşamasında sık yapılan bir hatadır. Geliştirme ortamında bu ayarı kullanmak güvenli; ancak canlı ortama geçişte kaldırmayı unutmak büyük trafik kaybına yol açar. Google Search Console’daki “robots.txt Test Aracı” ile yapılandırmanızı her değişiklikte doğrulayın.
XML Sitemap Nedir?
XML sitemap, web sitenizin Google’a sunduğu yapısal içerik haritasıdır. Dizine eklenmesini istediğiniz tüm sayfaların URL’lerini, son güncelleme tarihlerini ve öncelik değerlerini içerir. Google, sitemap olmadan da sayfalarınızı keşfedebilir; ancak sitemap bu süreci hızlandırır ve büyük sitelerde kritik önem taşır.
XML Sitemap Nasıl Yapılandırılır?
WordPress’te Sitemap
RankMath veya Yoast SEO eklentileri otomatik olarak XML sitemap oluşturur. RankMath için: RankMath → Sitemap Ayarları → Genel Sitemap’i etkinleştirin. Sitemap URL’si genellikle siteadi.com/sitemap_index.xml veya siteadi.com/sitemap.xml formatındadır. Sitemap’e dahil edilmesi gereken sayfalar: hizmet sayfaları, blog yazıları, ana sayfa, hakkımızda, iletişim. Dahil edilmemesi gerekenler: etiket sayfaları, yazar arşivleri (büyük sitelerde), noindex sayfalar, 404 veren URL’ler.
Sitemap Index: Büyük Siteler İçin
10.000’den fazla URL içeren büyük sitelerde tek bir sitemap dosyası yetersiz kalır (Google sitemap başına 50.000 URL sınırı koyuyor). Sitemap index dosyası, birden fazla sitemap dosyasını (posts-sitemap.xml, pages-sitemap.xml, products-sitemap.xml) tek bir üst dosyada listeler.
Sitemap’i Google’a Göndermek
Google Search Console → Sitemap bölümüne gidin → Sitemap URL’nizi girin → Gönder. Gönderim onaylandıktan sonra “Gönderilen URL’ler” ve “Dizine Eklenen URL’ler” sayılarını karşılaştırın; büyük bir fark varsa dizine eklenmeyen sayfalar araştırılmalıdır. Sitemap güncellendiğinde Google’a yeniden bildirmeniz gerekmez; dinamik sitemap’lar otomatik güncellenir.
Robots.txt + Sitemap Tutarlılığı
Sık yapılan bir hata: robots.txt’de engellenen bir sayfayı sitemap’e eklemek. Google bu çelişkiyi fark ettiğinde Search Console’da uyarı verir. Sitemap’teki tüm URL’lerin robots.txt tarafından taranabilir olduğundan emin olun. Ayrıca sitemap’teki URL’lerin canonical URL’lerle eşleştiğini doğrulayın; www/non-www veya trailing slash tutarsızlıkları yaygın sorunlardır.
Robots.txt ve Sitemap’i Test Edin
Yapılandırmayı tamamladıktan sonra test adımını atlamamak kritiktir. Google Search Console’daki robots.txt test aracı, herhangi bir URL’nin robots.txt tarafından engellenip engellenmediğini gösterir. Sitemap için Search Console’un ‘Sitemap’ bölümünde URL’yi girin — hata veya uyarı varsa listeler. Yeni bir sayfa ekledikten sonra URL İnceleme aracına girin ve ‘İndekslenmesini İste’ butonuyla Google’a bildirin. Bu iki adım — test ve bildirim — teknik doğruluğu güvence altına alır.
Robots.txt ve sitemap’in doğru yapılandırılması, teknik SEO altyapısının temelidir. Bu iki dosya doğru kurulduğunda içerik kalitesine ve link building’e odaklanmak çok daha verimli olur. Yanlış yapılandırma ise en iyi içeriklerin bile indexlenmesini engelleyebilir. Google Search Console’u düzenli izlemek, yapılandırma hatalarını proaktif olarak yakalamanın en güvenilir yoludur.
Robots.txt ve sitemap yönetimini proaktif hale getirmenin en kolay yolu, her yeni sayfa veya URL değişikliğinde bu iki dosyayı güncelleme alışkanlığı edinmektir. Proje başında kurulan doğru yapı ilerleyen süreçteki bakım ihtiyacını minimuma indirir. WordPress kullananlar için RankMath veya Yoast SEO bu iki dosyayı büyük ölçüde otomatik yönetir; ancak manuel kontrolü tamamen devre dışı bırakmak önerilmez.
Sonuç
Robots.txt sitemap SEO yapılandırması, Google’ın sitenizi nasıl tarayıp dizine eklediğini kontrol eden temel teknik SEO adımıdır. Robots.txt ile gereksiz sayfaları taramadan koruyun, XML sitemap ile önemli içerikleri Google’a bildirin ve ikisi arasındaki tutarlılığı düzenli kontrol edin. Web sitenizin teknik SEO yapılandırması için Wordline Agency ile iletişime geçin.
Robots.txt ve Sitemap: Yaygın Hatalar
Robots.txt ve sitemap hataları genellikle fark edilmeden trafik kayıplarına neden olur. Bu yaygın hatalar önceden bilinirse kolayca önlenebilir.
- robots.txt’e gereğinden fazla Disallow eklemek: önemli sayfa yanlışlıkla engellenebilir; her kural dikkatlice test edilmeli
- Sitemap’e noindex sayfalar eklemek: sitemap = dizine eklenmesini istediğiniz sayfalar; noindex ve sitemap çelişen sinyaller verir
- Sitemap’i Search Console’a göndermemek: Google sitenizi kendiği bulur ama sitemap göndermek keşfi hızlandırır
- Sitemap’i güncel tutmamak: yeni sayfa eklendikçe sitemap güncellenmeli; WordPress bu işlemi otomatikleştirir
- www ve non-www sitemap tutarsızlığı: sitemap URL’leri canonical domain ile birebir eşleşmeli
Sık Sorulan Sorular
robots.txt’i yanlış yazarsam ne olur?
Yanlış bir Disallow kuralı tüm sitenizi Google’dan engelleyebilir — bu en kritik teknik SEO hatalarından biridir. Örneğin ‘Disallow: /’ satırı Google’ın tüm sitenizi taramasını engeller. Search Console → URL İnceleme aracıyla test edin; ayrıca Google’ın ‘robots.txt Tester’ aracı (Search Console içinde) kuralları gerçek URL’lerle test etmenize olanak tanır. Her değişiklikten önce test; sonrasında Search Console’dan doğrulama yapın.
Sitemap kaç sayfa içerebilir?
Tek bir sitemap dosyası maksimum 50.000 URL ve 50MB içerebilir. Büyük siteler için sitemap index dosyası kullanın: ana sitemap dosyası birden fazla sitemap dosyasına işaret eder. WordPress ve Yoast SEO / RankMath bu bölünmeyi otomatik yönetir.
Resim ve video sitemap ne zaman gerekli?
Görsel ve video içeriğin Google’da indekslenip sıralanması öncelikli hedefse image sitemap veya video sitemap oluşturun. Bu özelleşmiş sitemap türleri, standart sitemap’teki sayfaların aksine medya öğelerini açıklar. E-ticaret siteleri için ürün görselleri, video platformu veya kurs siteleri için video içerikleri bu sitemap türlerinden faydalanır.
Sitemap’i ne sıklıkla güncelemeliyim?
Dinamik siteler için otomatik güncelleme idealdir. WordPress’te Yoast SEO veya RankMath yeni içerik eklendiğinde sitemap’i otomatik günceller. Statik siteler için her yeni sayfa eklenişinde manüel güncelleme gerekir. Aylık Search Console kontrolüyle sitemap’teki hataları ve gecikmeli indekslemeyi takip edin.