Son güncelleme: 15 Eylül 2026
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru tarayıcılarının (botlarının) hangi sayfalara erişip erişmeyeceğini belirten bir metin dosyasıdır. Bu dosya, Robots Exclusion Protocol standartına göre oluşturulur ve Google, Bing gibi arama motorları tarafından otomatik olarak okunur.
Teknik SEO stratejinizin temel parçalarından biri olan robots.txt, yanlış yapılandırıldığında önemli sayfaların indekslenmemesine veya gereksiz sayfaların taranmasına yol açar.
Robots.txt Dosyası Nerede Bulunur?
Robots.txt dosyası her zaman web sitenizin kök dizininde olmalıdır. Doğru adres: https://siteniz.com/robots.txt. Bu adres değiştirilemez; tarayıcılar yalnızca bu konumu kontrol eder.
Sitenizin robots.txt dosyasını kontrol etmek için tarayıcınıza siteniz.com/robots.txt yazmanız yeterlidir. Dosya yoksa tarayıcı 404 dönecek ve botlar tüm siteyi taramakta serbest kalacaktır.
Robots.txt Nasıl Yazılır? Temel Komutlar
Robots.txt dosyası bazı temel direktiflerden oluşur. Her direktifin doğru kullanılması, sitenizdeki crawl bütçesinin verimli harcanmasını sağlar.
| Direktif | Açıklama | Örnek |
|---|---|---|
| User-agent | Hangi bota kural uygulanacağı | User-agent: * |
| Disallow | Erişim engellenen yol | Disallow: /admin/ |
| Allow | Erişime açık yol (Disallow içerisinde istisna) | Allow: /admin/public/ |
| Sitemap | Sitemap URL’si | Sitemap: https://siteniz.com/sitemap_index.xml |
| Crawl-delay | Bot tarama hızı sınırı (saniye) | Crawl-delay: 10 |
WordPress’te Robots.txt Nasıl Düzenlenir?
WordPress SEO eklentileri, robots.txt dosyasını FTP’ye gerek kalmadan doğrudan yönetim panelinden düzenlemenizi sağlar.
Rank Math ile Robots.txt Düzenlemesi
- WordPress panelinizde Rank Math > Genel Ayarlar > Düzenleyici bölümüne gidin.
- “robots.txt Düzenleyici” sekmesini açın.
- Mevcut kuralları gözden geçirin ve değişikliklerinizi yapıp kaydedin.
Yoast SEO ile Robots.txt Düzenlemesi
- Yoast SEO > Araçlar > Dosya Düzenleyici yolunu izleyin.
- robots.txt dosyasını görüntüleyin ve düzenleyin.
Robots.txt ile Noindex Arasındaki Fark Nedir?
Robots.txt bir sayfanın taranmasını engellerken, noindex meta etiketi sayfanın indekslenmesini engeller. Bu iki yöntem farklı amaçlar için kullanılır ve karıştırılmaması gerekir.
- Robots.txt Disallow: Bot sayfaya erişmez, ancak başka sitelerden link gelirse URL indekslenir.
- Noindex meta etiketi: Bot sayfaya erişir, içeriğe bakar ama indekslemez. Daha güvenilir bir yöntemdir.
- Önerilen yaklaşım: Gizli tutmak istediğiniz sayfalarda her ikisini birden kullanın.
On-page SEO çalışmalarınızda noindex ve robots.txt kullanımı birbirini tamamlayan bir strateji oluşturur.
Robots.txt’te Yapılan Yaygın Hatalar Nelerdir?
Yanlış yapılandırılmış robots.txt dosyası, sitenizin tamamen Google’dan kaybolmasına neden olur. Aşağıdaki hatalara dikkat edin.
- Tüm siteyi engellemek:
Disallow: /kuralı tüm siteyi taramadan men eder. Yayına geçiş öncesi bunu kontrol edin. - CSS ve JS dosyalarını engellemek: Google bu dosyalara erişemezse sayfanızı doğru render edemez, Core Web Vitals puanları düşer.
- Büyük harf/küçük harf hatası:
/Admin/ile/admin/farklı dizinlerdir. - Sitemap URL’sini eklememek: Robots.txt’e Sitemap direktifi eklenmesi Google’ın sitemap’i daha hızlı bulmasını sağlar.
Core Web Vitals skorlarınızın etkilenmemesi için robots.txt dosyasında CSS, JS ve görsel dizinlerine erişimi kapatmayın.
Robots.txt Google Search Console’da Nasıl Test Edilir?
Google Analytics 4 ve Search Console araçları birlikte kullanıldığında sitenizin performansını çok daha etkin şekilde takip edebilirsiniz.
- Google Search Console’a giriş yapın.
- Eski arayüzde Tarama > robots.txt Test Aracı seçeneğini kullanın.
- Yeni arayüzde URL İnceleme aracını kullanarak belirli sayfaların erişim durumunu kontrol edin.
- Hata uyarılarına dikkat edin: kırmızı uyarılar kritik sorunları işaret eder.
Örnek Robots.txt Dosyası
Aşağıda standart bir WordPress sitesi için önerilen robots.txt örneğini bulabilirsiniz:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://siteniz.com/sitemap_index.xmlBu yapılandırma, yönetim paneli ve kullanıcı sayfalarını gizlerken alışveriş ve arama sayfalarının da gereksiz yere taranmasını önler. Anahtar kelime araştırması yaptığınızdaki hedef URL’lerinizin Disallow listesinde olmadığına emin olun.
Robots.txt Hakkında Sık Sorulan Sorular
Robots.txt olmadan site çalışır mı?
Evet, robots.txt zorunlu değildir. Dosya olmadığında tarayıcılar sitenizin tamamını serbest şekilde tarar. Ancak gereksiz sayfaların taranmasını önlemek için dosya oluşturmanız önerilir.
Robots.txt siteyi hackerlardan korur mu?
Hayır. Robots.txt yalnızca kurallara uyan iyi niyetli botlara yönelik bir yönlendirmedir. Kötü niyetli yazılımlar veya hackerlar bu kuralları tamamen yok sar. Güvenlik için ayrı önlemler alınmalıdır.
Robots.txt’teki değişiklikler ne zaman etkili olur?
Google ve Bing robotları robots.txt dosyasını düzenli aralıkla (genellikle birkaç günde bir) yeniden okur. Acil bir engelleme için Google Search Console URL İnceleme aracı kullanılır.
Birden fazla sitemap eklenebilir mi?
Evet, her satıra bir sitemap URL’si ekleyebilirsiniz. Özellikle görsel, video veya haber sitemapları ayrı olduğunuzda her birini robots.txt’e ekleyin. XML sitemap rehberimizde daha fazla bilgi bulabilirsiniz.
Robots.txt ile hangi dizinleri gizlemeliyim?
Yönetim paneli (/wp-admin/), giriş sayfası (/wp-login.php), sepet ve ödeme sayfaları, arama sonuç sayfaları (?s=) ve test dizinleri genellikle gizlenmelidir.
Faydalı Kaynaklar
- Google: robots.txt’e Giriş (Resmi Dokümantasyon)
- Bing Webmaster Tools: Robots.txt Rehberi
- Moz: Robots.txt Hakkında Her Şey
Daha fazla teknik SEO ipucu için SEO nedir ve SEO audit nasıl yapılır yazılarımızı inceleyebilirsiniz.
Faydalı Kaynaklar
İlgili Konular
Profesyonel Destek mi Arıyorsunuz?
Based Click olarak teknik SEO optimizasyonu konusunda uzman ekibimizle yanınızdayız. İşletmenizin dijital görünürlüğünü artırmak için ücretsiz analiz için bize ulaşın.
Based Click dijital pazarlama ve web tasarım eğitimleri veriyor; eğitimlerle ilgili bilgi almak için aşağıdaki formu doldurun.
Yazılarımızı Google sonuçlarında öncelikli görün:
