Robots.txt Nedir? Nasil Duzenlenir? (2026 Rehberi)

Son guncelleme: 3 Nisan 2026

Robots.txt Nedir?

Robots.txt, web sitenizin kok dizininde yer alan ve arama motoru tarayicilarinin (botlarinin) hangi sayfalara erisip erismeyecegini belirten bir metin dosyasidir. Bu dosya, Robots Exclusion Protocol standartina gore olusturulur ve Google, Bing gibi arama motorlari tarafindan otomatik olarak okunur.

Teknik SEO stratejinizin temel parcalarından biri olan robots.txt, yanlis yapilandirildisinda onemli sayfalarin indekslenmemesine veya gereksiz sayfalarin taranmasina yol acabilir.

Robots.txt Dosyasi Nerede Bulunur?

Robots.txt dosyasi her zaman web sitenizin kok dizininde olmalidir. Dogru adres: https://siteniz.com/robots.txt. Bu adres degistirilemez; tarayicilar yalnizca bu konumu kontrol eder.

Sitenizin robots.txt dosyasini kontrol etmek icin tarayiciniza siteniz.com/robots.txt yazmaniz yeterlidir. Dosya yoksa tarayici 404 donecek ve botlar tum siteyi taramakta serbest kalacaktir.

Robots.txt Nasil Yazilir? Temel Komutlar

Robots.txt dosyasi bazi temel direktiflerden olusur. Her direktifin dogru kullanilmasi, sitenizdeki crawl butcesinin verimli harcanmasini saglar.

WordPress’te Robots.txt Nasil Duzenlenir?

WordPress SEO eklentileri, robots.txt dosyasini FTP’ye gerek kalmadan dogrudan yonetim panelinden duzenlemenizi saglar.

Rank Math ile Robots.txt Duzenlemesi

1. WordPress panelinizde Rank Math > Genel Ayarlar > Duzenleyici bolumune gidin.
2. “robots.txt Duzenleyici” sekmesini acin.
3. Mevcut kurallari gozden gecirin ve degisikliklerinizi yapip kaydedin.

Yoast SEO ile Robots.txt Duzenlemesi

1. Yoast SEO > Araclar > Dosya Duzenleyici yolunu izleyin.
2. robots.txt dosyasini goruntuleyin ve duzenleyin.

Robots.txt ile Noindex Arasindaki Fark Nedir?

Robots.txt bir sayfanin taranmasini engellerken, noindex meta etiketi sayfanin indekslenmesini engeller. Bu iki yontem farkli amaclar icin kullanilir ve karistirilmamasi gerekir.

• Robots.txt Disallow: Bot sayfaya erismez, ancak baska sitelerden link gelirse URL indekslenebilir.
• Noindex meta etiketi: Bot sayfaya erisir, icerige bakar ama indekslemez. Daha guvenilir bir yontemdir.
• Onerilen yaklasim: Gizli tutmak istediginiz sayfalarda her ikisini birden kullanin.

On-page SEO calismalarinizda noindex ve robots.txt kullanimi birbirini tamamlayan bir strateji olusturur.

Robots.txt’te Yapilan Yaygin Hatalar Nelerdir?

Yanlis yapilandirilmis robots.txt dosyasi, sitenizin tamamen Google’dan kaybolmasina neden olabilir. Asagidaki hatalara dikkat edin.

• Tum siteyi engellemek: Disallow: / kurali tum siteyi taramadan men eder. Yayina gecis oncesi bunu kontrol edin.
• CSS ve JS dosyalarini engellemek: Google bu dosyalara erisemezse sayfanizi dogru render edemez, Core Web Vitals puanlari duser.
• Buyuk harf/kucuk harf hatasi: /Admin/ ile /admin/ farkli dizinlerdir.
• Sitemap URL’sini eklememek: Robots.txt’e Sitemap direktifi eklenmesi Google’in sitemap’i daha hizli bulmasini saglar.

Core Web Vitals skorlarinizin etkilenmemesi icin robots.txt dosyasinda CSS, JS ve gorsel dizinlerine erisimi kapatmayin.

Robots.txt Google Search Console’da Nasil Test Edilir?

Google Analytics 4 ve Search Console araclari birlikte kullanildiginda sitenizin performansini cok daha etkin sekilde takip edebilirsiniz.

1. Google Search Console’a giris yapin.
2. Eski arayuzde Tarama > robots.txt Test Araci secenegini kullanin.
3. Yeni arayuzde URL Inceleme aracini kullanarak belirli sayfalarin erisim durumunu kontrol edin.
4. Hata uyarilarina dikkat edin: kirmizi uyarilar kritik sorunlari isaret eder.

Ornek Robots.txt Dosyasi

Asagida standart bir WordPress sitesi icin onerilen robots.txt ornegini bulabilirsiniz:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://siteniz.com/sitemap_index.xml

Bu yapilandirma, yonetim paneli ve kullanici sayfalarini gizlerken alisveris ve arama sayfalarinin da gereksiz yere taranmasini onler. Anahtar kelime arastirmasi yaptiginizdaki hedef URL’lerinizin Disallow listesinde olmadigina emin olun.

Robots.txt Hakkinda Sik Sorulan Sorular

Robots.txt olmadan site calisir mi?

Evet, robots.txt zorunlu degildir. Dosya olmadisinda tarayicilar sitenizin tamamini serbest sekilde tarar. Ancak gereksiz sayfalarin taranmasini onlemek icin dosya olusturmaniz onerilir.

Robots.txt siteyi hackerlardan korur mu?

Hayir. Robots.txt yalnizca kurallara uyan iyi niyetli botlara yonelik bir yonlendirmedir. Kotu niyetli yazilimlar veya hackerlar bu kurallari tamamen yok sayabilir. Guvenlik icin ayri onlemler alinmalidir.

Robots.txt’teki degisiklikler ne zaman etkili olur?

Google ve Bing robotlari robots.txt dosyasini duzenli aralikla (genellikle birka gunce bir) yeniden okur. Acil bir engelleme icin Google Search Console URL Inceleme araci kullanilabilir.

Birden fazla sitemap eklenebilir mi?

Evet, her satira bir sitemap URL’si ekleyebilirsiniz. Ozellikle gorsel, video veya haber sitemaplari ayri oldugunuzda her birini robots.txt’e ekleyin. XML sitemap rehberimizde daha fazla bilgi bulabilirsiniz.

Robots.txt ile hangi dizinleri gizlemeliyim?

Yonetim paneli (/wp-admin/), giris sayfasi (/wp-login.php), sepet ve odeme sayfalari, arama sonuc sayfalari (?s=) ve test dizinleri genellikle gizlenmelidir.

Faydali Kaynaklar

• Google: robots.txt’e Giris (Resmi Dokumantasyon)
• Bing Webmaster Tools: Robots.txt Rehberi
• Moz: Robots.txt Hakkinda Her Sey

Daha fazla teknik SEO ipucu icin SEO nedir ve SEO audit nasil yapilir yazilarimizi inceleyebilirsiniz.