WordPress Robots.txt Dosyası SEO İçin Nasıl Optimize Edilmeli?

WordPress'e yeni başlayanların en çok merak ettiği konulardan birisi de robots.txt dosyasının SEO açısından nasıl olması gerektiğidir. Robots.txt doyası basit bir txt doyası değil, tam tersine arama motoru botlarını sitenizi nasıl taraması gerektiği konusunda yönlendirren güçlü bir araç olarak görülebilir. Bu yazıda size WordPress için en uygun robots.txt dosyasını nasıl oluşturmanız gerektiğini anlatmaya çalışacağım.

Robots.txt Dosyası Nedir?

Robots.txt dosyası site yöneticisi tarafından oluşturulan ve arama motoru botlarına sitenin nasıl taranması gerektiğini gösteren dosyadır.

Sitenin ana dizininde bulunur. Basit bir robots.txt dosyasının yapısı şu şekildedir:

User-agent: [bot adı]
Disallow: [Taranmayacak URL]

User-agent: [bot adı]
Allow: [Taranacak URL]

Sitemap: [XML site haritası URL'i]

Allow veya Disallow satırlarını ihtiyacınıza göre birden fazla kez yazabilirsiniz. Birden fazla site haritası da ekleyebilirsiniz. Eğer bir URL'i disallow olarak özellikle belirtmezseniz, arama robotu botu bu URL'i taramaya izin verdiğinizi düşünür.

Basit WordPress robots.txt dosyası şu şekildedir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://siteadresi.com/sitemap_index.xml

Bu dosyanın açıklamasını da şöyle yapabiliriz: uploads dizinimiz arama motorları tarafından taranabilir, plugins ve wp-admin dizinlerimiz arama motorları tarafından taranamaz. Ardından site haritamızın tam adresini tanımlamışız.

Robots.txt Dosyası Gerekli midir?

Eğer bu dosyayı oluşturmazsanız arama motorları sitenizi taramaya devam eder. Ancak arama motoru botlarına hangi sayfaların taranmaması gerektiğini söyleyemezsiniz. Eğer yeni bir blog veya site oluşturduysanız ve çok fazla içeriğiniz yoksa robots.txt dosyanız olmayabilir, sorun olmaz.

Ama sürekli büyüyen bir içeriğe sahipse siteniz, düzgün bir şekilde taranmasını ve arama motorları tarafından indekslenmesini istersiniz.

Peki neden? Arama motoru botlarının her site için tarama limiti vardır.
Bir tarama oturumunda belirli sayıda sayfanız taranır. Eğer sitenizdeki tüm sayfalar tek seferde taranamazsa bot daha sonra sitenizi tekrar ziyaret edip kaldığı yerden taramaya devam eder. Siz gereksiz sayfaların taranmaması için talimat vermezseniz, sitenizin indekslenme oranı düşecektir. Bu da SEO açısından zararlı olacaktır.

Gereksiz sayfaların ve dizinlerin taranmaması için disallow talimatı vererek indekslenme oranınızı koruyabilirsiniz. Bu sayede arama motoru botları sitenizi her ziyaret ettiğinde daha fazla gerekli sayfayı taramış olacak ve sitenizin indekslenme hızı artacaktır. Başlangıç olarak WordPress admin sayfaları, eklenti dizinleri ve dosyaları, tema dizinleri engellemeniz gereken dizinlerdir.

WordPress siteler için önerilen robots.txt dosyası şu şekildedir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html

Sitemap: http://www.siteadresi.com/post-sitemap.xml
Sitemap: http://www.siteadresi.com/page-sitemap.xml

uploads dizini içindeki tüm dosyaların taranmasını söyler. plugins dizini, wp-admin dizini ve readme.html dosyalarının da taranmamasını söyler.
Son olarak yine site haritalarımızı botlara gösteriyoruz ki, haritada yer alan tüm sayfaları botlar da görsün.

Robots.txt Dosyası Nasıl Oluşturulur?

WordPress için robots.txt dosyasını basit yoldan iki şekilde oluşturabilirsiniz.

1- Yoast SEO Eklentisini Kullanarak robots.txt Dosyasını Oluşturmak
Eğer Yoast SEO eklentisini yüklediyseniz, eklentinin robots.txt dosyası oluşturma aracını kullanabilirsiniz. WordPress yönetim panelinde SEO -> Araçlar yolunu izleyin. Eğer mevcut robots.txt dosyanız yoksa Create robots.txt file butonuna tıklayıp dosyayı oluşturun. Yoast SEO varsayılan olarak şöyle bir dosya oluşturur:

User-agent: *
Disallow: /

Bu satırları silip kendi kurallarınızı eklemeniz önemlidir. Çünkü bu kodlar sitenizin arama motorları botları tarafından taranmasını engeller. Yukarıda belirttiğim önerilen içeriği buraya yapıştırıp, varsa kendi kurallarınızı da ekleyip dosyayı kaydedin.

2- FTP Aracılığı ile robots.txt Dosyasını Oluşturmak
Bu yöntemle dosyanızı oluşturmak için FTP istemcisine ihtiyacınız var ki WordPress sahibiyseniz mutlaka sahip olmanız gereken bir araçtır FTP istemcisi. En çok tercih edilen FTP istemcilerinden birisi olan FileZilla'yı ücretsiz bir şekilde kullanabilirsiniz.

FileZilla'yı açıp FTP hesabınıza bağlanın. Sitenizin ana dizinine giriş yapın. Basitçe şöyle belirteyim, public_html dizininin içi ana dizininiz olur (%90). Eğer sunucu yapınız farklı ise siz wp-config.php dosyanız nerede ise aynı yere giriş yapın.

Mevcut bir robots.txt dosyası varsa sağ tıklayıp Göster/Düzenle seçeneğine tıklayın. Eğer FileZilla üzerinde bir editör tanımladıysanız dosya direkt o editörle açılır. Yoksa not defteri ile açılır. Dosya açıldıktan sonra gerekli düzenlemeleri yapıp kaydedin. FileZilla dosyanın değiştiğini, tekrar yüklenmesini isteyip istemediğinizi sorar. Dosyayı üzerine yazarak kaydedin.

Eğer robots.txt dosyası ana dizinde yoksa sağ tıklayıp Dosya Oluştur seçeneğine tıklayın ve robots.txt olarak ismini verin. Dosyayı oluşturduktan sonra yukarıda belirttiğim şekilde düzenlemeleri yapabilirsiniz.

Robots.txt Dosyası Nasıl Test Edilir?

Dosyamızı oluşturduk. Peki işe yarayıp yaramadığını nasıl test edebiliriz? Birçok test sitesi mevcut. Ama en temizi Google Search Console üzerinden test etmek.

Google Search Console hesabınıza giriş yapın. Eğer yeni arayüz açılırsa, eski sürüme geçiş yapın.

Soldaki menüden Tarama > robots.txt Test Aracı yolunu izleyin. Bu sayfada mevcut dosyanızın içeriğini göreceksiniz. Eğer hata veya uyarı varsa yine bu sayfada görebilirsiniz. Aşağıdaki kutucuğa da istediğiniz bir URL'i yazıp Test Et butonuna tıklayarak o sayfada botlara izin verilip verilmediğini görebilirsiniz.

Bazı SEO uzmanları tarafından WordPress kategorilerinin, etiketlerin ve arşiv sayfalarının engellenmesinin sitenin indekslenme hızını artırdığı ve tarama oranını artırdığı söylenmekte. Pek doğru diyemem. Eğer etiketleme sistemini düzgün ve akıllı bir şekilde kullanırsanız oldukça faydalı olacaktır. Ama yazınızı gereksiz etiketlerle doldurursanız zararını görmeniz mümkündür. En uygunu yukarıda paylaştığım robots.txt dosya içeriği olacaktır WordPress siteniz için.

Umarım SEO açısından faydalı ve açıklayıcı bir yazı olmuştur sizin için. Sormak istedikleriniz de varsa yorumlarda veya soru bölümünde sorabilirsiniz.