Sitelerin başarıyı en azından uzun vadede yakalaması için elbette içerik en önemli etkenler arasında yer almaktadır. Bizler özgün içerikli sitelerimizin SEO Optimizasyonunu ne denli profesyonel bir biçimde gerçekleştirir isek, bu bizlerin web sitelerinin mevcut sağlık durumunun pekişmesini sağlayacaktır. Dolayısı ile bu durum da bizlere bir artı olarak geri dönecektir. Web sitesi oluşturan birçok kişinin Robots.txt adlı dosyasının ne işe yaradığı ve nasıl oluşturulduğu konusunda soru işaretlerine sahip olduğunu düşünüyorum. Peki gerçekten de Robots.txt gerekli bir dosya mı dersiniz? Olmazsa olmaz bir dosya mı? İster iseniz bunu birlikte irdeleyerek sağlıklı bir sonuca ulaşmaya çalışalım ve soru işaretlerini giderelim.

Robots.txt Nedir? Ne İşe Yarar?

Yeni nesil teknolojiye ayak uydurabilen birçok arama motoru (Google gibi) Robot.txt dosyasını tanımaktadır. Dolayısı ile bu arama motorları, bizlerin Robots.txt dosyasına tanımladığı komutlar doğrultusunda web sitelerimizi indexlemektedir. Bir nevi bizler bu dosya vasıtası ile arama motorlarına indexletmek veyahut indexletmemek istediğimiz sayfaları bildirmiş oluyoruz.

Robots.txt dosyasını genellikle indexletmek istemediğimiz sayfalar için kullanıyoruz denilebilir. Ancak elbette sitenizin tamamını indexletmek istemenize rağmen, yine de ilgili dosyayı kullanmanız da bir sakınca bulunmamaktadır. Yeter ki ilgili dosyayı dikkatli bir şekilde düzenleyebilelim ki sitemizin genelini kötü yönde etkilemesin.

Peki neden tüm sayfalarımızın indexlenmesi gibi bir seçenek varken neden Robots.txt dosyasını kullanarak index bazlı engelleme yapalım ki? Örneğin; web siteniz henüz yapım aşamasında ve sizde hâliyle bu sayfanızın veya bu dizininizin arama motorlarında yer almasını istememe hakkına sahipsiniz. İşte bu gibi durumlarda veya web sitemize ait bazı dizinlerimizin indexlenmemesini, arama motorlarındaki sonuçlar içerisinde görünmemesini istediğimiz zaman Robots.txt kullanarak bu işe sağlam bir çözüm bulmuş oluyoruz.

Yani sitenizdeki her şeyi indexletmek istiyor iseniz, Robots.txt dosyasını kullanmazsanız bir problem olmayacaktır. Yani olmazsa olmaz bir dosya demek o kadar da doğru değil. Ancak birtakım spesifik ihtiyaçlarımız doğrultusunda işimize oldukça yarayan bir dosya olduğunu dile getirmek de kesinlikle yerinde olacaktır.

Robots.txt Dosyası Nasıl Oluşturulur?

Öncelikle bir Not Defteri oluşturuyoruz. Daha sonra aşağıdaki kodları not defterinin içerisinde yapıştırıyoruz. Ve bu not defterinin de adını "robots.txt" olarak kayıt ediyoruz. Robot.txt tanımlaması yanlış olacaktır. Yani ilgili dosyanın adını doğru olarak yazmaya özen göstermemiz iyi olacaktır. Ve aşağıdaki kırmızı yeri kendimize göre değiştirdikten sonra, ilgili dosyayı web sitemizin kök dizinine yüklüyoruz.

Kök dizin hususunu açmak gerekir ise; tarayıcı adres çubuğuna "www.web-site-adresimiz.com/robots.txt" yazıldığında ilgili dosya görünüyor ise problem yok demektir. İlgili dosyayı herhangi bir alt dizine kayıt etmeniz ne yazık ki ilgili dosyanın ve dolayısı ile tanımladığınız komutların geçersiz kabul edilmesini beraberinde getirecektir.

User-agent: *
Disallow:
Sitemap: http://www.site-adinizi-yaziniz.com/sitemap.xml.gz

BİLGİ: Yukarıda yer alan kod web sitenizdeki her şeyin indexlenmesini istediğinizi belirttiğinizi içeren komutlardan oluşmaktadır. Yani bir nevi arama motoru botlarına, sitenizdeki her şeyi indexlemeleri için bilgi vermiş oluyorsunuz. Ayrıca en alttaki komut doğrultusunda da Sitemap linkinizi arama motorlarına tanıtmış olmaktasınız.

Belirttiğim gibi bu dosya bilhassa "bazı dosya veya dizinlerin indexlenmesini istemiyor isek" kullanabileceğimiz bir dosya. Peki bu gibi durumda, Robots.txt dosyamızı nasıl güncelleyeceğiz?

User-agent: *
Disallow: /indexlenmeyecek-icerik.php
Disallow: /indexlenmeyecek-dizin/
Sitemap: http://www.site-adinizi-yaziniz.com/sitemap.xml.gz

BİLGİ: Yukarıda yer alan koddaki site adresimizi değiştirdikten hemen sonra, indexlenmesini istemediğimiz dosya veyahut dizinleri belirtebilmekteyiz. Böylelikle ilgili dosyalarımızın indexlenmemesi için arama motorlarına bilgi vermiş olduk. Elbette, ihtiyaca bunu artırabilmektesiniz.

Robots.txt kullanmanıza rağmen ekleyeceğiniz dosyaların veyahut dizinlerin indexlenme olasılığının her zaman olabileceğini unutmamanız gerekmektedir. Çünkü ilgili dosyayı tanımayan veya desteklemeyen arama motorları muhakkak olacaktır. Ancak yine de, özellikle indexlenmesini istemediğiniz dosya veya dizinler olduğunda ilgili dosyayı kullanarak bu duruma çözüm üretebilmektesiniz. Şimdiden kolay gelsin dileklerim ile.