Robots.txt dosyası nasıl kurulur

Robots.txt nedir?

Robots.txt, web yöneticilerinin web robotlarına (genellikle arama motoru robotları) web sitelerindeki sayfaları nasıl tarayacaklarını bildirmek için oluşturdukları bir metin dosyasıdır.

Robots.txt dosyası, arama motoru botlarına hangi sayfaların takip edilip hangilerinin edilmemesi gerektiği konusunda direktifler verir (örneğin, yönetici panelinizin takip edilmesini istemezsiniz, çünkü bu Google'da dizine eklenebilir ve saldırıya uğramayı kolaylaştırabilir vb...).

Robots.txt dosyasını nasıl ayarlarım?

Ya bir bunun gibi çevrimiçi jeneratör ya da aşağıdaki formatla kendiniz bir tane oluşturun:

İşte robots.txt'nin iş başında olduğu birkaç örnek:

Kök dizinimize bir Robots.txt dosyası yükleyerek başlayacağız, böylece burada görünecektir: yourdomain.com/robots.txt

Tüm web tarayıcıları tüm içerikten nasıl engellenir

Kullanıcı aracısı: *
Disallow: /

Robots.txt dosyamızda bu sözdizimini kullanmak, tüm web tarayıcılarına hiçbir sayfayı taramamalarını söyleyecektir. Muhtemelen bu seçeneği kullanmak istemezsiniz.

Tüm web tarayıcılarının içeriğinize erişmesine nasıl izin verirsiniz?

Kullanıcı aracısı: *
İzin verme:

Bu sözdizimini kullanmak, web tarayıcılarına ana sayfa da dahil olmak üzere yourdomain.com adresindeki tüm sayfaları taramalarını söyler.

Belirli bir klasörden belirli bir web tarayıcısını engelleme

Kullanıcı aracısı: Googlebot
Disallow: /örnek-alt-klasör/

Bu sözdizimi yalnızca Google'ın tarayıcısına (kullanıcı aracı adı Googlebot) yourdomain.com/example-subfolder/ URL dizesini içeren hiçbir sayfayı taramamasını söyler.

Belirli bir web tarayıcısını belirli bir web sayfasından engelleme

Kullanıcı aracısı: Bingbot
Disallow: /example-subfolder/blocked-page.html

Bu sözdizimi, yalnızca Bing'in tarayıcısına (kullanıcı aracı adı Bing) yourdomain.com/example-subfolder/blocked-page adresindeki belirli sayfayı taramaktan kaçınmasını söyler.