Yazılım

SEO uyumlu bir robots.txt dosyası
15/06/2023 16:30:47

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /author/
Disallow: /tag/
Disallow: /category/
Disallow: /?*

Allow: /wp-content/uploads/

Sitemap: http://www.example.com/sitemap.xml

Bu örnekte, User-agent: * tüm arama motorlarının bu kurallara uymasını belirtir. Ardından, Disallow komutuyla erişime kapatılmak istenen dizinleri ve sayfaları belirtebilirsiniz. Allow komutu ise erişime izin verilen bir dizin veya sayfayı belirtmek için kullanılır.

Örneğin, yukarıdaki örnekte /cgi-bin/, /tmp/, /wp-admin/ gibi dizinler ve /wp-login.php, /wp-register.php gibi sayfalar erişime kapalıdır. Ancak /wp-content/uploads/ dizinine erişim izni verilmiştir.

Son olarak, Sitemap komutu, site haritanızın URL'sini belirtmek için kullanılır. Bu örnekte, http://www.example.com/sitemap.xml adresinde bir site haritası olduğunu belirtiyoruz. Kendi sitenizin site haritası URL'sini bu kısıma eklemeyi unutmayın.

Lütfen bu örneği ihtiyaçlarınıza ve sitenizin gereksinimlerine göre uyarlayın. Ayrıca, robots.txt dosyasını sitenizin kök dizininde robots.txt adıyla kaydedin ve doğru bir şekilde sunucunuza yükleyin.