Əksər təcrübəli bloggerlər mütləq robots.txt-in nə olduğunu və bu fayla niyə ehtiyacınız olduğunu bilirlər. Ancaq az müəllif dərhal WordPress-də bir blog qurduqdan sonra robots.txt faylı yaratmağa tələsir.
Robots.txt, saytınızın kök qovluğuna yüklənmiş və taramaçılar üçün təlimatları ehtiva edən bir mətn sənədidir. İstifadəsinin əsas məqsədi saytdakı fərdi səhifələrin və bölmələrin indeksləşdirilməsini qadağan etməkdir. Bununla yanaşı, robots.txt istifadə edərək, düzgün domen güzgüsünü təyin edə, sayt xəritəsinə gedən yolu təyin edə və s.
Əksər müasir axtarış motorları populyar CMS-də yaxşı hərəkət etməyi öyrəniblər və ümumiyyətlə bunun üçün nəzərdə tutulmayan məzmunu indeksləşdirməyə çalışmırlar. Məsələn, birbaşa robots.txt-də göstərməsəniz də, Google WordPress blog admin ərazinizi indeksləşdirməyəcəkdir. Ancaq bəzi hallarda birbaşa qadağaların istifadəsi hələ də faydalı ola bilər. Və ilk növbədə təkrarlanan məzmunun qadağanından danışırıq.
Bəzi veb ustaları kateqoriya və etiket səhifələrinin indeksləşdirilməsini qadağan etmək həddinə çatırlar, çünki onların məzmunu əsas səhifənin tərkibini qismən təkrarlayır. Lakin əksəriyyəti məqalə məzmununu tamamilə təkrarlayan və ümumiyyətlə axtarış motorları üçün nəzərdə tutulmayan izləmə və lent səhifələrini qadağan etməklə məhdudlaşır. Belə bir tədbir saytın nəticələrini "daha təmiz" etməklə yanaşı, xüsusən də yeni Google Panda alqoritminin tətbiqindən sonra sizi mümkün axtarış filtrlərindən xilas edəcəkdir.
Bir robots.txt faylı üçün tövsiyə olunan direktivlər (demək olar ki, hər hansı bir WordPress bloqunda işləyəcək):
İstifadəçi-Agent: * İcazə vermir: /wp-login.php İcazə vermir: /wp-register.php İcazə vermir: /xmlrpc.php İcazə vermir: / wp-admin İcazə vermir: / wp-daxildir İcazə vermir: / wp-content / plugins İcazə vermir: / wp-content / cache İcazə vermə: / wp-content / themes İcazə vermə: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Xahiş edirik unutmayın ki, robots.txt-də wp-admin və wp-include inzibati qovluqları indeksləşdirmə üçün tamamilə bağlıdır. Wp-content qovluğu yalnız qismən bağlıdır, çünki bloqunuzdakı indeksləşdirilməli olan bütün şəkilləri özündə cəmləşdirən yükləmə qovluğu var.
Etməli olduğunuz təkcə yuxarıdakı koddan direktivləri kopyalamaqdır (hər bir direktivin yeni bir sətirdə yazılmalı olduğuna diqqət yetirin), robots.txt adlı bir mətn sənədinə qeyd edib saytınızın kök qovluğuna yükləyin.
Robots.txt-in Google Webmaster Tools və Yandex Webmaster interfeysləri vasitəsilə düzgün işlədiyini hər zaman yoxlaya bilərsiniz.
