Saytların axtarış motorları tərəfindən indeksləşdirilməsini idarə etmək üçün alətlərdən biri də robots.txt sənədidir. Əsasən bütün və ya yalnız müəyyən robotların müəyyən səhifə qruplarının tərkibini yükləməsinin qarşısını almaq üçün istifadə olunur. Bu, axtarış mühərriki nəticələrindəki "zibildən" qurtulmanıza və bəzi hallarda mənbələrin sıralamasını əhəmiyyətli dərəcədə yaxşılaşdırmanıza imkan verir. Uğurlu tətbiq üçün düzgün robots.txt sənədinə sahib olmaq vacibdir.
Zəruri
mətn redaktoru
Təlimat
Addım 1
Xüsusi istisna qaydalarının təyin ediləcəyi robotlar və ya genişləndirilmiş robots.txt standartının direktivləri ilə standart olmayan və spesifik direktivlərdən (müəyyən bir axtarış motorunun uzantıları) istifadə ediləcək bir siyahı hazırlayın. Bu siyahıya, seçilmiş robotlar tərəfindən sayt serverinə göndərilən HTTP tələb başlıqlarının İstifadəçi-Agent sahələrinin dəyərlərini daxil edin. Robotların adlarına axtarış sistemi saytlarının istinad hissələrində də rast gəlmək olar.
Addım 2
İlk addımda tərtib edilmiş siyahıdakı robotların hər birinə girişin qadağan edilməsi lazım olan sayt mənbələrinin URL qruplarını seçin. Bütün digər robotlar üçün eyni əməliyyatı həyata keçirin (indeksləşdirmə botlarının müddətsiz dəsti). Başqa sözlə, nəticədə saytın bölmələrinə, səhifələr qruplarına və ya indeksləşdirilməsi qadağan olunan media məzmununa istinadları olan bir neçə siyahı olmalıdır. Hər siyahı fərqli bir robotla uyğun olmalıdır. Bütün digər botlar üçün qadağan edilmiş URL-lərin siyahısı da olmalıdır. Saytın məntiqi quruluşunun serverdəki məlumatların fiziki yerləşməsi ilə müqayisə edilməsinə, həmçinin səhifələrin URL-lərinə görə qruplaşdırılaraq siyahılar hazırlayın. onların funksional xüsusiyyətləri. Məsələn, inkar siyahılarına hər hansı bir xidmət kataloqu (məkana görə qruplaşdırılmış) və ya bütün istifadəçi profil səhifələrinin (məqsədinə görə qruplaşdırılmış) məzmunu daxil edə bilərsiniz.
Addım 3
İkinci mərhələdə tərtib edilmiş siyahılardakı mənbələrin hər biri üçün URL işarələrini seçin. Yalnız standart robots.txt direktivləri və təyin olunmamış robotlar istifadə edən robotlar üçün istisna siyahılarını işləyərkən, maksimum uzunluğun unikal URL hissələrini vurğulayın. Qalan ünvan dəstləri üçün xüsusi axtarış motorlarının xüsusiyyətlərinə uyğun şablonlar yarada bilərsiniz.
Addım 4
Bir robots.txt faylı yaradın. Hər biri siyahısı ilk addımda tərtib edilmiş müəyyən bir robot üçün bir sıra qadağan edən qaydalara uyğun gələn direktiv qrupları əlavə edin. Sonuncusunu bütün digər robotlar üçün bir qrup direktiv izləməlidir. Tək bir boş sətirlə qayda qruplarını ayırın. Hər bir qayda robotu təyin edən bir İstifadəçi-agent təlimatı ilə başlamalı, ardından URL qruplarının indeksləşdirilməsini qadağan edən İcazə verilməməli təlimatla başlamalıdır. Üçüncü addımda əldə edilən sətirləri İmkan verməyin direktivlərinin dəyərləri ilə düzəldin. Direktivləri və mənalarını iki nöqtə ilə ayırın. Aşağıdakı nümunəni nəzərdən keçirin: İstifadəçi-agent: YandexDisallow: / temp / data / images / İstifadəçi-agent: * İcazə verilmir: / temp / data / Bu direktivlər dəsti, əsas robotuna təlimat verir. Yandex axtarış sistemi alt temalı / temp / data / images / olan URL-yə indeks verməməlidir. Bütün digər robotların / temp / data / ehtiva edən URL-lərin indekslənməsinin qarşısını alır.
Addım 5
Robots.txt-i genişləndirilmiş standart direktivlər və ya xüsusi axtarış motoru direktivləri ilə tamamlayın. Bu cür direktivlərin nümunələri bunlardır: Host, Sayt xəritəsi, İstək dərəcəsi, Ziyarət vaxtı, Tarama-gecikmə.
