Semalt: Kif Jimblokka Darodar Robots.txt

Fajl Robots.txt huwa fajl test tipiku li fih struzzjonijiet dwar kif web crawlers jew bots għandhom jitkaxkru sit. L-applikazzjoni tagħhom hija evidenti fil - bots tal- magni tat-tiftix li huma komuni f'ħafna websajts ottimizzati. Bħala parti mill-Protokoll dwar l-Esklużjoni tar-Robots (REP), il-fajl robots.txt jifforma aspett essenzjali tal-indiċjar tal-kontenut tal-websajt kif ukoll jippermetti lil server li jawtentika t-talbiet tal-utenti kif xieraq.

Julia Vashneva, il- Semalt Senior Manager għas-Suċċess tal-Klijent, tispjega li r-rabta hija aspett tal-Ottimizzazzjoni tal-Magna tat-Tiftix (SEO), li tinvolvi li tikseb traffiku minn oqsma oħra fin-niċċa tiegħek. Għall-links "segwi" għat-trasferiment tal-meraq tal-link, huwa essenzjali li jiġi inkluż fajl robots.txt fuq l-ispazju ta 'akkoljenza tal-websajt tiegħek biex jaġixxi bħala għalliem ta' kif is-server jinteraġixxi mas-sit tiegħek. Minn dan l-arkivju, l-istruzzjonijiet huma preżenti billi jippermettu jew ma jħallux kif jaġixxu ċerti aġenti tal-utent speċifiċi.

Il-Format Bażiku tal-fajl robots.txt

Fajl robots.txt fih żewġ linji essenzjali:

User-agent: [isem tal-aġent tal-utent]

Ħallih: [URL string li ma jistax jitkaxkar]

Fajl komplut robots.txt għandu jkun fih dawn iż-żewġ linji. Madankollu, uħud minnhom jista 'jkun fihom linji multipli ta' aġenti għall-utent u direttivi. Dawn il-kmandi jista 'jkun fihom aspetti bħal tippermetti, twarrib jew jitkaxkru-dewmien. Normalment ikun hemm waqfa tal-linja li tifred kull sett ta 'istruzzjoni. Kull wahda mill-istruzzjoni tippermetti jew twarrab hija separata b'din il-waqfa tal-linja, spećjalment ghar-robots.txt b'linji multipli.

Eżempji

Pereżempju, fajl robots.txt jista 'jkun fih kodiċi bħal:

Aġent tal-utent: darodar

Ħalli: / plugin

Ħalli: / API

Ħalli: / _kummenti

F'dan il-każ, dan huwa blokka ta 'fajls robots.txt li jirrestrinġi l-web crawler Darodar milli jaċċessa l-websajt tiegħek. Fis-sintassi ta 'hawn fuq, il-kodiċi jimblokka aspetti tal-websajt bħal plugins, API, u s-sezzjoni tal-kummenti. Minn dan l-għarfien, huwa possibbli li jinkisbu bosta benefiċċji mill-eżekuzzjoni tal-fajl test ta 'robot b'mod effettiv. Fajls Robots.txt jistgħu jkunu kapaċi jwettqu bosta funzjonijiet. Pereżempju, jistgħu jkunu lesti biex:

1. Ħalli l-kontenut tal-web crawlers kollha f'paġna ta 'websajt. Per eżempju;

Aġent tal-utent: *

Ħalli:

F'dan il-każ, il-kontenut kollu tal-utent jista 'jkun aċċessat minn kwalunkwe web crawler li jkun mitlub biex jasal għal websajt.

2. Ibblokka kontenut tal-web speċifiku minn folder speċifiku. Pereżempju;

Aġent tal-utent: Googlebot

Ħalli: / eżempju is-subfolder /

Din is-sintassi li fiha l-isem tal-aġent tal-utent Googlebot tappartjeni lil Google. Huwa jirrestrinġi l-bot milli jaċċessa kwalunkwe paġna tal-web fis-sekwenza www.ourexample.com/example-subfolder/.

3. Imblokka web crawler speċifiku minn paġna web speċifika. Pereżempju;

Aġent tal-utent: Bingbot

Ħalli: /example-subfolder/blocked-page.html

L-aġent tal-utent tal-bot Bing jappartjeni għal web crawlers Bing. Dan it-tip ta 'fajl robots.txt jirrestrinġi l-crawler tal-web Bing milli jaċċessa paġna speċifika bis-sekwenza www.ourexample.com/example-subfolder/blocked-page.

Informazzjoni importanti

• Mhux kull utent juża l-fajl robts.txt tiegħek. Xi utenti jistgħu jiddeċiedu li jinjorawh. Ħafna minn dawn il-web crawlers jinkludu trojans u malware.
• Biex il-fajl Robots.txt ikun viżibbli, għandu jkun disponibbli fid-direttorju tal-websajt tal-ogħla livell.
• Il-karattri "robots.txt" huma sensittivi għall-każijiet. Bħala riżultat, m'għandek tibdilhom bl-ebda mod inkluż il-kapitalizzazzjoni ta 'xi aspetti.
• Il- "/robots.txt" huwa dominju pubbliku. Kulħadd jista 'jkun jista' jsib din l-informazzjoni meta jżidha mal-kontenut ta 'kwalunkwe URL. M'għandekx tindika d-dettalji jew il-paġni essenzjali li tridhom biex jibqgħu privati.