„Google“ atstovas Johnas Muelleris atsakė į klausimą „LinkedIn“, aptardamas nepalaikomos „noindex“ direktyvos naudojimą savo asmeninės svetainės „robots.txt“ faile. Jis paaiškino šios direktyvos palaikymo paieškos sistemose privalumus ir trūkumus bei pasidalijo įžvalgomis apie „Google“ vidaus diskusijas dėl šios direktyvos palaikymo.
Johno Mullerio komentaras dėl Robots.txt
Muellerio „robots.txt“ failas pastarąją savaitę tapo diskusijų tema dėl bendro keistumo ir nestandartinių direktyvų, kurias jis joje panaudojo.
Beveik neišvengiamai Muellerio „robots.txt“ failas buvo išsamiai išnagrinėtas ir išplito paieškos rinkodaros bendruomenėje.
Noindex direktyva
Viskas, kas yra „robots.txt“ faile, vadinama direktyva. Direktyva yra prašymas svetainės naršyklėi, kurio ji privalo laikytis (jei ji laikosi „robots.txt“ direktyvų).
Yra standartai, kaip rašyti „robots.txt“ direktyvas, ir bet kas, kas neatitinka tų standartų, tikėtina, bus ignoruojama. Nestandartinė direktyva Muellerio „robots.txt“ faile patraukė vieno asmens dėmesį, kuris nusprendė pateikti klausimą apie ją Johnui Muelleriui per „LinkedIn“, norėdamas sužinoti, ar „Google“ palaiko nestandartinę direktyvą.
Tai geras klausimas, nes lengva manyti, kad jei „Googler“ ją naudoja, galbūt „Google“ ją palaiko.
Nestandartinė direktyva buvo „noindex“. „Noindex“ yra meta robotų standarto dalis, bet ne „robots.txt“ standarto. Muellerio faile buvo ne viena „noindex“ direktyva, jų buvo 5,506.
SEO specialistas, kuris uždavė klausimą, Mahek Giri, rašė:
„John Muellerio „robots.txt“ faile,
yra neįprasta komanda:
„noindex:“
Ši komanda nėra standartinio „robots.txt“ formato dalis,
Taigi, ar manote, kad tai turės įtakos, kaip paieškos sistema indeksuos jo puslapius?
John Muelleriui įdomu sužinoti apie „noindex:“ „robots.txt“ faile“
Kodėl „Google“ nepalaiko „Noindex“ direktyvos Robots.txt
„Google“ atstovas Johnas Muelleris atsakė, kad tai nepalaikoma direktyva.
Muelleris atsakė:
„Tai yra nepalaikoma direktyva, ji nieko nedaro.“
Tada Muelleris paaiškino, kad „Google“ buvo apsvarstę galimybę palaikyti „noindex“ direktyvą „robots.txt“ faile, nes tai suteiktų leidėjams galimybę blokuoti „Google“ prieigą tiek prie turinio naršymo, tiek indeksavimo vienu metu.
Šiuo metu galima užblokuoti naršymą „robots.txt“ faile arba užblokuoti indeksavimą naudojant meta robotų „noindex“ direktyvą. Tačiau negalima vienu metu užblokuoti indeksavimo su meta robotų direktyva ir naršymu „robots.txt“ faile, nes naršymo blokavimas neleistų naršyklei „matyti“ meta robotų direktyvos.
Muelleris paaiškino, kodėl „Google“ nusprendė neatlikti idėjos pripažinti „noindex“ direktyvą „robots.txt“ faile.
Jis parašė:
„Buvo daug diskusijų, ar tai turėtų būti palaikoma kaip „robots.txt“ standarto dalis. Mintis buvo tokia, kad būtų gerai vienu metu užblokuoti tiek naršymą, tiek indeksavimą. Su „robots.txt“ galite užblokuoti naršymą arba užblokuoti indeksavimą (naudodami robotų meta žymę, jei leidžiate naršyti). Idėja buvo, kad „robots.txt“ faile galėtų būti ir „noindex“, ir taip užblokuoti abu.
Deja, kadangi daugelis žmonių kopijuoja ir įklijuoja „robots.txt“ failus neišnagrinėdami jų išsamiai, labai lengva būtų netyčia pašalinti kritines svetainės dalis.
